一篇小型语言模型技术最新全面综述

小型语言模型因其低延迟、成本效益等优势受到青睐,特别适用于资源受限的环境和领域知识获取。介绍了构建SLMs的基础概念及技术,如架构、训练技术和从大型语言模型(LLMs)获取SLMs的方法,包括剪枝、知识蒸馏和量化。分析了SLMs在问答、编程、推荐系统等领域的应用,并讨论了在移动设备上的部署策略。

NeurIPS 2024|天津大学提出:面向模态缺失情形的提示学习方法

本文提出了一种新的提示学习方法,旨在解决多模态大模型在输入模态可能缺失时的问题。通过结合三种不同的提示向量策略(Correlated prompting, Dynamic prompting和Modal-common prompting),该方法能更有效地提升模型的鲁棒性和可扩展性,在多个数据集上验证了其有效性。