量化

小型语言模型因其低延迟、成本效益等优势受到青睐，特别适用于资源受限的环境和领域知识获取。介绍了构建SLMs的基础概念及技术，如架构、训练技术和从大型语言模型（LLMs）获取SLMs的方法，包括剪枝、知识蒸馏和量化。分析了SLMs在问答、编程、推荐系统等领域的应用，并讨论了在移动设备上的部署策略。