极客说|Phi-4 模型的 4 位量化与 vLLM 高速推理
Phi-4 是微软最新发布的大型语言模型,参数量为140亿。本文详细介绍了其架构特点及训练策略,并展示了如何在本地环境中对其进行量化优化。
Phi-4 是微软最新发布的大型语言模型,参数量为140亿。本文详细介绍了其架构特点及训练策略,并展示了如何在本地环境中对其进行量化优化。
MLNLP社区致力于推动机器学习与自然语言处理领域的交流合作,重点关注实践经验和新技术颠覆认知。2024年主题为’颠覆认知’,包括角色扮演模型、agent技术等新发展,探讨大模型在复杂任务上的应用及未来方向如合成数据、o1技术和agent模型。