Agent也能蒸馏了！性能超好
MLNLP社区是国内外知名的机器学习与自然语言处理社区。该社区致力于促进学术界、产业界和爱好者间的交流与进步，特别是针对初学者的提升。近期有论文提出Agent蒸馏技术，通过使用检索工具和代码工具让小模型学会像人类一样解决问题，显著提升了小模型在某些任务上的性能。
小模型
字节开源了一个新型多模态生成模型 Liquid
字节开源新型多模态生成模型Liquid，核心创新在于统一编码图像和文本到相同token空间，并使用单一LLM处理视觉理解和生成任务。研究表明，随着模型规模增大，性能下降会消失甚至互相促进。
刚刚，谷歌用更少参数打败 Qwen 2.5-32B！新模型 Gemma 3 号称“单 GPU 模型王”，团队紧急招兵买马！
智能流程，从而减少能源和成本方面的担忧。
3 月 12 日，谷歌宣布推出了 Gemma 3 开源 A
4500美元验证强化学习「魔力」，1.5B模型也能超越o1预览版，模型、数据、代码全开源
DeepScaleR-1.5B-Preview 成功复现 Deepseek-R1 的训练方法，成本仅需4500美元。该模型在AIME2024竞赛中超越了O1-Preview，展示了小模型通过强化学习也能实现飞跃的潜力。
以小博大，DeepSeek-R1-Distill-Qwen-1.5B 开源模型击败GPT-4和Claude 3.5!
在数学竞赛AIME测试中，Qwen-1.5B模型以28.9%的成绩击败了GPT-4和Claude 3.5-Sonnet。仅1.5B参数量的它，在MATH测试中取得83.9%成绩。DeepSeek团队采用知识蒸馏技术成功将大模型智慧浓缩进更小的模型，MIT许可下开源多个版本。