成本暴降88%!通义实验室、北大发布ZeroSearch,无需搜索即可激活LLM检索能力

本文提出ZeroSearch框架,无需真实搜索引擎即可激活大语言模型搜索能力。通过轻量级监督微调将LM转为检索模块,并采用课程学习逐步降低文档质量来激发推理能力,显著降低训练成本和提高性能。

深入剖析!如何区分有价值和无价值的数据?

MLNLP社区分享了关于RHO-1论文的解读,该论文提出了选择性语言建模(SLM),通过分析文本中的不同token对模型学习的影响,提出只对有价值的token进行训练的方法。此方法能够显著提升效率并提高性能。

Agent也能蒸馏了!性能超好

MLNLP社区是国内外知名的机器学习与自然语言处理社区。该社区致力于促进学术界、产业界和爱好者间的交流与进步,特别是针对初学者的提升。近期有论文提出Agent蒸馏技术,通过使用检索工具和代码工具让小模型学会像人类一样解决问题,显著提升了小模型在某些任务上的性能。