R1风起,清华、港科大发布大模型强化推理技术最新全面综述
本文回顾了大型语言模型在推理能力方面的最新进展,从SFT到RLHF,再到ORM和PRM等技术的演变,讨论了测试时扩展的重要性,并介绍了各种增强LLMs推理能力的技术方法。
本文回顾了大型语言模型在推理能力方面的最新进展,从SFT到RLHF,再到ORM和PRM等技术的演变,讨论了测试时扩展的重要性,并介绍了各种增强LLMs推理能力的技术方法。
《大语言模型基础与前沿》介绍了大语言模型的基础和前沿知识,并探讨了其方法、应用场景及对环境的影响。内容全面且系统性强,适合高年级本科生和研究生、博士后研究人员等阅读。
ReaderLM-v2 是一个拥有1.5B参数的语言模型,能够将HTML转换为美观的Markdown或JSON格式,并支持29种语言。它在生成复杂元素、使用预定义模式输出JSON以及处理长文本方面表现出色,并通过强化学习提升稳定性。
近年来检索增强生成技术的发展使得语言模型能够高效利用外部知识。然而小语言模型在RAG中的使用受限,MiniRAG通过语义感知异构图索引和轻量级拓扑增强检索解决了这个问题。
在大数量级AI数据处理场景下,JinaAI的ReaderLM-v2语言模型通过将原始HTML转换为Markdown或JSON格式解决了资源消耗问题,并实现了更好的Markdown生成、新增JSON输出及更强的上下文和多语言支持。
谷歌发布的新基准测试FACTS Grounding用于评估AI模型在特定上下文中生成准确文本的能力,通过去除无效回复确保评分准确性。
MLNLP 社区致力于促进 NLP 学术界、产业界及爱好者间的交流合作,Meta 新研究展示了记忆层在预训练语言模型扩展中的实用性和性能提升。
DeepSeek AI开源最新混合专家语言模型DeepSeek-V3-Base,性能优于多个竞品模型,编程能力大幅提升。