[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
562146477609112
编辑丨GiantPandaLLM
0x00 前言
Triton Fu
562146477609112
编辑丨GiantPandaLLM
0x00 前言
Triton Fu
伟、郭京翔、胡越、陈浩楠、陈俊廷、吴睿海。通讯作者为新加坡国立大学计算机学院助理教授邵林,研究方向为
本文提出ZeroSearch框架,无需真实搜索引擎即可激活大语言模型搜索能力。通过轻量级监督微调将LM转为检索模块,并采用课程学习逐步降低文档质量来激发推理能力,显著降低训练成本和提高性能。
Intology 的 AI 科学家 Zochi 的论文《Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search》被顶级科学会议 ACL 接收,成为首个独立通过 A* 级别科学会议同行评审的人工智能系统。
MLNLP社区分享了关于RHO-1论文的解读,该论文提出了选择性语言建模(SLM),通过分析文本中的不同token对模型学习的影响,提出只对有价值的token进行训练的方法。此方法能够显著提升效率并提高性能。
MLNLP社区是国内外知名的机器学习与自然语言处理社区。该社区致力于促进学术界、产业界和爱好者间的交流与进步,特别是针对初学者的提升。近期有论文提出Agent蒸馏技术,通过使用检索工具和代码工具让小模型学会像人类一样解决问题,显著提升了小模型在某些任务上的性能。