单向VLM变双向!人大斯坦福等提出MoCa框架:双向多模态编码器
中国人民大学等机构的研究者提出MoCa框架,通过双阶段方法将预训练因果VLM转化为双向多模态编码模型。该框架利用持续预训练和异构对比微调提升表示能力和泛化性能,在多种任务上优于现有模型。
中国人民大学等机构的研究者提出MoCa框架,通过双阶段方法将预训练因果VLM转化为双向多模态编码模型。该框架利用持续预训练和异构对比微调提升表示能力和泛化性能,在多种任务上优于现有模型。
微软亚洲研究院联合清华大学、北京大学提出RPT预训练范式,将强化学习深度融入预训练阶段,通过生成思维链推理序列和使用前缀匹配奖励来提升模型预测准确度。
微软发布PIKE-RAG,旨在提高RAG系统在复杂企业场景下的知识提取、推理和应用能力。该方法聚焦于连贯的推理逻辑构建,并提出针对不同任务的不同技术策略。
2024 ACM Fellows名单公布,多位华人学者上榜。入选者来自香港科技大学、微软亚洲研究院等机构,涵盖计算机科学多个领域,包括数据管理、机器学习和量子计算等。
Microsoft亚洲研究院发布的rStar-Math通过代码增强CoT、蒙特卡洛树搜索等方法提升小模型数学推理能力,平均在AIME 2024测试中解决了53.3%的难题,并显著提升了多个数学基准测试的表现。