机器之心

3710亿数学tokens，全面开放！史上最大高质量开源数学预训练数据集MegaMath发布

作者

MegaMath 是一个包含3710亿tokens的开源数学推理预训练数据集，覆盖网页、代码和高质量合成数据三大领域。它首次在规模上超越了DeepSeek-Math Corpus（120B），代表从‘只靠网页’到‘面向推理’的重大跨越。