完全开源的7B模型，性能比肩主流LLM，训练成本仅16万美元，复现DeepSeek的强化学习！

责编 |梦依丹

出品丨AI 科技大本营（ID：rgznai100）

自从 GPT-3 横空出世，生成式 AI 彻底点燃了全球科技圈：

• GPT-4、Claude 3、Gemini、DeepSeek，不断刷新智能上限

• 生成文字、代码、图像，跨模态进步一日千里

• 各行各业争相拥抱大语言模型（LLMs），新的创业潮汹涌而来

尽管 LLMs 如 GPT-4、Claude 等展现了惊人的能力，但闭源模型的闭源特性让研究者难以深入理解其运作机制，同时开源模型的开放程度有限：

• 绝大多数顶尖模型闭源，仅限 API 调用

• 商业化受限，API 费用高昂，且随时可能涨价

• 数据隐私、合规性问题难以把控
• 对于开源模型，往往只公开模型权重，而关键的训练代码、数据集和配置却被隐藏，这严重阻碍了学术研究和商业化应用

Moxin-7B：从预训练到强化学习，全面透明的 AI 革新

Moxin-7B 的诞生，正是为了解决这一问题！ 它由来自东北大学、哈佛、康奈尔等机构的研究团队联合开发，完全遵循“开源科学”原则，公开了从数据清洗到强化学习的全流程细节，从预训练到 DeepSeek 同款强化学习，成为目前透明度最高的开源 LLM 之一。

Moxin-7B 的开源贡献

• Moxin-7B-Base 权重、预训练数据与代码
• Moxin-7B-Instruct 权重、SFT 与 DPO 的训练数据与代码
• Moxin-7B-Reasoning 权重、GRPO 的训练数据与代码

Moxin-7B 的三大核心突破

1. 真正的“开源科学”：从数据到模型的全透明

• 完整公开：包括预训练代码、超参数配置、数据处理脚本、SFT/RLHF 训练框架，权重等等。
• 数据集透明：

预训练数据：基于高质量语料库 SlimPajama（627B tokens）和 DCLM-BASELINE，经过严格去重和过滤。

指令微调数据：使用 Tulu 3 和 Infinity Instruct，涵盖数学、代码、科学文献等多领域任务。

强化学习数据：采用 OpenThoughts 和 OpenR1-Math-220k，通过 DeepSeek R1 生成的高质量数学推理数据。

2. 高性能低成本：小模型的大能量

• 训练成本仅 16 万美元（对比：GPT-3 训练成本约 460 万美元）。
• 评测表现亮眼：

零样本任务：在 ARC-C（AI2推理挑战）上达到 58.64%，超越 LLaMA 3.1-8B（53.67%）和 Qwen2-7B（50.09%）。

数学推理：经过 RL 微调后，在 MATH-500 上准确率 68%，超越 70B 参数的Llama-3-Instruct 模型（64.6%）。

长上下文支持：通过滑动窗口注意力（SWA）和分组查询注意力（GQA），高效处理 32K 长文本。

3. 技术创新：从架构到训练策略

• 模型架构：基于 Mistral-7B 改进，深度扩展至 36 层，采用预层归一化和混合精度训练，提升稳定性。
• 后训练优化：

指令微调（SFT）：使用 Tulu 3 框架，在 939K 指令数据上训练，增强多任务能力。

偏好优化（DPO）：通过 LLM-as-a-judge 标注的偏好数据，让模型输出更符合人类价值观。

• 强化学习（RL）：

采用 GRPO 算法（类似 DeepSeek R1），仅用 7B 参数即可实现高效推理。

训练框架 DeepScaleR 和 AReal 均开源，支持社区复现。

体现出强化学习对 7B 规模的小模型也有效果。

技术细节大揭秘：打造强力 7B 模型的秘密

1. 基础架构：在 Mistral-7B 上全面增强

• 36层 Transformer（比原版 Mistral-7B 的32层更深）
• 4096维隐藏层，32个Attention头
• GQA（Grouped Query Attention）+ SWA（Sliding Window Attention），支持32K上下文处理，且推理速度更快、内存占用更低
• 混合精度训练（FP16）+ 激活检查点（Activation Checkpointing），显著减少训练显存开销
• 采用“滚动缓存机制”，在超长文本推理时，将注意力存储限制在固定窗口，既保持推理质量，又避免显存爆炸

2. 数据策略：质量远胜普通爬虫数据

Moxin-7B 使用了极为精细的数据筛选流程：

• 文本数据：SlimPajama + DCLM-Baseline

去除短文本、低质量、重复网页，提升语料干净度

基于 MinHash-LSH 技术做跨域去重，相似度阈值控制在 0.8 以内

清洗后仅保留约 627B Token（RedPajama 原版的 49% 大小），但信息密度更高

• 代码数据：The Stack-dedup

6TB 开源许可代码，涵盖 358 种语言

进一步近似去重，避免重复训练，移除 40% 以上重复或近重复代码片段

助力模型在编码理解、代码生成任务上有优异表现，提升推理能力

• 推理/数学增强数据：

采用高质量公开数据

集中提升推理、数学、常识问答等方面能力

3. 训练过程：高效且可控

• 三阶段预训练策略：

1.基础阶段（2K context）

2.长上下文阶段（4K context）

3.能力强化阶段

• 使用 Colossal-AI 进行训练加速：

1.混合并行（Data Parallelism + Model Parallelism）

2.ZeRO 优化（减少冗余存储）

3.混合精度训练

4.动态调度、异步通信加速

• 训练成本仅约 16 万美元！

1.为小型研究团队/企业提供了现实范例

4. 微调与强化学习：能力全面拉满！

预训练结束后，Moxin 团队采用双路线后期优化：

• 指令微调（SFT+DPO）

采用 open-instruct 开源框架

基于Tülu 3和Infinity Instruct数据集，采用多源指令数据（如CoCoNot, OpenMathInstruct, Evol-CodeAlpaca等）

使用 DPO（Direct Preference Optimization）进一步对齐人类偏好

结果：生成回答更流畅、理解指令更准确

• 推理强化（CoT + GRPO）

使用高质量链式推理数据（OpenThoughts、OpenR1-Math等）进行微调

引入 GRPO 强化学习，提升复杂推理/数学答题能力

采用开源训练框架 DeepScaleR，支持社区复现

结果：Moxin Reasoning 模型，在数学推理能力上表现卓越

5.Moxin vs. 主流模型：实测对比

• Base 模型

Zero-shot 测试

表中 Moxin-7B-Enhanced 即为 Moxin-7B-Base 模型，可以观察到，相比于其他 Base 模型如 Qwen2-7B、Llama3.1-8B 等，Moxin-7B-Base 表现出强劲性能。   

• Few-shot 测试    

表中 Moxin-7B-Enhanced 即为 Moxin-7B-Base 模型，可以观察到，相比于其他 Base 模型如 Qwen2-7B、Llama3.1-8B 等，Moxin-7B-Base 表现出强劲性能。   

• Instruct 模型

表中Moxin-7B-DPO即为Moxin-7B-Instrcut模型，可以观察到，相比于其他Instruct模型如Qwen2.5-7B-Instruct，Moxin-7B-Instruct表现亮眼。

• Reasoning 模型        

相比于其他baselines如Qwen2.7-Math-7B-Base，Moxin-7B-Reasoning表现突出，体现出强化学习对7B规模的小模型也有效果。

结语：开源的力量

Moxin-7B 证明了一点：高性能 LLM 不必是黑箱。它的全透明策略不仅降低了研究门槛，还为中小企业提供了可控的AI解决方案。Moxin-7B 的开源贡献：

• Moxin-7B-Base 权重、预训练数据与代码
• Moxin-7B-Instruct 权重、SFT 与 DPO 的训练数据与代码
• Moxin-7B-Reasoning 权重、GRPO 的训练数据与代码

立即体验：

• GitHub：github.com/moxin-org/Moxin-LLM
• HuggingFace：huggingface.co/moxin-org

（文：AI科技大本营）