很多时候工程架构解决的是复杂性问题，对于 LLM 来说，模型结构相对固定，结构核心部分已经变成全手写以达成最佳性能，好像所有的 LLM 模型几乎可以使用同一套 API。
AI推理需求即将爆发，甚至也可以说已经爆发的2025年，真正适配AI大模型大规模落地的底层AI infra应该是什么样的？
DeepSeek V3 作为目前公开资料可以看到的最复杂、最精巧的大模型 infra 设计，紧密结合算法和Infra，可以说在模型的部署上是最高端的一波了，真正发挥出了模型的极致性能。DeepSeek 把路走通以后，也许未来很多大模型框架，都会往沿着这个方向继续演进。
我整理了DeepSeek的资源大全，涉及到DeepSeek 的官方链接、开源项目、专业的技术分析文章，以及不断更新的行业资讯，你想知道的关于 DeepSeek 的一切，都可以在这里找到。扫码免费领取⬇️（下滑还有更多福利）
研梦非凡3月11日晚（周二）邀请了手握10余篇顶会的杨导师给大家从DeepSeek-V3 的技术报告入手，深入探讨 AI Infrastructure 的关键技术与创新实践，展示如何通过高效的计算集群、训练框架、低精度训练以及推理部署优化，推动大规模语言模型的性能与效率提升。
扫码预约直播课领资料+福利
课程内容
1. 计算集群（Compute Clusters）
如何构建高效、可扩展的计算集群，以支持 DeepSeek-V3 这种拥有 6710 亿参数 的大规模混合专家模型（MoE）的训练与推理。
2. 训练框架优化（Training Framework）
-
DualPipe 与计算-通信重叠：通过 DualPipe 技术实现计算与通信的高效重叠，最大化硬件利用率。 -
跨节点全对全通信的高效实现：优化多节点间的通信效率，减少训练中的瓶 颈。 -
极致内存节省与最小开销：在保证性能的同时，显著降低内存占用，提升训练稳定性。
3. FP8 低精度训练（FP8 Training）
-
混合精度框架：通过混合精度训练加速模型收敛，同时保持高精度模型的性 能。 -
量化与乘法精度提升：在低精度训练中通过量化与乘法优化，进一步提升模 型精度。 -
低精度存储与通信：减少存储与通信开销，显著降低训练成本。
4. 推理与部署（Inference and Deployment）
-
Prefilling 与 Decoding 优化：通过预填充和解码阶段的优化，提升推理效率，降低延迟。 -
硬件设计建议：针对通信与计算硬件的优化建议，为未来 AI 基础设施的设计提供参考。
导师介绍
杨导师
【简介】毕业于知名计算机名校。博士期间研究方向聚焦为计算机视觉，自然语言处理，高效的深度学习训练和推理方法，大语言模型轻量化与高效微调技术。
曾在多家公司担任算法研究员，并进行计算机视觉，高效模型压缩算法，多模态大语言模型的研究，包括模型量化，剪枝，蒸馏，编译以及高效稀疏化训练与推理。
【科研成果】在国际顶级会议CVPR,ICCV, EMNLP等发表13篇论文，并担任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要会议和期刊的审稿人。
多项发明专利，指导学生有耐心，教学严谨，思维逻辑缜密，已经指导数十篇论文。对于成果好的学生，帮助学生写推荐信和指导申请硕/博申请。
研梦非凡可指导的研究方向
主流方向科研论文常用方法
扫码预约直播课领资料+福利
梦非凡科研论文指导方案
idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！
👇🏻全程1v1论文辅导扫码咨询助教
研梦非凡导师团队
研梦非凡的导师来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后，世界500强公司算法工程师，以及国内外知名人工智能实验室研究员。
这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～～
<<< 左右滑动见更多 >>>
扫码预约研梦非凡1v1导师meeting
研梦非凡隶属于苏州研途教育，深耕考研辅导行业13年，累计服务1w+付费学员（60%高校学生/教师，40%职场精英）；科研为本，质量为先！我们有：500+ 国内外顶尖高校博士/教授，互联网大厂/独角兽公司的高级算法科学家组成的教师团队;深度定制的科研服务，根据每位学员的实际情况，提供个性化的科研辅导方案，确保交付结果;一站式、全方位科研支持，从选题到方案设计，从实验实施到论文撰写、成果发表，4V1全流程保姆式服务！
（文：GiantPandaCV）