很多时候工程架构解决的是复杂性问题,对于 LLM 来说,模型结构相对固定,结构核心部分已经变成全手写以达成最佳性能,好像所有的 LLM 模型几乎可以使用同一套 API。
AI推理需求即将爆发,甚至也可以说已经爆发的2025年,真正适配AI大模型大规模落地的底层AI infra应该是什么样的?
DeepSeek V3 作为目前公开资料可以看到的最复杂、最精巧的大模型 infra 设计,紧密结合算法和Infra,可以说在模型的部署上是最高端的一波了,真正发挥出了模型的极致性能。DeepSeek 把路走通以后,也许未来很多大模型框架,都会往沿着这个方向继续演进。
我整理了DeepSeek的资源大全,涉及到DeepSeek 的官方链接、开源项目、专业的技术分析文章,以及不断更新的行业资讯,你想知道的关于 DeepSeek 的一切,都可以在这里找到。扫码免费领取⬇️(下滑还有更多福利)

研梦非凡3月11日晚(周二)邀请了手握10余篇顶会的杨导师给大家从DeepSeek-V3 的技术报告入手,深入探讨 AI Infrastructure 的关键技术与创新实践,展示如何通过高效的计算集群、训练框架、低精度训练以及推理部署优化,推动大规模语言模型的性能与效率提升。
扫码预约直播课领资料+福利

课程内容
1. 计算集群(Compute Clusters)
如何构建高效、可扩展的计算集群,以支持 DeepSeek-V3 这种拥有 6710 亿参数 的大规模混合专家模型(MoE)的训练与推理。
2. 训练框架优化(Training Framework)
-
DualPipe 与计算-通信重叠:通过 DualPipe 技术实现计算与通信的高效重叠,最大化硬件利用率。 -
跨节点全对全通信的高效实现:优化多节点间的通信效率,减少训练中的瓶 颈。 -
极致内存节省与最小开销:在保证性能的同时,显著降低内存占用,提升训练稳定性。
3. FP8 低精度训练(FP8 Training)
-
混合精度框架:通过混合精度训练加速模型收敛,同时保持高精度模型的性 能。 -
量化与乘法精度提升:在低精度训练中通过量化与乘法优化,进一步提升模 型精度。 -
低精度存储与通信:减少存储与通信开销,显著降低训练成本。
4. 推理与部署(Inference and Deployment)
-
Prefilling 与 Decoding 优化:通过预填充和解码阶段的优化,提升推理效率,降低延迟。 -
硬件设计建议:针对通信与计算硬件的优化建议,为未来 AI 基础设施的设计提供参考。
导师介绍
杨导师
【简介】毕业于知名计算机名校。博士期间研究方向聚焦为计算机视觉,自然语言处理,高效的深度学习训练和推理方法,大语言模型轻量化与高效微调技术。
曾在多家公司担任算法研究员,并进行计算机视觉,高效模型压缩算法,多模态大语言模型的研究,包括模型量化,剪枝,蒸馏,编译以及高效稀疏化训练与推理。
【科研成果】在国际顶级会议CVPR,ICCV, EMNLP等发表13篇论文,并担任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要会议和期刊的审稿人。
多项发明专利,指导学生有耐心,教学严谨,思维逻辑缜密,已经指导数十篇论文。对于成果好的学生,帮助学生写推荐信和指导申请硕/博申请。
研梦非凡可指导的研究方向

主流方向科研论文常用方法

扫码预约直播课领资料+福利

梦非凡科研论文指导方案
idea并不是直接拍脑门拍出来的,是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导,和研梦导师一起找idea,研梦导师指导实验,共同解决数据问题。授之以渔——搭建论文写作框架,增删改查,针对性实验指导!哪里薄弱补哪里!

👇🏻全程1v1论文辅导扫码咨询助教
研梦非凡导师团队
研梦非凡的导师来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后,世界500强公司算法工程师,以及国内外知名人工智能实验室研究员。
这是一支实力强大的高学历导师团队,在计算机科学、机器学习、深度学习等领域,积累了丰富的科研经历,研究成果也发表在国际各大顶级会议和期刊上,在指导学员的过程中,全程秉持初心,坚持手把手个性化带教。包括但不限于以下导师~~
<<< 左右滑动见更多 >>>
扫码预约研梦非凡1v1导师meeting

研梦非凡隶属于苏州研途教育,深耕考研辅导行业13年,累计服务1w+付费学员(60%高校学生/教师,40%职场精英);科研为本,质量为先!我们有:500+ 国内外顶尖高校博士/教授,互联网大厂/独角兽公司的高级算法科学家组成的教师团队;深度定制的科研服务,根据每位学员的实际情况,提供个性化的科研辅导方案,确保交付结果;一站式、全方位科研支持,从选题到方案设计,从实验实施到论文撰写、成果发表,4V1全流程保姆式服务!

(文:GiantPandaCV)