专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！
今早9点30，国内著名开源大模型平台DeepSeek开启了本周连续5天技术分享的第1天，开源了针对Hopper
GPU优化的高效MLA解码内核——FlashMLA。
刚在Github发布瞬间就破了1000颗星，DeepSeek现在就是国内外大模型开源界的顶流。
开源地址：https://github.com/deepseek-ai/FlashMLA
网友表示，第一天就这么劲爆的嘛，真是太棒了，恭喜你们完成了如此令人印象深刻的工作和细节。
DeepSeek的FlashMLA快得简直像是在Hopper GPU上表演单口相声——3000 GB/s 和 580 TFLOPS，哇，接下来是什么，是和你的烤面包机进行实时对话，还是在早餐前实现完全的AGI？
太棒的 CUDA 内核了！请继续保持出色的工作！
「AIGC开放社区」为大家简单解读一下FlashMLA吧，这是一种专门针对Hopper GPU优化的内核，用于加速多头注意力解码过程。
在自然语言处理任务中，输入序列的长度往往是不定的，而FlashMLA针对这种情况进行了专门的优化。这种优化可以减少不必要的计算资源浪费，从而提高整体效率。
此外，FlashMLA还支持BF16，这是一种降低了精度但不会显著影响结果的浮点数格式。支持BF16不仅可以加速计算过程，还能节省存储空间和带宽，对于大规模深度学习任务来说尤为重要。
FlashMLA还采用了分页KV缓存技术，通过将键值对缓存分页化（块大小为64），能够更智能地利用内存，并加快检索速度，进而提高上下文管理的效率。这种缓存机制在处理大规模数据时尤其有效，能够显著提升系统的整体性能。
在H800 GPU上，FlashMLA展现了卓越的性能指标。它达到了3000 GB/s的内存带宽，内核能够高效地进行内存传输，从而减少内存瓶颈对性能的影响。
同时，FlashMLA还实现了580 TFLOPS的计算性能，在处理高数据吞吐量和计算密集型任务时表现非常出色。
（文：AIGC开放社区）