DeepSeek 开源周首日:开源 FlashMLA,AI 推理速度再进化!
DeepSeek推出FlashMLA开源项目,专为Hopper架构GPU设计的超高效MLA解码内核现已正式开源。它优化了变长序列场景下的效率,并已在生产环境中使用。亮点包括BF16精度支持、Paged KV Cache以及极高的性能表现。
DeepSeek推出FlashMLA开源项目,专为Hopper架构GPU设计的超高效MLA解码内核现已正式开源。它优化了变长序列场景下的效率,并已在生产环境中使用。亮点包括BF16精度支持、Paged KV Cache以及极高的性能表现。