一文详解:DeepSeek 第五天开源的 3FS 文件系统
DeepSeek在开源周发布了支持其V3/R1模型全生命周期的数据访问需求的核心基础设施——Fire-Flyer File System(3FS)和Smallpond数据处理框架。3FS具有高性能、高吞吐量以及强一致性等特性,在大型集群上实现了6.6 TiB/s的聚合读取吞吐量,并且在KVCache查找中的峰值吞吐量可达40+ GiB/s。Smallpond是建立在3FS之上的轻量级数据处理框架,旨在简化大规模数据处理任务。
DeepSeek在开源周发布了支持其V3/R1模型全生命周期的数据访问需求的核心基础设施——Fire-Flyer File System(3FS)和Smallpond数据处理框架。3FS具有高性能、高吞吐量以及强一致性等特性,在大型集群上实现了6.6 TiB/s的聚合读取吞吐量,并且在KVCache查找中的峰值吞吐量可达40+ GiB/s。Smallpond是建立在3FS之上的轻量级数据处理框架,旨在简化大规模数据处理任务。
DeepSeek本周发布的新版本DeepEP为混合专家模型提供高效的通信解决方案,支持Hopper GPU架构。通过优化的核心、低延迟操作和创新的通信-计算重叠方法提升了模型在训练和推理阶段的性能。
华为任正非、硅基流动袁进辉和面壁智能李大海因部署AI模型DeepSeek而相聚。袁进辉通过成功部署DeepSeek于华为昇腾上盘活存量资源,成为国产算力头部MaaS平台。