3FS
DeepSeek在开源周最后一天发布的萤火文件系统 (3FS)
DeepSeek发布的萤火文件系统3FS专为AI训练中的模型批量读取样本数据场景设计,通过Direct IO和异步对齐的读取方式提高性能,减少了服务端的数据加载时间。
DeepSeek 开源周最后一天,重塑 AI 训练底层逻辑
3FS 是幻方 AI 自研的开源文件系统,支持 AI 训练中的高效模型批量读取。通过改进的存储节点与计算节点分离架构和 FFRecord 格式化,以及 KVCache 缓存技术,提高了模型训练速度。
DeepSeek第五弹炸裂收官!开源全新并行文件系统,榨干SSD全部带宽
DeepSeek开源周收官,正式发布高性能文件系统3FS和数据处理框架Smallpond。3FS利用现代SSD和RDMA网络特性,实现了惊人的读取吞吐量,为AI数据处理设定了新基准。
DeepSeek开源周最后一天:让数据处理「从自行车升级到高铁」
DeepSeek 开源了高性能并行文件系统3FS,实现了高吞吐量和强一致性,支持AI训练和推理工作负载。它利用现代SSD和RDMA网络提供共享存储层,具有分离式架构、强一致性和无状态元数据服务等优势。
DeepSeek开源第五弹:3FS & Smallpond 颠覆性数据处理神器登场,PB级数据轻松处理
刚刚 DeepSeek开源周最后一个开源日推出数据处理神器:3FS和Smallpond。3FS是一款高性能分布式文件系统,提供卓越的读取吞吐量。Smallpond是基于DuckDB和3FS的数据处理框架,旨在简化PB级数据处理流程并充分利用DuckDB高性能分析能力。