Git LFS

Hugging Face 使用基于 Git LFS 的存储方案在 GitHub Hub 上存储模型、数据集和 Spaces。Xet 团队提出了一个创新的解决方案——基于内容的分块 (CDC)，通过只传输变化的数据块来提升存储效率和迭代速度，目前该技术已应用于多个仓库，并实现了数据去重。