xet-core：为Hugging Face Hub提供高效存储和数据管理的底层技术

huggingface/xet-core：为Hugging Face Hub提供高效存储和数据管理的底层技术。亮点：

1. 基于chunk的去重功能，避免重复传输和存储；
2. Python绑定，无缝集成Hugging Face Hub；
3. 本地磁盘缓存，提升数据读写效率

参考文献：
[1] http://github.com/huggingface/xet-core

知识星球服务内容：Dify源码剖析及答疑，Dify对话系统源码，NLP电子书籍报告下载，公众号所有付费资料。加微信buxingtianxia21进NLP工程化资料群。