新手友好的 LLM 微调工具库:unsloth

该项目是用于微调和优化大型语言模型(LLM)的 Python 工具库。它通过动态量化和显存优化技术,提高了模型微调速度,同时将显存占用降低 70%-80%,并支持多种硬件配置、LLM、超长上下文任务等功能。除此之外,还提供了可直接在线体验的 Jupyter Notebook 示例,降低了大模型微调的门槛。

参考文献:
[1] https://github.com/unslothai/unsloth
[2] https://unsloth.ai/


(文:NLP工程化)

欢迎分享

发表评论