全参数微调

极客说｜Unsloth 的全微调之路：从 Adapter 到 Full Fine-tuning

作者

Unsloth 框架从支持 LoRA 和 QLoRA 适配器微调到引入全参数微调，解决了大规模模型训练内存占用的问题。通过梯度检查点、激活值卸载和优化器状态分页等技术实现了高效的内存管理和加速训练过程。