由于大规模预训练模型的规模庞大，对其进行微调往往成本高昂，难以承受。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法通过仅微调少量（额外的）模型参数，而不是所有模型参数，实现了大规模预训练模型在各种下游应用中的高效适配。这显著降低了计算和存储成本。最近的最先进的PEFT技术在性能上可与完全微调的模型相媲美。PEFT与Transformers集成，便于模型训练和推理；与Diffusers集成，方便管理不同的适配器；与Accelerate集成，支持大规模模型的分布式训练和推理。
参考文献：
[1] https://github.com/huggingface/peft
[2] https://huggingface.co/docs/peft/index
（文：NLP工程化）