推理速度

大模型推理部署的几个基本认知及prompt压缩策略用于COT推理微调尝试

作者

2025年02月21日星期x，介绍了大模型推理压缩策略，包括TokenSkip方法用于Controllable Chain-of-Thought（COT），通过分析和剪枝减少冗余token提高推理效率。相关研究文献推荐加入了LoRA微调技术。