大模型推理部署的几个基本认知及prompt压缩策略用于COT推理微调尝试
2025年02月21日星期x，介绍了大模型推理压缩策略，包括TokenSkip方法用于Controllable Chain-of-Thought（COT），通过分析和剪枝减少冗余token提高推理效率。相关研究文献推荐加入了LoRA微调技术。
GSM8K数据集
谷歌DeepMind推出“可微缓存增强”新方法了
谷歌DeepMind团队提出了一种名为‘可微缓存增强’的技术，该技术通过引入外部协处理器来增强大语言模型（LLMs）的键值（kv）缓存，显著提升了推理性能，并在多个基准测试中提高了准确率和性能。