大模型推理部署的几个基本认知及prompt压缩策略用于COT推理微调尝试
2025年02月21日星期x,介绍了大模型推理压缩策略,包括TokenSkip方法用于Controllable Chain-of-Thought(COT),通过分析和剪枝减少冗余token提高推理效率。相关研究文献推荐加入了LoRA微调技术。
2025年02月21日星期x,介绍了大模型推理压缩策略,包括TokenSkip方法用于Controllable Chain-of-Thought(COT),通过分析和剪枝减少冗余token提高推理效率。相关研究文献推荐加入了LoRA微调技术。
今天是2025年02月20日,星期四。文章提到了NLP社区的一则有趣事件,并讨论了R1在多模态推理中的进展,包括视频和图像处理的相关工作及技术细节。
今日2025年02月16日北京晴。老刘的三部曲课程与RAG系列课堂完成,涵盖Deepseek-R1及GraphRAG等大模型知识,包括应用场景、技术原理和复现项目等内容。
2025年02月16日,北京晴天。社区第39讲《DeepseekR1及Deepresearch复现》顺利结束,老刘报告了4小时深度讨论内容。介绍了大模型推理和复现进展,包括DeepSeek-MoE-ResourceMap、OpenR1-Math-Raw等资源库,并展示了OpenThinker-32B在MATH500测试中的表现。研究发现,长链推理的结构比内容更重要。老刘呼吁社区成员参与讨论。
今日为2025年2月15日星期六。文章回顾了昨日的大模型进展,包括GraphRAG、开放AI推理模型使用建议、大模型训练注意力机制等,并介绍了深度思考与RAG结合的新进展,如生成嵌入和输出thought的方法。
2025年02月14日,北京晴。文章介绍了MedRAG工具结合知识图谱解决医疗诊断问题,并回顾了利用知识图谱进行上下文扩展的思路和实践。
今天是2025年02月13日,星期四。文章介绍了使用基于知识图谱的方法来改善多智能体系统中的工具检索准确性。通过构建工具依赖关系的知识图谱并结合向量搜索和图遍历技术,可以更准确地找到用户所需的相关工具。