大模型推理部署的几个基本认知及prompt压缩策略用于COT推理微调尝试

2025年02月21日星期x,介绍了大模型推理压缩策略,包括TokenSkip方法用于Controllable Chain-of-Thought(COT),通过分析和剪枝减少冗余token提高推理效率。相关研究文献推荐加入了LoRA微调技术。

Deepseek R1及Deep research复现回顾及近期前沿进展速递

2025年02月16日,北京晴天。社区第39讲《DeepseekR1及Deepresearch复现》顺利结束,老刘报告了4小时深度讨论内容。介绍了大模型推理和复现进展,包括DeepSeek-MoE-ResourceMap、OpenR1-Math-Raw等资源库,并展示了OpenThinker-32B在MATH500测试中的表现。研究发现,长链推理的结构比内容更重要。老刘呼吁社区成员参与讨论。

GraphRAG前沿之Graph RAG-Tool Fusion:将知识图谱用于Agent工具编排实现思路

今天是2025年02月13日,星期四。文章介绍了使用基于知识图谱的方法来改善多智能体系统中的工具检索准确性。通过构建工具依赖关系的知识图谱并结合向量搜索和图遍历技术,可以更准确地找到用户所需的相关工具。