大模型推理
焱融YRCloudFile发布面向AI推理的分布式KV Cache特性
专注于AIGC领域的专业社区报道了焱融科技YRCloudFile支持大模型推理场景的KVCache特性,显著提升推理性能和效率。
DeepSeek 之后,大模型应用如何迈向新阶段? AICon
春节期间DeepSeek引起广泛关注,AWS宣布开源DeepSeek模型。AICon大会聚焦AI应用边界,涵盖端侧智能、多模态大模型创新实践等议题。
趋境科技获高瓴创投、Z基金领投天使轮,助力企业10倍降本部署DeepSeek|
趋境科技通过 ‘以存换算’ 和全系统异构协同优化技术,成功突破了千亿参数模型落地过程中的成本高企与性能折损问题。该公司完成了数千万元天使轮融资,并推出软硬一体工作站降低大模型部署门槛。
普林斯顿大学联合北京大学合作开发了名为 ReasonFlux 的多层次LLM 推理框架
基于层次化强化学习,ReasonFlux 提出一种更高效且通用的大模型推理范式,核心在于结构化的思维模板,结合层次化推理和强可解释性,仅 32B 参数,使用 8 块 NVIDIA A100-PCIE-80GB GPU,能通过自动扩展思维模板提升推理能力。