在本地实现接近10倍的加速运行 Deepseek 上午8时 2025/02/20 作者 NLP工程化 KTransformers是提升Transformer体验的灵活框架,支持多GPU加速和本地部署优化,适用于24GB显存和382GB系统内存配置。
清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目 上午8时 2025/02/13 作者 NLP工程化 清华大学KVCache.AI团队联合趋境科技发布KTransformers开源项目,支持24G显存在本地运行DeepSeek-R1、V3的671B满血版,预处理和推理速度提升。