AI私有化部署的破局者浮出水面。
作者｜田思奇
编辑｜王博
AI推理需求的狂飙，从2024年延续到2025年春天。一个更紧迫的命题出现了：如何在保证性能的前提下，系统性降低千亿级大模型的部署成本？
在AI Infra赛道，又一家“清华系” 明星公司登台亮相，带来了别具一格的破局方案。
「甲子光年」获悉，趋境科技（Approaching.AI）近日已完成数千万元天使轮融资，本轮融资由高瓴创投（GL Ventures）、Z基金领投，水木校友种子基金跟投，老股东真知创投继续追投。
完成融资后，趋境科技将在研发投入上加大力度，加速大模型推理软硬一体工作站和服务器等产品的迭代升级，同时全力推动更高性能的大模型推理引擎的研发与落地应用，助力更多企业在大模型领域实现落地实践。
值得一提的是本轮融资的行业背景。今年春节过后，能源、通信、汽车、金融、建筑等多个领域的国央企相继宣布完成DeepSeek大模型私有化部署。就连英伟达特供中国的“阉割版”AI芯片H20，也因 DeepSeek模型部署需求而翻红。
不过，「甲子光年」留意到，千亿参数模型私有化部署仍困难重重。成本高昂、推理耗时久，中小企业预算压力巨大，部分企业无奈选用轻量化模型，这在一定程度上牺牲了模型的智能化水平。
也就是说，从 “能用” 到 “好用”，还有很长的路要走。
IDC数据显示，中国AI算力市场将从2024年的190亿美元增长到2028年的552亿美元。未来五年，中国推理算力需求年复合增速将达190%。为了进一步帮企业减轻负担，行业迫切需要高性价比的AI Infra解决方案。
趋境科技这家成立仅一年多的企业，凭借 “以存换算” 和全系统异构协同优化的创新路径，成功突破了千亿参数模型落地过程中的 “成本高企” 与 “性能折损” 双重困境，成为AI Infra领域备受瞩目的新兴力量。
那么，它究竟是如何做到的？
1.以存换算与全系统异构协同，释放推理潜能
清华系团队是AI Infra赛道的中流砥柱，趋境科技也是其中的佼佼者。该公司成立于2023年底，由真知创投创始人任旭阳、清华大学计算机科学与技术系教授武永卫联合发起，核心管理团队，包括CEO艾智远、首席战略官陈超、研发负责人陈祥麟，均出身武永卫教授门下，创业前在业内知名企业主导关键产品的研发与交付。
清华大学的KVCache.AI团队，也是趋境科技的长期深度技术合作伙伴。双方的合作使趋境科技兼具领先的技术创新视角和产品实践视角。双方优势互补，为突破效率、效果、成本所构成的“不可能三角”，提供了新的解决思路和探索方向。
早在去年7月，趋境科技与清华KVCache.AI团队就前瞻性地提出GPU/CPU的异构协同推理架构，并合作开源 KTransformers项目。借助该项目，仅需单个消费级GPU配合CPU，就能完成数千亿规模的高效稀疏大模型推理。
今年2月10日，更新后的KTransformers宣布支持DeepSeek-R1/V3 671B大模型，迅速在国内外社区引发强烈反响，GitHub星标在短短几天内突破1万，开发者们纷纷自行复现并发布部署教学视频。有B站up主的教学视频发布当天播放量超过20万，登上全站热搜榜第一名。
在个人用户的单并发使用场景下，从开发者复现的数据来看，该更新实际内存占用约380G，显存占用约14G，一些用户计算发现，其成本不到7万元。在开源社区里，甚至还有开发者用5000成本自行搭配硬件，复现了单并发在4-5tokens/s输出速度的方案。
基于以存换算和全系统异构协同的核心技术，趋境科技近期还推出产品——AI大模型推理软硬一体工作站，将DeepSeek大模型起步部署门槛降低90%。
工作站面向中低并发场景，单台塔式机器即可支持DeepSeek 671B参数模型的流畅推理，还支持各主流大模型的推理，最多可同时支持3个大模型的并发服务。该工作站采用液冷散热与软硬一体设计，运行安静无噪，内置AI办公套件，做到了“开箱即用”，让中小团队以较低成本获得强大的推理能力。
2.趋势引领，重塑AI Infra价值
通过底层架构创新，趋境科技开创了软硬协同的 “智算” 新范式。在行业落地过程中，这些创新技术也正在助力企业在大模型领域实现更多可能性，推动行业朝着更高效、更智能的方向发展。
目前，趋境科技的推理工作站已在政务、金融、法律等领域逐步落地应用，同时与领军安全企业长亭科技、中国信创云先行者中国电子云等厂商建立了战略合作关系。
「甲子光年」注意到，趋境科技的技术突破揭示了AI Infra领域的三大趋势，为行业提供了新的发展范式。
首先，是从 “训练自由” 走向 “推理自由”。随着Scaling Law向推理阶段转移，算力基建需要从GPU单点优化转向全系统协同。以往算力运用较为分散，而趋境科技的架构将这些算力整合起来，形成高效协同的 “作战部队”。通过 “以存换算” 技术，趋境科技将存力转化为算力补充，降低对算力的过度依赖。
第二，助力国产算力生态发展。面对国产GPU性能与英伟达存在差距的现状，趋境科技另辟蹊径，通过异构协同优化技术，降低了对高端硬件的依赖。它将CPU、GPU等算力紧密整合，让全系统异构设备实现高效联动，成功突破了显存容量的限制，充分释放了全系统的存力和算力。这不仅推动了国产算力生态的发展，还大幅降低了大模型的落地成本。
同时，在趋境科技的助力下，企业在垂直领域实现 “轻量化” 部署成为可能。在中低并发场景下，企业无需再耗费巨资自建百万级集群，能够以更低的成本和更快的速度完成大模型的私有化部署。对于成本预算有限、急切期望将大模型应用于实际业务的企业而言，是极具价值的高效解决方案，也是实现数字化转型的一条捷径。
对于正在探索大模型落地的企业而言，与其在算力军备竞赛中苦苦挣扎，不妨也将目光聚焦于如何以更低成本、更高效率地释放模型潜力。
在算力基础设施重心从训练转向推理的趋势下，趋境科技以 “技术 + 场景” 双轮驱动，用技术创新诠释了AI Infra的 “新基建” 价值。也为行业发展提供了可借鉴的思路。
正如该公司所言，AI民主化不是降低智力标准，而是重构技术边界，让每个勇于创新的团队，都能平等获取这个时代最顶尖的AI生产力。
（封面图和文中未说明图片由AI生成）
（文：甲子光年）