推理引擎

月之暗面Kimi联合清华大学等机构开源大模型推理架构Mooncake，采用分阶段方式逐步实现高性能KVCache多级缓存的开源。该架构提升了Kimi用户体验，降低了成本，并为处理长文本和高并发需求提供了解决方案。