Kimi平台

Mooncake是Kimi的服务平台，后者是由Moonshot AI提供的大型语言模型服务。基于KVCache的解耦架构和预测性早期拒绝策略，Mooncake在高过载场景下实现了显著的吞吐量增加，并且通过改进的传输引擎支持灵活的数据传输。