Mooncake：月之暗面与清华合作开发的先进大型语言模型服务平台

Mooncake简介

Mooncake是由Moonshot AI与清华大学合作开发的先进大型语言模型（LLM）服务平台，旨在为Kimi提供高效、可扩展的服务。该平台采用创新的KVCache中心解耦架构，优化了预填充和解码过程，显著提升了长上下文场景和高负载条件下的处理能力。通过预测早期拒绝策略和精细的负载管理，Mooncake确保了服务水平目标（SLOs）的实现，同时最大化了整体吞吐量。这一技术成果不仅展现了Moonshot AI在AI领域的专业实力，也体现了清华大学在技术创新方面的深厚底蕴。

Mooncake主要功能

1. 高效的LLM服务：Mooncake旨在为大型语言模型（LLM）提供高效的服务，特别是在处理长上下文和高负载场景下。
2. KVCache中心调度：通过一个以KVCache为中心的全局调度器（Conductor）来优化请求的分配和处理。
3. 解耦架构：将预填充（prefill）和解码（decoding）阶段分离，以提高资源利用率和处理效率。
4. 资源优化：利用GPU集群中未充分利用的CPU、DRAM和SSD资源，实现KVCache的解耦缓存。
5. 过载处理：开发了基于预测的早期拒绝策略，以应对系统过载情况，减少资源浪费。
6. 性能监控与SLO满足：监控系统性能，确保满足延迟相关的服务水平目标（SLOs）。

Mooncake技术原理

1. KVCache重用：通过重用KVCache来减少计算资源的需求，提高整体吞吐量。
2. 增量预填充：将预填充阶段分成多个小块（chunks/layers），并持续将输出KVCache流式传输到解码实例。
3. 异步KVCache传输：使用独立的RDMA基于的组件（Messenger）来管理和传输KVCache，以减少等待时间。
4. 负载均衡：通过预测KVCache块的未来使用情况，执行交换和复制操作，以平衡负载和优化缓存使用。
5. 早期拒绝策略：在预填充阶段之前评估解码实例的负载，提前拒绝某些请求，以减少无效计算。
6. 基于预测的负载管理：预测未来负载，以实施更好的拒绝策略，减少过载情况下的资源浪费。
7. 优先级分类：对不同请求进行优先级分类，以实现基于优先级的调度。
8. 连续批处理：在解码阶段使用连续批处理优化，以提高模型FLOPs利用率（MFU）。

Mooncake应用场景

1. 聊天机器人：为在线聊天机器人提供后端支持，处理用户查询并生成响应，尤其是在需要处理长对话上下文时。
2. 内容生成：在内容创作平台中，用于生成文章、故事或其他类型的文本内容，尤其是在需要理解和延续复杂主题时。
3. 语言翻译：作为机器翻译服务的基础设施，处理大量的文本翻译请求，尤其是在处理长篇文章或文档时。
4. 智能搜索：在搜索引擎中，用于理解和回答复杂的查询，提供基于上下文的搜索结果。
5. 教育辅助：在教育软件中，帮助学生理解复杂的概念，生成个性化的学习材料和答案解释。
6. 企业自动化：在企业内部，用于自动化客户服务、数据分析和报告生成等任务，提高效率并减少人力资源需求

Mooncake项目入口

• Github代码库：https://github.com/kvcache-ai/Mooncake
• arXiv技术论文：https://arxiv.org/pdf/2407.00079