EmaFusion：Ema 推出的多模型融合技术

EmaFusion项目简介

EmaFusion是由Ema推出的多模型融合技术，旨在无缝选择和集成大型语言模型（LLMs），以提高性能并降低成本。该系统通过结合基于分类的路由、学习型路由和级联方法，实现了对不同查询的智能处理。EmaFusion™能够根据查询的复杂性、领域和成本约束，动态选择最适合的模型，并通过多法官评估机制确保输出的准确性和可靠性。它在性能上超越了单一模型和其他基线方法，同时显著降低了成本，为需要高性能和适度资源需求的实际应用提供了一种高效解决方案。

EmaFusion主要功能

• 智能路由选择：根据查询的复杂性和领域特征，智能选择最适合的模型，确保高效处理。
• 动态模型融合：融合多个模型的输出，提升准确性和鲁棒性，同时优化成本。
• 成本效益优化：在保证性能的前提下，显著降低计算和财务成本，提高资源利用效率。
• 灵活的性能调整：允许用户根据具体需求灵活调整成本与性能的平衡，满足多样化的应用场景。
• 多法官评估机制：通过多个独立的法官模型对输出进行评估，确保输出的准确性和可靠性，减少偏差。

EmaFusion技术原理

• 问题分解：
  • 将用户请求分解为更易处理的子问题，并对每个子问题进行分类，以便后续的路由和评估。
• 基于分类的路由：
  • 使用高覆盖度的分类机制，将子问题分配到不同的类别中。
  • 通过慢速（基于LLM）和快速（基于嵌入）分类器，结合两种分类结果，快速路由到适合的模型。
• 学习型路由：
  • 对于模糊或分布外（OOD）输入，使用学习型路由器预测每个候选模型的性能。
  • 通过多输出回归模型，预测每个模型在特定任务上的表现，选择性能最优的模型。
• 级联路由：
  • 根据成本/性能排序，从较便宜的模型开始逐步升级到更昂贵的模型。
  • 使用CASCADE算法评估每个模型的输出，结合多个置信度信号，动态决定是否继续升级。
• 多法官评估机制：
  • 通过多个独立的LLM法官对输出进行评估，减少偏差。
  • 结合多个置信度信号（如logit置信度、自报告置信度、奖励模型评分等），动态调整评估策略。
• 任务分解融合：
  • 对于分解后的子问题，独立路由并可能并行或顺序执行。
  • 通过融合函数将多个模型的输出整合为最终结果，进一步提升性能。

EmaFusion应用场景

1. 智能客服：快速处理客户咨询，根据问题复杂性自动选择合适的模型，提供准确的解答，同时降低运营成本。
2. 内容生成：用于生成高质量的文章、报告或创意文案，通过模型融合提升生成内容的多样性和准确性。
3. 代码辅助开发：帮助开发者快速生成代码片段或优化现有代码，选择最适合特定编程任务的模型，提高开发效率。
4. 教育辅导：为学生提供个性化的学习指导，根据学习内容和难度选择合适的模型，提供精准的解答和反馈。
5. 医疗咨询：在医疗领域提供辅助诊断或医学知识解答，通过多模型融合确保信息的准确性和可靠性。
6. 企业数据分析：处理复杂的数据分析任务，根据数据类型和分析需求选择最优模型，提升决策支持的效率和准确性。

EmaFusion项目入口

• 项目官网：https://www.ema.co/emafusion
• arXiv技术论文：https://arxiv.org/pdf/2504.10681