CLASI：腾讯开发的一种先进的同声传译系统

CLASI简介

CLASI是由腾讯研究团队开发的一种先进的同声传译系统，旨在通过利用大型语言模型（LLM）实现与人类口译员相媲美的翻译质量和流畅度。CLASI采用了创新的数据驱动读写策略和多模态检索增强生成（MM-RAG）技术，以增强对专业术语的翻译能力。该系统经过多阶段训练，包括预训练、持续训练和微调，显著提升了翻译质量和减少了延迟。CLASI在真实世界场景下的表现尤为出色，其有效信息比例（VIP）评估指标高达81.3%，远超现有商业和开源系统，为跨语言交流提供了强大支持。

CLASI主要功能

1. 高质量同声传译：CLASI能够提供高质量的同声传译服务，实时将一种语言的口语翻译成另一种语言。
2. 数据驱动的读写策略：系统模仿专业口译员，通过数据驱动的方法平衡翻译质量和翻译速度。
3. 多模态检索增强：使用多模态检索模块来增强对特定领域术语的翻译，提高翻译准确性。
4. 端到端翻译流程：从音频输入到文本输出的完整处理，包括自动语音识别（ASR）和机器翻译（MT）。
5. 有效信息比例评估：采用新的评估指标VIP，衡量翻译内容有效传达信息的比例。

CLASI技术原理

1. 编码器-条件语言模型架构：使用音频编码器将输入语音转换为连续表示，然后由语言模型生成翻译。
2. 模仿人类口译策略：通过学习人类口译员的策略，实现对输入语音的自然分段和翻译。
3. 多阶段训练方法：包括预训练、持续训练和微调，以逐步提升模型性能。
4. 上下文信息利用：通过记忆模块存储先前的翻译和转录，帮助确定已翻译和未翻译的语音部分，并提供上下文信息。
5. 多模态检索增强生成（MM-RAG）：通过检索外部知识数据库中的相关信息，并将其作为上下文信息整合到翻译过程中。
6. 延迟优化：采用特定的策略以最小化翻译延迟，同时保持翻译质量。
7. 自动和人类评估结合：使用自动评估指标（如BLEU、BLEURT、COMET）和人类评估指标（VIP）来全面评估翻译质量。

CLASI应用场景

1. 国际会议：为来自不同国家的参会者提供实时语言翻译。
2. 法庭审判：确保不同语言的证人和律师能顺畅交流。
3. 医疗咨询：帮助医生与非母语患者进行有效沟通。
4. 教育培训：为不同语言背景的学生提供课程内容的实时翻译。
5. 商务谈判：在跨国商务会议中提供即时翻译服务。
6. 在线内容：为视频、直播等在线内容提供多语言同声传译。

CLASI项目入口

• 官方项目主页：https://byteresearchcla.github.io/clasi/
• arXiv研究论文：https://byteresearchcla.github.io/clasi/technical_report.pdf