MedRAX：加拿大高校推出的医学人工智能代理框架

MedRAX简介

MedRAX是由加拿大安大略省多伦多大学、多伦多大学健康网络（UHN）和多伦多向量研究所（Vector Institute）联合开发的医学人工智能代理框架，专门用于胸部X光（CXR）的解释。它通过整合最先进的CXR分析工具和多模态大型语言模型（LLMs），动态处理复杂的医学查询，无需额外训练。MedRAX能够将复杂的医学问题分解为多个分析步骤，并通过专门的医学工具进行推理和执行，显著提高了CXR解释的准确性和效率。该框架还配备了用户友好的界面，支持从本地到云端的灵活部署，满足不同医疗隐私需求。

MedRAX主要功能

1. 多模态推理：MedRAX能够处理和解释胸部X光图像，通过整合视觉问答（VQA）、图像分割、定位、报告生成、疾病分类和图像生成等多种任务，提供全面的医学分析。
2. 动态工具整合：无需额外训练，MedRAX可以动态整合和协调多种专门的医学AI工具，以解决复杂的医学查询。
3. 用户友好界面：提供一个基于Gradio的生产就绪界面，支持上传各种标准格式的放射影像（包括DICOM），并保持互动的多轮对话。
4. 灵活部署：支持从本地到云端的多种部署选项，满足不同的医疗隐私和计算需求。
5. 短期记忆功能：通过LangChain框架，MedRAX能够在多轮交互中保持短期记忆，记录用户交互、工具输出和图像，以支持连续的推理过程。

MedRAX技术原理

1. ReAct（Reasoning and Acting）循环：MedRAX采用一个ReAct循环，将复杂的医学查询分解为一系列的分析步骤。这个循环包括观察（分析当前状态和查询）、思考（确定所需的行动）和行动（执行相关工具并整合结果）。
2. 多模态大型语言模型（LLMs）驱动：使用大型语言模型（如GPT-4o）作为核心推理引擎，通过自然语言处理和多模态数据理解来驱动整个系统。
3. 工具模块化：每个工具作为独立模块运行，定义明确的输入/输出格式和能力。工具可以被修改、替换或用于多个任务，而不会影响其他组件。
4. 并行执行和缓存：支持独立工具的并行执行，并通过缓存工具输出避免冗余计算，优化多步分析的性能。
5. 结构化工具调用：使用结构化的JSON API调用执行工具，代理通过精确的请求（如图像路径、文本提示）调用目标工具，并处理工具输出以生成最终响应。
6. 基准测试（ChestAgentBench）：通过一个包含2500个复杂医学查询的综合基准测试（ChestAgentBench），评估MedRAX在多步推理和CXR解释中的性能。

MedRAX应用场景

1. 疾病检测与诊断：快速识别胸部X光中的异常，如肺炎、肺结节、气胸等，辅助医生进行初步诊断。
2. 多模态数据分析：结合胸部X光图像和临床文本信息，提供综合的医学分析和诊断建议。
3. 报告生成：自动生成详细的放射学报告，包括病变描述、诊断意见等，提高工作效率。
4. 图像分割与定位：精确分割胸部X光图像中的解剖结构（如肺叶、心脏），并定位病变部位，辅助精准医疗。
5. 疾病进展监测：对比多次胸部X光检查结果，分析疾病的变化趋势，如肺部病变的扩大或缩小。
6. 医学教育与培训：为医学生和年轻医生提供实践平台，通过模拟诊断场景提升临床诊断能力。

MedRAX项目入口

• 项目主页：https://bowang-lab.github.io/MedRAX
• Github代码库：https://github.com/bowang-lab/MedRAX
• arXiv技术论文：https://arxiv.org/pdf/2502.02673