MindLLM：耶鲁、剑桥等高校联合推出 的医疗行业 AI 模型

MindLLM简介

MindLLM是由耶鲁大学、达特茅斯学院和剑桥大学的研究团队共同开发的一种新型多功能模型，旨在将功能性磁共振成像（fMRI）信号解码为文本。该模型通过结合神经科学信息注意力机制和大型语言模型（LLM），实现了跨个体的高性能解码和多样化的语义表示捕捉。MindLLM的核心优势在于其主体无关（subject-agnostic）的设计，使其能够适应不同个体的fMRI数据，同时通过“脑指令调优”（Brain Instruction Tuning, BIT）方法，增强了模型在多种任务中的适应性和泛化能力。该模型在多个基准测试中展现出卓越的性能，为脑机接口技术、神经科学研究以及医疗应用提供了新的可能性。

MindLLM主要功能

1. fMRI信号解码为自然语言文本：MindLLM能够将功能性磁共振成像（fMRI）信号解码为自然语言文本，实现从大脑活动模式到语言的直接转换。这一功能可用于脑机接口（BCI），帮助有语言障碍的人恢复沟通能力，或实现通过大脑信号控制设备。
2. 跨个体泛化能力：该模型采用主体无关（subject-agnostic）的设计，能够处理不同个体的fMRI数据，而无需为每个个体单独训练模型。这使得MindLLM在实际应用中更具通用性和可扩展性。
3. 多功能解码：MindLLM通过“脑指令调优”（Brain Instruction Tuning, BIT）方法，能够处理多种任务，包括视觉感知、场景理解、记忆检索、语言处理和复杂推理等。这种多功能性使其能够适应多样化的应用场景。
4. 模型决策的可解释性：MindLLM的注意力机制允许对模型的工作原理进行可视化和解释。通过分析注意力权重，研究人员可以了解模型如何利用大脑活动模式进行解码，从而为神经科学研究提供新的视角。
5. 适应新任务的能力：MindLLM能够快速适应新任务，通过少量的训练数据即可在新的任务场景中表现出色，这为脑机接口的个性化应用提供了便利。

MindLLM技术原理

1. fMRI编码器：MindLLM的核心是fMRI编码器，它通过神经科学信息注意力机制将fMRI信号编码为一系列fMRI tokens。该编码器利用位置信息和大脑区域划分信息作为键（keys），而将fMRI信号本身作为值（values），从而在解码过程中保留空间信息和神经科学先验知识。
2. 神经科学信息注意力机制：该机制通过学习查询（queries）和键（keys）之间的动态交互，提取fMRI信号中的语义信息。它将每个体素的位置信息和区域划分信息作为键，而将体素的fMRI值作为值，从而在解码过程中充分利用空间信息和神经科学先验知识。
3. Brain Instruction Tuning（BIT）：BIT是一种创新的训练方法，通过使用多样化的任务数据集（如视觉问答、图像字幕生成等）来训练模型，使其能够捕捉fMRI信号中多样化的语义表示。这种方法增强了模型的多功能性和适应性。
4. 跨个体泛化：MindLLM通过设计主体无关的fMRI编码器，能够处理不同个体的fMRI数据。该编码器通过共享神经科学先验知识，减少了个体间差异的影响，从而提高了模型在未见个体上的泛化能力。
5. 与大型语言模型（LLM）结合：MindLLM将fMRI编码器与现成的大型语言模型（LLM）结合，利用LLM的强大语言生成能力，将fMRI tokens与语言tokens融合，从而实现从大脑活动到自然语言的高效转换。
6. 注意力权重的可视化：MindLLM的注意力机制允许对模型的决策过程进行可视化。通过分析查询与体素之间的注意力权重，研究人员可以直观地了解模型如何处理大脑活动信号，从而为模型的可解释性提供支持。

MindLLM应用场景

1. 脑机接口（BCI）：帮助语言障碍患者恢复沟通能力，通过解码大脑信号直接生成文字或指令，实现无障碍交流。
2. 神经康复辅助：为瘫痪或运动障碍患者提供辅助控制能力，例如通过思维控制假肢或轮椅的运动。
3. 认知科学研究：为神经科学家提供工具，通过解码大脑活动来研究认知过程、记忆机制和意识活动。
4. 医疗诊断与治疗：辅助医生通过大脑信号分析诊断神经疾病，或为心理治疗提供实时反馈，帮助患者改善情绪和认知状态。
5. 增强现实与虚拟现实（AR/VR）：实现通过大脑信号直接控制虚拟环境中的交互，提升沉浸式体验的自然性和直观性。
6. 智能家居与智能设备控制：通过思维控制智能家居设备或智能穿戴设备，实现更便捷的人机交互，例如通过思考来调节灯光、温度或播放音乐。

MindLLM项目入口

• arXiv技术论文：https://arxiv.org/pdf/2502.15786