VisionFM：多模态多任务眼科人工智能模型

VisionFM简介

VisionFM是一个多模态多任务视觉基础模型，专为综合眼科人工智能设计。它通过预训练3.4百万张覆盖广泛眼科疾病、模态和人群的图像，展现出超越基础至中等水平眼科医生的诊断能力。该模型不仅在疾病筛查、诊断和预后方面表现出色，还能进行病变、血管和层的分割以及地标检测，具有强大的新模态和设备泛化能力。此外，VisionFM利用合成数据增强学习，为眼科AI的发展和临床应用开辟了新的可能性。

VisionFM主要功能

1. 疾病筛查与诊断：识别和诊断包括糖尿病视网膜病变、老年性黄斑变性、青光眼等在内的多种眼科疾病。
2. 疾病预后：预测疾病的进展，如青光眼的未来发展情况。
3. 表型亚分类：进行病变、血管和层的分割以及地标检测，以细分疾病的不同表型。
4. 系统生物标志物和疾病预测：从眼底和外部眼图像中估计系统生物标志物，如肾功能、全血细胞计数和血脂。
5. 多模态处理能力：处理包括眼底摄影、OCT、UBM、裂隙灯成像、FFA、MRI等多种眼科成像模态。
6. 泛化能力：对新模态、新设备和未在预训练中见过的疾病展现出良好的泛化能力。

VisionFM技术原理

1. 大规模预训练：使用来自560,457名个体的3.4百万张眼科图像进行预训练，涵盖广泛的疾病、模态和人群统计数据。
2. 自监督学习：通过自监督学习方法，使模型能够从大量未标记的数据中学习特征。
3. 合成数据生成：利用合成数据增强模型的表示学习能力，并通过视觉图灵测试确保合成数据的质量。
4. 多模态学习：模型设计为能够同时处理和学习多种眼科成像模态的数据。
5. 样本高效微调：通过少量样本进行微调，使模型能够快速适应新任务或新疾病。
6. 注意力机制：模型使用注意力机制来识别图像中的关键区域，增强对病变等目标的识别能力。
7. 泛化能力测试：通过在未见过的模态、设备和疾病上的测试，评估模型的泛化能力。
8. 可解释性：通过可视化注意力图来解释模型如何解释眼科图像，增强模型的可解释性。

VisionFM应用场景

1. 眼科疾病筛查：在公共卫生领域，VisionFM可用于大规模筛查糖尿病视网膜病变、青光眼等常见眼科疾病，提高早期诊断率。
2. 临床诊断辅助：在医院和诊所中，VisionFM辅助眼科医生进行更准确的疾病诊断，尤其是在资源有限或医生经验不足的情况下。
3. 疾病预后评估：VisionFM预测眼科疾病的进展，如青光眼的恶化，帮助医生制定更合适的治疗计划。
4. 医学教育与训练：作为模拟病例分析工具，VisionFM可用于医学生和年轻医生的教育和专业训练，提高他们的诊断技能。
5. 远程医疗诊断：在远程医疗设置中，VisionFM使患者能够在没有直接医生监督的情况下，通过上传眼部图像获得初步诊断。
6. 眼科研究与发展：VisionFM可用于眼科研究，分析疾病模式，预测疾病发展趋势，以及开发新的治疗策略。

VisionFM项目入口

• Github代码库：https://github.com/ABILab-CUHK/VisionFM
• arXiv技术论文：https://arxiv.org/pdf/2310.04992