VSI-Bench：李飞飞等推出的视觉空间智能测试基准

VSI-Bench简介

VSI-Bench是由李飞飞、纽约大学、耶鲁大学和斯坦福大学的研究团队共同开发的一项新颖的视频基础视觉空间智能基准测试。该基准测试包含超过5000个问题-答案对，覆盖了近290个真实室内场景视频，旨在评估和提升多模态大型语言模型（MLLMs）在空间感知、记忆和回忆方面的能力。通过模拟人类在现实世界中的视觉空间智能，VSI-Bench为MLLMs提供了一个挑战性的测试平台，以推动其在机器人技术、自动驾驶和增强现实等领域的应用发展。

VSI-Bench主要功能

1. 评估视觉空间智能：VSI-Bench设计用来测试多模态大型语言模型（MLLMs）在视觉空间智能方面的表现，包括它们对空间的感知、记忆和回忆能力。
2. 视频数据理解：通过分析模型对视频数据的理解，VSI-Bench能够评估MLLMs是否能够构建准确的“认知地图”来回答问题。
3. 自我解释和认知地图：VSI-Bench要求模型提供自我解释（linguistic）和生成认知地图（visual），以探测模型如何在空间中思考。
4. 性能基准测试：提供了一个标准化的测试集，允许对不同的MLLMs进行比较和评估。
5. 促进研究和开发：VSI-Bench旨在鼓励研究社区探索如何将前沿模型与视觉空间智能相结合，并照亮这一研究方向。

VSI-Bench技术原理

1. 多模态数据融合：VSI-Bench整合了视觉和语言数据，使模型能够处理和理解视频内容。
2. 大规模视频数据集：使用大规模的视频数据集来训练和测试MLLMs，这些数据集包含了丰富的室内场景视频。
3. 问题-答案对生成：基于视频内容和元信息，自动生成问题和答案对，以及人工审核确保质量。
4. 空间推理能力评估：通过设计不同类型的任务（如对象计数、相对距离估计等），评估模型的空间推理能力。
5. 自我解释和错误分析：通过自我解释和错误分析，研究者可以了解模型的内部推理过程和错误类型。
6. 认知地图构建：通过提示模型预测视频中对象的中心位置，构建认知地图，以评估模型的内部空间表示。
7. 性能度量：使用精确匹配（对于多项选择题）和平均相对准确性（对于数值题）等度量标准来评估模型性能。
8. 人类水平性能比较：通过与人类评估者的表现进行比较，确定MLLMs的性能水平。

VSI-Bench应用场景

1. 机器人导航：在室内环境中，机器人可以使用VSI-Bench来提高其空间感知能力，以便更好地规划路径和避开障碍。
2. 自动驾驶系统：自动驾驶车辆可以利用VSI-Bench来增强对周围环境的空间理解，改善驾驶决策和车辆控制。
3. 增强现实(AR)：在AR应用中，VSI-Bench可以帮助系统更准确地理解和重建三维空间，提供更自然的交互体验。
4. 室内设计辅助：设计师可以运用VSI-Bench来评估和优化室内布局，确保空间的功能性和美观性。
5. 安全监控：安全系统可以通过VSI-Bench来提高对监控视频的空间分析能力，更有效地识别异常行为或事件。
6. 游戏开发：在游戏设计中，VSI-Bench可以用于创建更加复杂和真实的游戏环境，提升玩家的沉浸感。

VSI-Bench项目入口

• 项目主页：https://vision-x-nyu.github.io/thinking-in-space.github.io
• GitHub仓库：https://github.com/vision-x-nyu/thinking-in-space
• arXiv技术论文：https://arxiv.org/pdf/2412.14171