武大等开源的高清卫星影像数据集：涵盖 21 万 + 地理目标

0 30

SGG项目简介

由武汉大学遥感信息工程学院的Yansheng Li团队联合上海人工智能实验室、西安电子科技大学、康奈尔大学、中国三峡大学、中国科学院、中南大学、东南大学以及上海交通大学的研究人员共同开发，提出了一种针对大尺寸超高分辨率卫星图像的场景图生成（SGG）方法。这项研究不仅构建了一个包含超过21万个对象和40万个三元组的大规模数据集RSG，还提出了一个上下文感知的级联认知（CAC）框架，显著提升了卫星图像中对象检测和关系预测的准确性。该团队还发布了一个包含多种方法的SGG工具包，为地理空间场景的智能理解提供了新的视角和工具。【亮点：RSG，第一个用于大型VHR SAI中的 OBD 和 SGG 的大规模数据集】

项目关键点

❶问题背景：在卫星图像中进行场景图生成有助于从感知到认知层面深入理解地理空间场景。由于对象在尺度和纵横比上的巨大变化，以及对象间（甚至空间不相交的对象间）存在丰富的关系，这要求在大尺寸VHR卫星图像中全面进行SGG。
❷数据集缺乏：目前缺乏适用于大尺寸VHR SGG的数据集，限制了该领域的研究进展。
❸RSG数据集：为了解决数据集稀缺问题，研究团队构建了名为RSG的大规模数据集，包含超过21万个对象和超过40万个三元组，图像尺寸从512×768像素到27,860×31,096像素不等。
❹CAC框架：提出了一个上下文感知的级联认知框架，包括对象检测（OBD）、成对修剪和关系预测三个层次，以实现大尺寸VHR卫星图像中的场景图生成。
❺HOD-Net：作为SGG的基础前提，提出了一个整体的多类对象检测网络，能够灵活整合多尺度上下文。
❻PPG网络：设计了一个通过对抗重建生成的成对提议生成（Pair Proposal Generation, PPG）网络，用于选择高价值的成对对象。
❼RPCM网络：提出了一个具有上下文感知消息传递的关系预测网络，用于预测成对对象的关系类型。
工具包发布：研究团队还发布了一个面向卫星图像的SGG工具包，包含约30种OBD方法和10种SGG方法，❽以及基于RSG的基准测试，其中HOD-Net和RPCM在OBD和SGG任务中均显著优于现有方法。
数据集和工具包公开：RSG数据集和面向SAI的工具包将公开提供，以促进大尺寸VHR SAI中SGG的发展。
❾研究贡献：主要贡献包括提出了RSG数据集、CAC框架、多功能工具包，并通过在RSG数据集上的严格实验来证明这些方法的有效性。

RSG数据集

为了解决数据集稀缺问题，该研究团队为大型 VHR SAI 中的 SGG 构建了 RSG，这是一个包含超过210,000 个对象和超过 400,000 个三元组的大型数据集。在该数据集中，收集了空间分辨率为 0.15 米到 1 米的 SAI，涵盖了全球范围内与人类活动密切相关的 11 类复杂地理空间场景（例如机场、港口、核电站和大坝）。在 SAI 专家的指导下，所有对象都被分为48 个细粒度类别并使用有向边界框 (OBB) 进行精确注释，所有关系都按照 8 个大类（包括58 个细粒度类别）进行注释。所有对象对及其包含的关系都是一对多注释的，所有关系注释都是绝对的（不受影像旋转的影响）。总之，RSG 在 SAI 方面比现有的 OBD 数据集和 SGG 数据集具有明显的优势。