OmniCorpus：迄今为止最大的多模态数据集

OmniCorpus简介

OmniCorpus 是由上海人工智能实验室领衔，联合哈尔滨工业大学、南京大学、复旦大学、香港中文大学、商汤科技研究院、清华大学等机构共同开发的大规模多模态数据集。它整合了高达10亿级别的图像与文本，这些内容以自然的文档格式交织在一起，以模仿人类的阅读习惯和互联网数据的表现形式。这个数据集通过高效的数据引擎进行筛选和提取，涵盖了来自多样化源点的860亿张图像和1696亿个文本标记，不仅在规模上显著超越现有数据集，而且在数据质量和多样性上也表现出色。OmniCorpus 支持灵活的数据格式，适用于多种研究和应用，包括语言模型训练、视觉问答、图像字幕生成等，为未来的多模态人工智能研究提供了坚实的数据基础。

OmniCorpus主要功能

1. 多模态学习支持：提供大规模的图像和文本数据，支持多模态学习任务，如图像字幕生成、视觉问答（VQA）等。
2. 数据多样性：包含来自不同语言、不同领域和不同类型的网站的图像和文本，增加了数据集的多样性和覆盖范围。
3. 灵活的数据格式：支持将数据格式化为纯文本、图像-文本对或图像-文本交织格式，以适应不同的研究和应用需求。
4. 高质量数据保证：通过高效的数据引擎和过滤机制，确保数据集的高质量，减少噪声和不相关内容。
5. 研究和开发基础：为多模态大型语言模型（MLLMs）的研究和开发提供坚实的数据基础。

OmniCorpus技术原理

1. 数据引擎：开发了高效的数据引擎，用于处理和过滤大规模的多模态数据，包括图像和文本的提取、清洗和格式化。
2. 流式数据格式：提出了一种统一的流式数据格式，用于存储和处理来自不同来源的图像和文本数据，便于数据的后续操作。
3. 大规模数据处理：数据管道能够扩展到数千个CPU核心，以并行化的方式处理数据，提高了数据处理的效率和速度。
4. 图像和文本过滤：实施了包括图像美学评分、非安全工作（NSFW）内容检测在内的多种过滤机制，确保数据质量。
5. 人工反馈循环：通过人工反馈机制进一步优化文本过滤规则，提高数据集的质量和适用性。
6. 主题建模和多样性分析：使用LDA等主题建模技术评估数据集的内容多样性，确保数据集在主题覆盖上的广泛性。
7. 数据去重：通过文本和图像的哈希值比较，去除重复的文档和图像，减少数据集的冗余。

OmniCorpus应用场景

1. 多模态语言模型训练：用于训练和优化多模态大型语言模型（MLLMs），提高模型在理解和生成涉及图像和文本的任务上的性能。
2. 视觉问答系统：构建能够回答有关图像内容的问题的系统，例如识别图片中的对象并提供相关信息。
3. 图像字幕生成：开发自动为图片生成描述性字幕的算法，适用于社交媒体、在线相册和辅助视觉障碍人士的应用。
4. 内容审核和过滤：利用数据集中的文本和图像过滤技术，为网站和社交媒体平台提供内容审核工具，以识别和过滤不适当内容。
5. 智能搜索引擎优化：改进搜索引擎的算法，使其能够更好地理解和索引多模态内容，提供更准确的搜索结果。
6. 教育和培训材料开发：使用数据集中的丰富资源来创建教育工具和培训材料，尤其是在视觉识别和语言理解领域。

OmniCorpus项目入口

• GitHub代码库：https://github.com/OpenGVLab/OmniCorpus
• arXiv技术论文：https://arxiv.org/pdf/2406.08418