Ovis1.6：阿里国际AI团队推出的多模态大模型

简介

Ovis1.6 是阿里国际AI团队推出的多模态大模型，以其卓越的图像理解和多模态数据处理能力，在多个智能领域展现出色性能。该模型在数学推理问答、物体识别、文本提取和复杂任务决策等方面均达到了最新技术（SOTA）水平。Ovis1.6能够准确回答数学问题，识别花的品种，支持多种语言的文本提取，甚至识别手写字体和复杂的数学公式。此外，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一的成绩，超越了MiniCPM-V-2.6等其他行业优秀大模型。

主要功能

1. 数学问题解答：它能够理解和回答复杂的数学问题，处理数学公式和逻辑推理。
2. 物体识别：它具备识别不同物体的能力，比如能够识别植物的种类。
3. 文本提取：它能够从各种文档中提取文本，支持多语言处理。
4. 决策支持：它能够结合图像和文本信息，辅助进行复杂的决策分析。
5. 图像理解：它在理解图像内容方面达到了行业领先水平，能够处理高分辨率和不同比例的图像。

技术原理

1. 视觉嵌入表：Ovis引入了一个可学习的视觉效果表，每个视觉词（visual word）对应一个嵌入向量，以模拟文本嵌入表的方式。
2. 概率化视觉令牌：视觉令牌通过一个线性层转换成概率分布，表示其与视觉效果表中各个视觉词的相似度。
3. 嵌入策略对齐：通过概率化的视觉令牌索引视觉效果表多次，生成一个结构化的视觉嵌入，与文本嵌入生成过程相似。
4. 多阶段训练策略：Ovis采用三阶段训练方法，包括固定语言模型参数的训练、视觉编码器和视觉嵌入表的训练，以及全参数的微调。
5. 跨模态连接器：虽然Ovis不依赖传统的连接器架构，它通过结构化的视觉嵌入自然地实现了视觉和文本模态的融合。
6. 优化的损失函数：使用文本生成损失来优化模型参数，确保在多模态任务中视觉和文本信息的有效整合。

应用场景

1. 教育领域：它可以作为辅助工具，帮助学生解答数学题目，理解复杂的数学概念，甚至辅助语言学习。
2. 农业领域：它能够通过图像识别技术，帮助识别作物疾病或区分不同种类的植物，从而提高农业生产效率。
3. 语言翻译：支持多种语言的文本提取和翻译，使得跨语言的沟通和信息传递变得更加便捷。
4. 安全领域：它能够识别和分析图像内容，用于监控异常行为或潜在的安全威胁。
5. 自动驾驶：在自动驾驶车辆中，Ovis1.6可以处理和解释来自车辆传感器的视觉数据，帮助车辆更好地理解周围环境。
6. 医疗领域：它可以辅助分析医学影像，如X光片或CT扫描，以辅助医生进行更准确的诊断。

项目入口

• GitHub代码库：https://github.com/AIDC-AI/Ovis
• HuggingFace仓库：https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9B
• arXiv技术论文：https://arxiv.org/pdf/2405.20797