谷歌发布全新“开放式”人工智能模型，重点关注安全

0 40

Gemma 2系列新成员

谷歌DeepMind于2024年8月1日宣布发布了Gemma 2系列的新成员，其中包括20亿参数的小模型Gemma 2B。这个新模型在大模型竞技场LMSYS Chatbot Arena中的得分超过了GPT-3.5-Turbo，表现出色 1。Gemma 2B模型不仅性能卓越，而且具有轻量化的特点，能够在多种硬件上运行，包括iPhone 15 Pro 7。此外，谷歌还推出了安全内容分类器模型ShieldGemma和模型可解释性工具Gemma Scope，进一步增强了Gemma 2系列的功能

Gemma 2 2B简介

Gemma 2 2B是一款紧凑但功能强大的人工智能模型，尽管其规模小得多，但可以与行业领导者相媲美。新的语言模型仅包含 26 亿个参数，其性能与 OpenAI 的GPT-3.5和 Mistral AI 的Mixtral 8x7B等规模更大的同类模型相当或超过它们。其占用空间小，特别适合设备应用程序，可能会对移动 AI 和边缘计算产生重大影响。

人工智能研究机构LMSYS的独立测试显示，Gemma 2 2B 在其评估领域取得了 1130 分的成绩。这一结果使其略微领先于 GPT-3.5-Turbo-0613 (1117) 和 Mixtral-8x7B (1114)，这两个模型的参数比前者多十倍。

Gemma 2 2B 在MMLU（大规模多任务语言理解）基准测试中的得分为 56.1，在MBPP（大部分基本 Python 编程）中的得分为 36.6，比其前代产品有显著改进。

这一成就挑战了人工智能开发领域的主流观点，即模型越大，性能自然就越好。Gemma 2 2B 的成功表明，复杂的训练技术、高效的架构和高质量的数据集可以弥补原始参数数量的不足。这一突破可能对该领域产生深远的影响，有可能将焦点从争夺越来越大的模型转移到改进更小、更高效的模型。

ShieldGemma简介

ShieldGemma 是一组指令微调的模型，用于评估文本提示的安全性输入和文本输出响应。您可以使用将该模型作为更大规模部署生成式 AI 应用的一部分，以帮助评估和防止生成式 AI 应用违反安全政策。

ShieldGemma 模型基于 Gemma 2 在 2B、9B 和 270 亿个参数大小。模型具有开放权重，让您可以对其进行微调找到最适合您的具体应用场景的解决方案。这组模型和示例实现代码是组件的 Responsible Generative AI Toolkit。

Gemma Scope简介

Gemma Scope 为研究人员和开发人员提供了前所未有的透明度，让他们能够了解 Gemma 2 模型的决策过程。Gemma Scope 就像一台强大的显微镜，它使用稀疏自动编码器(SAE) 放大模型中的特定点，使其内部工作原理更易于解释。

这些 SAE 是专门的神经网络，可帮助我们解析 Gemma 2 处理的密集复杂信息，将其扩展为更易于分析和理解的形式。通过研究这些扩展的视图，研究人员可以获得有关 Gemma 2 如何识别模式、处理信息并最终做出预测的宝贵见解。借助 Gemma Scope，我们旨在帮助 AI 研究界探索如何构建更易于理解、更可靠、更可靠的 AI 系统。