OpenAI 和 Anthropic 同意将模型送交美国政府进行安全评估

OpenAI和Anthropic与美国国家标准技术研究院（NIST）下的AI安全研究所签署了协议，合作进行AI模型的安全研究、测试和评估。根据协议，这两家公司将向AI安全研究所提供他们计划发布前和发布后的新型AI模型，以便进行安全评估。AI安全研究所将向OpenAI和Anthropic提供反馈，帮助改进模型的潜在安全问题，并与英国AI安全研究所的合作伙伴密切合作。

OpenAI的战略官Jason Kwon表示，他们强烈支持美国AI安全研究所的使命，并期待共同制定AI模型的安全最佳实践和标准。Anthropic的联合创始人兼政策主管Jack Clark表示，他们的合作利用了AI安全研究所的广泛专业知识，以在广泛部署前严格测试他们的模型，这有助于识别和减轻风险，推动负责任的AI发展。

尽管美国AI安全研究所通过拜登政府的行政命令创建，但该命令并非立法，且可以被下一任美国总统推翻。行政命令呼吁AI模型开发者在公开发布前提交模型进行安全评估，但无法惩罚不这样做的公司或在模型未通过安全测试时追溯撤销。NIST指出，提供模型进行安全评估是自愿的，但将有助于推进AI的安全、安全和可信发展和使用。

一些关注AI安全的团体认为这一协议是朝着正确方向迈出的一步，但Accountable Tech的执行董事兼联合创始人Nicole Gill表示，AI公司必须兑现他们的承诺。她强调，监管机构对AI快速发展的洞察越深入，产品就会越安全。NIST必须确保OpenAI和Anthropic履行他们的承诺，因为这两家公司都有做出承诺但行动甚少的记录。

来源：venturebeat