Cloudflare 推出工具，供网站所有者向抓取其内容的 AI 公司收费

Cloudflare最近推出了名为AI Audit的工具，帮助网站所有者控制他们的在线内容如何被人工智能模型使用，甚至尝试从中获利。这个工具套件允许网站所有者了解AI模型如何使用他们的内容，并决定是否允许AI开发者访问这些内容。此外，网站所有者还可以为AI抓取者使用他们的内容设定一个“公平价格”，无论是用于模型训练还是其他目的。

在AI行业，从网站上抓取内容的做法非常普遍，互联网上似乎有大量“免费”的数据可以用来训练AI模型。但这种做法也颇具争议，许多内容创作者和发布者认为这是不公平的，尤其是当他们不知道这种情况正在发生时。

一些大型AI提供商，包括OpenAI、Google、Meta、Stability AI、IBM和Microsoft，都承认从网络上抓取内容，并认为这种做法属于“合理使用”原则。然而，批评者认为这对发布者产生了负面影响，因为他们因内容被抓取而失去了网络流量。

为了回应这种情况，一些发布者采取措施阻止AI开发者访问他们的网站。与此同时，Reddit等其他网站则通过允许AI公司付费访问其内容来应对，确保他们得到公平的补偿。

Cloudflare的AI Audit旨在帮助内容创作者重新获得控制权，以便在双方之间进行更透明的交换。它包括一个简单的一键工具，可以自动阻止所有类型的AI抓取器访问内容，以及一套分析工具，帮助网站所有者了解AI机器人在他们的网站上的活动。Cloudflare表示，这可以帮助网站所有者了解AI模型访问他们网页的原因、时间和频率，甚至区分那些注明数据来源的AI机器人和那些没有注明的。

此外，Cloudflare的AI Audit还提供了一个工具，允许网站所有者根据像Reddit这样的大型发布者协商的标准费率，确定允许机器人访问他们内容的公平价格。Cloudflare表示，这是必要的，因为许多小型网站所有者缺乏资源和专业知识来理解他们内容的价值，并与AI公司协商交易。而且，AI公司本身也没有能力与他们抓取的每一个网站达成交易，因为网站数量众多。

Cloudflare的AI Audit标签有助于定义通常用来确定抓取公平价格的指标，例如对某些内容部分或整个页面或网站的抓取速率。基于这些数据，它将推荐一个价格和交易流程，使AI开发者能够快速找到新的内容来源并为之付费，从而补偿创作者。

来源：siliconangle