Cloudflare近期推出了一项名为“按爬虫付费”的创新服务，旨在重新定义网站内容与人工智能（AI）公司之间的交互模式。这一服务意图为内容创作者提供更加灵活的内容控制权，同时也为AI公司提供一种更为公正的获取内容的途径。
过去一年中，为了应对AI爬虫数量的急剧增加，Cloudflare已经开发了一系列工具，例如可以一键屏蔽所有AI爬虫的解决方案，以及能够监控AI爬虫访问活动的仪表板。Cloudflare的首席执行官马修・普林斯在访谈中提到，这些工具为构建新的服务模式奠定了坚实的基础。
在“按爬虫付费”服务框架下，网站所有者有权决定允许AI爬虫以何种费率抓取他们的内容，或者选择免费开放，甚至完全禁止爬虫访问。这种模式赋予了网站更大的自主权，让它们能够更好地管理内容的使用情况。
随着新闻出版行业面临多重挑战，特别是在谷歌搜索流量下滑和AI聊天机器人迅速崛起的大背景下，Cloudflare的这一创新服务显得尤为重要。尽管一些大型报社已经与科技巨头签订了内容授权协议，但众多中小型出版商仍未获得公平的报酬。Cloudflare希望通过这一全新的商业模式，为更多出版商带来可持续的收入渠道。
Cloudflare还宣布，所有新创建的网站将默认屏蔽AI爬虫，除非网站所有者明确授权某些爬虫进行访问。这一举措得到了康泰纳仕、时代杂志和美国新闻社等大型出版商的积极响应，他们希望通过这种方式实现“许可制抓取”。
然而，AI时代的到来也为出版商带来了新的难题。数据显示，AI爬虫的抓取频率远高于传统爬虫，如OpenAI的爬虫每为出版商带来一次推荐流量，需要进行1700次抓取，而Anthropic的爬虫更是高达73000次。这对于依赖用户访问量的商业模式构成了严峻考验。
Cloudflare还展望了未来“智能代理”的广泛应用前景。在这种场景下，用户将通过智能代理程序获取最新的科研成果或法律信息，而这些代理程序将按需为高质量内容支付费用。
参与这一项目的AI公司和出版商需要在Cloudflare平台上注册账户，并通过平台设置价格和完成交易。尽管目前尚未采用加密货币，但Cloudflare的首席执行官暗示，未来可能会探索使用稳定币作为交易媒介。
文章采集于互联网