Cloudflare

根据 Patreon 的早期测试，各个人工智能训练爬虫每周尝试访问 Patreon 的次数从数千次骤降至零次。

全球超过 20% 的互联网流量由 Cloudflare 的全球网络承载，这为其提供了独特的视角，使其能够实时洞悉内容的变动与流量特征。

负责任的 AI 企业会清晰标记其网络爬虫机器人的用途，但仍然存在相当数量的混合型爬虫：其同时具备多种功能，在此前难以管理。

Anthropic 长期以“更具伦理性”的 AI 公司形象著称，也因此受到部分用户青睐。但这组数据揭示了另一层“伦理问题”——AI 公司如何对待为其提供训练与信息来源的互联网生态。

Cloudflare CEO Matthew Prince 预测，到 2027 年，AI 机器人产生的网络流量将首次超过人类。他指出，生成式 AI 的兴起让机器人对数据有了“无止境”的需求，一个 AI...

从 HTML 网页提取相同内容需要的 Token 数量远高于 Markdown 文本。而对于 AI 友好的内容有助于用户在 GEO 浪潮中占据优势。

生成式AI时代，互联网“隐性契约”瓦解，AI问答引擎和聊天机器人直接爬取网站数据，降低用户访问原始网站意愿。Cloudflare统计显示，Anthropic和OpenAI“抓取与回流比”糟糕，还增加网...