Towards Data Science

How GEO, WebMCP, and Bot Paywalls Are Building the AI-Native Internet

7.1内容质量

TL;DR · AI 摘要

MCP, GEO and Bot Paywalls Explained for AI Agents Artificial Intelligence How GEO, WebMCP, and Bot Paywalls Are Building...

核心要点

  • 主题聚焦:How GEO, WebMCP, and Bot Paywalls Are Building t
  • 来源:Towards Data Science,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#前端#后端#云计算
打开原文

为AI代理解释MCP、GEO和Bot Paywalls

人工智能

GEO、WebMCP和Bot Paywalls如何构建原生AI互联网

未来的互联网将与今天大不相同。企业已经开始转型。

Rodrigo Almeida

2026年11月5日

11分钟阅读

在Google上关注我们

分享

AI代理现在与人类一同浏览网页,网站也在适应以服务两者。照片由Christin Hume通过Unsplash提供

一位人在明亮窗户旁的木质桌前使用笔记本电脑打字。这张图片介绍了关于代理互联网的文章,涵盖生成引擎优化(GEO)、MCP和WebMCP,以及用于AI内容变现的机器人付费墙。

随着AI代理的兴起,我们所熟知的互联网正在发生根本性变化。自诞生以来,互联网一直为人类构建。我们的路径始终相同:在Google上搜索,直接访问网站,浏览并找到所需内容,无论是信息还是待购买的产品。

当AI代理出现时,这些原则依然存在,代理必须在这些原则框架内运作。它们以爬虫形式运行,几秒钟内浏览数十个网站,收集所需信息并返回给用户。这个过程有效,但以许多方式效率低下。2026年Cloudflare Radar数据显示,机器人现在占超过57.5%的网页请求,超过了人类流量。AI在其中占比快速增长。在TollBit的出版商网络中,AI机器人访问量从2025年初的每200次人类访问1次,增长到年底的每31次人类访问1次。如今大多数互联网流量都基于从未为其设计的原理运行,我们所熟知的互联网已无法有效承载AI流量的规模。

AI通过两种主要方式从互联网获取信息:模型训练和检索。尽管目的不同,但两者都涉及从互联网收集内容。在模型训练期间,信息是提前收集的,而在检索期间,AI代理在用户提问后爬取信息。目前检索的规模更大。2025年底,检索机器人每1次训练机器人请求约产生10次页面请求。

过去一年,尤其在如何更好地支持AI获取信息方面做了大量工作,我想在这里概述主要进展。

生成引擎优化(GEO)

也称为答案引擎优化(AEO),GEO是指优化网站使AI能够轻松检索信息并更可能推荐网站。GEO对电子商务商店特别有价值,因为购物体验正在发生巨大变化。

越来越多的人转向AI进行产品推荐。AI可以筛选多个品牌并进行实时比较。根据Adobe的数据,2026年7月AI引导的流量转化率比非AI流量高出60%,因为这些购物者已提前被品牌推荐。所有这些都取决于AI能否轻松找到所需信息、是否信任这些信息,以及这些信息是否引导其推荐商店。每个GEO项目都有三个部分:技术架构、网站内容和第三方引用。

技术架构

技术结构决定了AI如何在网站中导航。它就像一张地图,为AI提供一条高效获取所需信息的路径。技术结构的步骤包括:

  • Robots.txt。确认该文件未阻止你希望访问商店的AI代理。
  • Sitemap。保持其准确性,以便代理能够找到所有重要页面。
  • llms.txt和agents.md。这些文件为AI代理提供网站指南。Shopify现在会自动生成这两个文件,并将agents.md视为AI的主要发现文件。默认版本是通用的,建议进行自定义。
  • 产品结构化数据。结构化的产品数据可确保价格、库存和规格准确且易于AI读取。
  • 渲染。仅通过JavaScript加载的内容可能对许多AI爬虫不可见。

一个常见的误解是技术结构步骤本身足以实现GEO。它们引导AI找到正确的内容,但如果内容本身未经过优化,这些步骤本身不会产生效果。这就引出了成功GEO项目的第二部分。

网站内容

一切始于明确知道AI试图回答哪些问题。这些问题的最佳来源是客户评论、论坛讨论和关键词搜索数据。从那里开始,工作包括重写产品描述以直接回答这些问题,构建全面的FAQ,保持产品信息在所有销售渠道的一致性,并发布比较和指南等信息内容。

第三方引用

技术结构和网站内容都在商家的控制范围内。第三方引用则不在控制范围内,它们在产品发现阶段最为重要,此时购物者尚未决定品牌。在这一阶段,AI会依赖他人在评论、Reddit帖子、YouTube视频和行业出版物中对品牌的评价。建立这种存在感需要比网站内部工作更长时间,但它使小型品牌能够在AI推荐中与行业领导者竞争。

MCP和WebMCP

在AI代理与网站之间交换信息和可操作工具时,MCP是目前确立的标准。

模型上下文协议(MCP)

模型上下文协议(MCP)是一项开放标准,定义了AI系统如何连接到外部工具和数据。Anthropic于2024年11月推出该协议,OpenAI于2025年3月采用,目前大多数主要AI平台都支持该协议。MCP服务器公开工具(代理可以执行的操作)、资源(可读取的数据)和提示(常见任务的模板)。这样就不需要每个AI公司为每个服务构建自定义集成,一个MCP服务器可以与任何兼容的代理配合使用。

WebMCP

2026年2月,谷歌Chrome团队宣布了WebMCP的早期预览版,这是与微软合作开发的一项拟议的网络标准。WebMCP将MCP概念引入浏览器。网站可以发布结构化操作,例如搜索产品、将商品添加到购物车或预订预约,AI代理可以直接调用这些操作,而无需通过截图和页面代码进行猜测。

GEO部分中描述的流程涉及人们使用AI浏览和比较产品,但仍然需要用户亲自访问在线商店完成购买。这一客户旅程正在逐渐改变。

AI代理正在越来越多地获得钱包访问权限,因此它们现在可以在比较产品后直接购买商品。WebMCP为代理提供了一种可靠的方式使用商店,而另一套独立的协议则负责处理销售本身。OpenAI和Stripe于2025年9月推出了智能代理商业协议(Agentic Commerce Protocol,ACP),用于在ChatGPT中实现结账功能。随后Google推出了与Shopify、Walmart、Target等公司共同开发的通用商业协议(Universal Commerce Protocol,UCP),用于在Gemini和Google的AI模式中实现结账功能。在两者底层,Google的代理支付协议(Agent Payments Protocol,AP2)以及Visa和Mastercard提供的专为代理设计的信用卡令牌,能够在不向代理暴露信用卡信息的情况下确认购物者已授权购买。

WebMCP会创建一个专为AI代理设计的网站版本,我倾向于将其想象成一座房子。

想象你的网站是一座带有门窗和围栏的房子。人们可以轻松通过围栏的门和正门进入,但AI代理却无法做到这一点。在没有GEO或WebMCP的情况下,代理必须翻越围栏并从窗户爬进来。GEO通过降低围栏高度使访问更容易,但仍然不够顺畅。而WebMCP则为AI提供了专属的门和专属的通道,让代理可以像人们一样轻松地通过专为其设计的路径进入。

根据2026年NMI的调查,尽管只有11%的美国成年人使用AI完成过交易,但33%的人在过去一个月使用AI进行过购物研究。

用于内容变现的机器人付费墙

我想重点介绍的最后一个转变尤其令人兴奋。在前两节中,我假设网站所有者希望AI访问其网站。对于电子商务商店而言,AI只是实现销售和收入的新途径。但其他在线企业则持不同看法,许多企业因AI流量的激增而遭受严重损害。

内容类网站(新闻媒体、研究出版商、食谱网站、参考网站和评论博客)不会在网站上销售产品。它们的收入模式依赖广告,因此依赖人类注意力来盈利。当人们使用AI筛选和总结信息时,这种注意力就会消失,收入也会大幅下降。当Google显示AI总结内容时,用户点击传统搜索结果的比例仅为8%,而没有总结内容时这一比例为15%(Pew Research,2025)。2025年,AI工具到出版商的平均点击率下降了约三分之二(TollBit)。

整个过程中,AI一直免费使用互联网数据。TollBit、Cloudflare和AWS等公司正在构建机器人付费墙系统以改变这一现状。

机器人付费墙系统通过识别每个进入的机器人并决定是允许、阻止还是收费来运作。未付费的机器人会收到一个价格,通常通过HTTP 402 "Payment Required"响应,只有在支付后才能获取内容。

  • TollBit将AI机器人流量路由到TollBit的子域名,该子域名提供专为代理优化的网站版本。出版商可根据许可证类型(摘要或完整显示)设置费率,并可通过机器人、页面、关键词、时间窗口或目录添加规则。AI公司支付小额交易费用,出版商则保留全部费率。
  • Cloudflare于2025年7月1日推出按爬取次数付费(Pay Per Crawl)服务,这一天也是Cloudflare开始默认阻止AI爬虫的日子。出版商可设置每请求的固定价格,Cloudflare则作为商户处理支付。
  • AWS 于 2026 年 6 月在 AWS WAF 中为使用 CloudFront 的网站新增了 AI 流量变现功能。出版商可设置每页价格,代理方通过 x402 协议以稳定币支付。AWS 已宣布即将支持 Stripe 支付。

你可能会想:"AI 公司已经可以免费获取这些信息,为何还要付费?" 这是该领域的主要疑问之一,答案包含两个层面。在理想情况下,该系统将作为信息市场,使双方都能获益。

对出版商的价值

对出版商而言,初始吸引力显而易见。AI 机器人付费墙将目前几乎无收益的流量转化为收入。2025 年年中,Cloudflare 测量显示 Anthropic 每引导一个访客回网站,会爬取约 38,000 页内容,OpenAI 约为 1,100 页。出版商还能控制哪些机器人访问哪些内容及访问目的,并保留每项请求的审计记录。

对 AI 公司的价值

尽管难以相信 AI 公司会为目前免费获取的信息付费,但这些信息并非真正免费。回到房屋的类比,目前 AI 代理必须翻越围栏、爬窗才能进入。信息市场为出版商内容配备了专门的 MCP(内容管理协议),为机器人提供专属入口。AI 获取信息的低效性已体现在 AI 公司的资产负债表中,表现为计算成本。

其次,AI 公司正面临大量关于爬虫行为的诉讼。仅 Perplexity 就面临约十起诉讼,包括来自《道琼斯》和《纽约邮报》(2024 年)、《英国百科全书》、Reddit 和 Amazon(2025 年),以及《纽约时报》和 CNN(2025 年和 2026 年)的案件。2025 年,Cloudflare 还公开指控 Perplexity 使用未声明的爬虫绕过网站的封锁规则。2025 年,Anthropic 因使用盗版书籍训练模型与作者达成 15 亿美元和解协议,同年 Reddit 也因抓取行为起诉 Anthropic。OpenAI 仍在就 2023 年《纽约时报》提起的诉讼进行抗辩。目前行业内的法律费用和和解金额已达到数十亿美元。

第三,越来越多的出版商正在积极使用安全措施阻止 AI 机器人。自 2025 年 7 月起,为约五分之一网站提供服务的 Cloudflare 默认阻止 AI 爬虫。通过机器人付费墙,这些高质量数据将重新对模型训练和检索开放。

每笔交易成本仅需几分钱,但从宏观角度看,AI 公司选择付费的"干净道路"将物有所值。收费高速公路几乎总是优于其他选择。

最后要考虑的是定价问题,这在行业内仍是一个开放性问题。目前难以判断 AI 公司愿意为内容支付多少,因此动态定价策略至关重要。现有系统提供基于规则的定价。TollBit 允许出版商按机器人、页面和时间窗口定价,AWS 则可根据机器人身份验证程度进行定价。目前市场尚处早期阶段,付费流量规模仍较小。随着时间推移,价格需要反映内容价值、内容新颖性以及吸引的 AI 需求量。

下一步?

互联网正在经历自搜索引擎出现以来最大的结构性变革。GEO帮助AI发现并信任网站,WebMCP和新的商业协议使代理能够代表购物者进行操作和购买,而机器人付费墙则为出版商提供了获取AI依赖内容报酬的途径。这些技术目前仍处于早期阶段,大多数企业尚未采用任何一项。现在采取行动的企业将在AI流量成为常态时完成基础设施部署,并塑造AI如何代表他们,而非被动应对这一变化。

···

参考文献

“Adobe AI来路流量数据,2026年7月。” Digital Commerce 360,2026年8月19日,www.digitalcommerce360.com/2026/08/19/adobe-ai-referral-traffic-data-july-2026/。

“代理式商业协议解析。” GoDataFeed,www.godatafeed.com/blog/agentic-commerce-protocols-explained。访问时间:2026年10月24日。

“Anthropic同意支付15亿美元和解版权诉讼。” NPR Illinois,2025年9月5日,www.nprillinois.org/2025-09-05/anthropic-to-pay-authors-1-5b-to-settle-lawsuit-over-pirated-chatbot-training-material。

“AWS WAF新增AI流量变现功能,助力内容所有者向AI机器人收取内容访问费用。” AWS新闻博客,Amazon Web Services,2026年6月15日,aws.amazon.com/it/blogs/aws/aws-waf-adds-ai-traffic-monetization-capability-to-help-content-owners-charge-ai-bots-for-content-access/。

“机器人与代理付费墙。” TollBit,tollbit.com/bot-paywall/。访问时间:2026年10月24日。

“机器人流量超越人类流量。” GMAL,2026年3月2日,www.gmal.co.uk/bots-overtake-human-traffic/。

“Cloudflare指控AI初创公司对数百万网站实施‘隐蔽爬取行为’。” TechRepublic,2025年8月,www.techrepublic.com/article/news-cloudflare-accuses-perplexity-stealth-crawling-violations/。

“Cloudflare报告机器人流量已超越人类网络流量。” Let’s Data Science,2026年6月4日,letsdatascience.com/news/cloudflare-reports-bots-surpass-human-web-traffic-8dc5891c。

“Cloudflare将默认阻止AI机器人爬取其客户网站。” MIT技术评论,2025年7月1日,www.technologyreview.com/2025/07/01/1119498/cloudflare-will-now-by-default-block-ai-bots-from-crawling-its-clients-websites/。

“爬取到引用比率。” PPC Land,ppc.land/crawl-to-referral-ratio/。访问时间:2026年10月24日。

“Google Chrome推出WebMCP早期预览版,用于AI代理交互。” eWeek,2026年2月16日,www.eweek.com/news/google-webmcp-chrome-ai-web-standard-preview/。

“诉讼战室:所有主要AI版权案件地图。” Everything PR,everything-pr.com/the-lawsuit-war-room-every-major-ai-copyright-case-mapped-47-publishers-8-ai-companies-and-the-trial-that-will-reshape-the-internet。访问时间:2026年10月24日。

“llms.txt和agents.md。” Shopify开发者社区,2026年,community.shopify.dev/t/llms-txt-and-agents-md/34049。

“模型上下文协议。” Wikipedia,维基媒体基金会,en.wikipedia.org/wiki/Model_Context_Protocol。访问时间:2026年10月24日。

“NMI研究:消费者希望AI帮助购物,而非控制消费。” NMI,2026年8月26日,www.nmi.com/about-us/news/nmi-research-consumers-want-ai-to-help-them-shop-not-control-their-spending/。

“Perplexity AI诉讼(2026):所有10个案件及进展。” AI诉讼追踪器,ailawsuittracker.com/companies/perplexity/。访问时间:2026年10月24日。

“Pew:AI摘要使Google点击率从15%降至8%。” AI Weekly , 2026年6月29日, aiweekly.co/alerts/pew-ai-summaries-cut-google-click-throughs-to-8-from-15.

“Reddit起诉AI公司Anthropic,指控其涉嫌抓取用户评论训练聊天机器人Claude。” ABC7 News , 2025年6月, abc7news.com/post/reddit-sues-ai-company-anthropic-allegedly-scraping-user-comments-train-chatbot-claude/16658542/.

“流量趋势。” Cloudflare Radar , Cloudflare, radar.cloudflare.com/traffic#bot-vs-human. 访问日期:2026年10月24日.