Cloudflareが「回答単位」のAIクローラー課金へ転換、9月15日までに検索とAIの分離を要求

何が起きたのか

Cloudflareは7月1日、自社ブログで新しいコンテンツ補償モデルを発表した。発表の柱は2つある。

第一に、課金の単位を「クロール」から「利用」へ移す。2025年7月に導入したペイ・パー・クロールは、AI企業のクローラーがページを1回取得するたびに、出版社側が設定した価格で支払いが発生する仕組みだった。新モデルでは、コンテンツが実際にAIの回答や検索結果に表示された時点で対価が発生する。ppc.landの解説記事（7月付）によれば、Cloudflareはこの転換の理由を「クロール回数は価値の代理指標として機能しない」と説明している。あるページは1回しかクロールされずに何千もの回答で引用される。逆に、何度もクロールされながら一度も引用されないページもある。実際、AIクローラーのアクセスの50%超は、前回から変更のないページの再取得に費やされていた。取得回数に課金しても、コンテンツの利用価値とは噛み合わない。この1年の運用で得た結論である。

第二に、初期パートナーとして2社と組む。元Googleの検索技術者アンナ・パターソン氏が率いるAI検索企業Ceramic.aiと、AIエージェント向け検索を手がけるYou.comである。出版社がプログラムに参加すると、Ceramicの検索結果に自社コンテンツが表示された場合や、You.comのエージェントが有料コンテンツをオンデマンドで取得した場合に支払いを受けられる。事前の包括契約は不要で、利用のたびに精算される。一般提供は2026年後半を予定する。

新モデルの計測方法も具体的に示された。Cloudflareは、顧客サイトから任意で送られる「コンテンツ更新の通知」と、自社ネットワーク上で観測できるトラフィックパターンを組み合わせ、どのコンテンツがいつ取得され、どこで利用されたかを推定する。世界のWebサイトの2割以上を経由する立場だからこそ持てる観測範囲であり、この可視性が支払いの根拠になる。逆に言えば、Cloudflareの外側にあるサイトはこの仕組みの恩恵を受けにくい。インフラの選択がコンテンツ収益の選択に直結する構図が生まれつつある。

並行して、Cloudflareはクローラーの「身元確認」も厳しくした。NBC News（7月付）によれば、同社はGoogleを含むAI企業に対し、検索用クローラーとAI学習・エージェント用クローラーを9月15日までに分離するよう要求した。応じない場合、多くの出版社サイトでデフォルトのブロック対象になる。検索インデックスへの掲載を人質に学習データも取得する、いわゆる「抱き合わせクロール」を許さないという宣言である。TechCrunch（7月1日付）は、この期限設定を「AI企業に出版社コンテンツへの対価支払いを迫る実質的な圧力」と位置づけた。

背景：これまでの経緯

この数年の動きを振り返ると、CloudflareがWebの「料金所」としての立場を段階的に強めてきたことが分かる。

Cloudflareは本来、CDN（コンテンツ配信網）とセキュリティのインフラ企業である。世界のWebサイトの2割以上が同社のネットワークを経由しており、サイト運営者とアクセス元の間に立つ「関所」の位置にいる。DDoS攻撃の防御やボット対策で培った通信の識別技術は、そのままAIクローラーの検出と制御に転用できる。この立地が、コンテンツ対価の問題で同社を主役に押し上げた。

そもそもWebとクローラーの関係は、30年前の緩やかな約束の上に成り立ってきた。クローラーの立ち入りを制御するrobots.txtは1994年に生まれた慣行で、法的な拘束力を持たない。検索エンジンの時代はそれで問題が少なかった。クロールを許せば検索結果に載り、読者が流入し、広告や購読の収益になる。サイト側に見返りがあったからだ。生成AIはこの前提を壊した。クロールの成果物は検索結果のリンクではなく、AI自身の回答になった。見返りのない一方的な採取に対して、慣行ではなく技術と契約で対抗する。それがこの数年の大きな流れである。

コンテンツと生成AIの対価をめぐる争いは、2023年頃から法廷と交渉のテーブルで続いてきた。The New York Timesは2023年12月、OpenAIとMicrosoftを著作権侵害で提訴した。一方で、AP通信やAxel Springer、Financial Timesのように、OpenAIとライセンス契約を結ぶ道を選んだメディアもある。RedditはGoogleとデータ提供契約を結び、コミュニティ投稿という「人間の生データ」に値札がつくことを示した。つまり「訴える」「個別に売る」という2つの道は既に存在していた。欠けていたのは、交渉力を持たない大多数のサイトが使える「共通の料金所」である。

出発点は2025年7月1日である。同社はこの日を「コンテンツ独立記念日」と名付け、新規顧客のサイトではAIクローラーをデフォルトでブロックする方針と、ペイ・パー・クロールの試験導入を発表した。それまで出版社の選択肢は「robots.txtで拒否を表明する」か「黙って取られる」かの実質二択だった。robots.txtは紳士協定にすぎず、強制力を持たない。無視するクローラーを技術的に止める手段を持たない中小サイトにとって、実際に通信を仲介するCloudflareがブロックと課金を代行する意味は大きかった。初めて強制力のある交渉カードが出版社の手に渡ったのである。

だが1年運用すると、クロール課金の限界が見えてきた。前述の通り、クロール回数とコンテンツの利用価値は比例しない。加えて、AI企業側には「クロールを減らしてキャッシュを使い回す」との回避策があり、出版社側には「クロールされても収益にならない」との不満が残った。生成AIの利用形態そのものも変わった。学習データとしての一括取得から、質問のたびに最新情報を取りに行くRAG（検索拡張生成）やAIエージェントへと重心が移り、「取得回数」より「回答での利用」を数える方が実態に合うようになった。

背景には、Web全体のトラフィック構造の変化がある。Cloudflareの計測では、HTMLコンテンツへのアクセスのうちボットが57.4%を占め、すでに人間を上回った。ボットトラフィックの内訳を見ると、AI学習系クローラーが50.6%を占め、従来型の検索ボットは10.7%にすぎない。従来のWebは「検索エンジンにクロールさせる代わりに、検索結果から読者が流入する」との暗黙の取引で成り立っていた。AIが回答を直接生成する世界では、この取引が崩れる。読者はAIの回答で満足し、元記事にたどり着かない。コンテンツ制作者から見れば、原材料だけ取られて客が来ない状態である。広告もサブスクリプションも読者の来訪を前提とする以上、この構造はコンテンツ産業の収益基盤を静かに侵食する。

世界トップメディアの見立て

主要メディアと業界筋の論点は4つに整理できる。

第一に、実効性への評価である。TechCrunch（7月1日付、サラ・ペレス記者)は、出版業界が今回の措置を概ね支持しており、デジタルコンテンツの知的財産保護を強化する動きとして受け止められていると報じた。個別交渉のテーブルにつけるのはNew York Timesのような大手だけで、大多数の出版社には交渉力がない。Webサイトの2割以上を後ろで支えるCloudflareがルールを設定することで、中小の出版社にも一律の交渉力が生まれる。この「集合的な価格決定力」こそが本質だとの見方である。

第二に、対象の広さである。NBC News（7月付）は、9月15日の分離期限が単発のAIスタートアップだけでなくGoogleにも向けられている点を強調した。Googleは検索クローラー（Googlebot）で収集したデータを、検索インデックスだけでなくAI Overviewsなどの生成機能にも使ってきた。出版社が「検索には載りたいが、AIの回答生成には使われたくない」と考えても、クローラーが同一である限り選別できない。検索とAIの線引きを迫ることは、Webで最も強い企業のビジネスモデルの根幹に触れる要求である。

第三に、広告モデルとの整合である。技術系メディアのTechnology.org（7月3日付）は、9月15日以降、広告が表示されるページでは検索とAIの用途が混在したクローラーがブロックされる点に注目した。広告収入で成り立つページは、読者が来なければ1円も生まない。AIがそのページの内容だけ持ち帰る行為は、広告主が支払った表示機会を素通りさせる行為でもある。広告エコシステム全体から見れば、AIクローラーの制御は出版社だけでなく広告市場の防衛策でもあるとの整理だ。

第四に、懐疑論である。ppc.land（7月付）は、ペイ・パー・アンサーが機能するには「どの回答にどのコンテンツが使われたか」を検証できる仕組みが前提になると指摘する。Cloudflareは顧客サイトからの更新通知と、自社ネットワーク上のトラフィックパターンの観測を組み合わせて利用実態を推定するとしているが、AI企業側の申告に依存する部分が残れば、支払いの根拠は不透明なままだ。また、初期パートナーのCeramic.aiとYou.comはいずれもAI検索の中堅であり、OpenAI、Anthropic、Googleといった大手が参加しなければ市場全体の構造は変わらない。1年でモデルを転換したこと自体を「試行錯誤の速さ」と見るか「制度設計の甘さ」と見るかも、評価が割れている。

数字で見る

指標	数値	出典
HTMLコンテンツへのアクセスに占めるボット比率	57.4%	Cloudflare計測（2026年7月）
ボットトラフィックに占めるAI学習系クローラー	50.6%	同上
同・検索系ボット	10.7%	同上
変更のないページへの再クロール比率	50%超	同上
Anthropicクローラーの取得ページ数（送客1人あたり）	約38,000	Cloudflare計測
OpenAIの同比率	約1,091	同上
極端なケースのクロール対送客比	約50,000対1	ppc.land
Cloudflareが経由するWebサイトの割合	20%超	Cloudflare
クローラー分離の期限	2026年9月15日	NBC News
ペイ・パー・アンサーの一般提供	2026年後半予定	Cloudflare

数字を並べると、この1年でWebの「読者」の定義が変わったことが分かる。人間よりボットが多くページを開き、そのボットの半分は学習用のAIクローラーである。検索ボットが1割にすぎないとの内訳は、Webのトラフィックがもはや「検索と読者」を中心に回っていないことを示す。

読者1人を送り返すために数万ページを取得する比率は、「AIはコンテンツを消費するが、読者を返さない」という出版社側の主張を裏付ける数字である。同時に、事業者間の差も大きい。同じ生成AI企業でも送客効率には30倍以上の開きがあり、一律の「AI悪玉論」では実態を捉えられない。

日本への影響・示唆

日本のコンテンツ産業と事業会社にとって、この動きは4つの意味を持つ。

第一に、対価交渉のインフラが整い始めた。日本の新聞社・出版社はこれまで、生成AIによる記事利用について意見表明や個別の法的対応で臨んできたが、クロールを技術的に制御して課金する手段は限られていた。国内メディアの多くもCDNやセキュリティの層でCloudflareや同種のサービスを利用しており、設定の変更だけでAIクローラーの選別と課金プログラムへの参加が視野に入る。コンテンツライセンスの「卸売市場」が国境を越えて形成されるなら、日本語コンテンツもその棚に並ぶ。日本語は英語圏のAI企業にとって手薄なデータ領域であり、質の高い日本語コンテンツの希少価値は交渉材料になり得る。

第二に、コンテンツマーケティングの前提が変わる。オウンドメディアやSEO記事への投資は「検索流入」を前提に正当化されてきた。ボットが読者を連れてこないなら、PVを唯一の成果指標にする設計は成立しない。AIの回答に引用されること自体を成果と捉え、引用のされ方を計測し、対価を得られる場合は得る。そうした「AI経由の間接読者」を織り込んだKPI設計への移行が必要になる。企業のコンテンツ担当者がまず着手すべきは、自社サイトのアクセスログでボット比率とAIクローラーの内訳を把握することだ。実態を知らずに方針は立てられない。自社ドメインへのAIクローラーの訪問頻度、取得されているページの傾向、AI検索での自社コンテンツの引用状況。この3点を定点観測するだけでも、判断の質は大きく変わる。

第三に、「AIに引用される作り方」と呼ぶべき新しい技術論が実務になる。検索エンジン最適化（SEO）がそうだったように、AIの回答に選ばれるための最適化（いわゆるLLMOやAIO）が今後の主戦場になる。一次情報、固有のデータ、明確な出典構造を持つコンテンツはAIに引用されやすく、ペイ・パー・アンサー型の世界では引用がそのまま収益になる。他社記事の要約やまとめ記事のような二次コンテンツは、AIが直接代替するため価値を失う。「AIが作れないもの」に制作リソースを寄せる編集判断が、収益に直結する構造になっていく。取材に基づく一次情報を作り続けてきた制作者にとっては、むしろ追い風である。

第四に、コストと防衛の実務である。AIクローラーの大量アクセスは帯域と配信コストを直接圧迫する。送客ゼロのままインフラ費だけが増える構図は、規模の小さいサイトほど深刻に効く。ブロックするのか、課金プログラムに参加するのか、露出を優先して無条件で開放するのか。採用広報のように「AIに読まれること自体が利益」というコンテンツもあれば、有料会員向け記事のように「絶対に守るべき」コンテンツもある。自社コンテンツを棚卸しし、種類ごとに方針を決める時期に来ている。

今後の見通し

注目点は4つある。

1つ目は、9月15日の期限である。Googleが検索クローラーとAI用クローラーの分離に応じるかどうかで、この制度の実効性が決まる。応じれば分離が業界標準になり、他のAI企業も追随せざるを得ない。拒めば、Cloudflareと世界最大の検索企業の正面衝突になる。出版社サイトの側がGoogleをブロックすれば検索流入も失うため、どこまで強気に出られるかはサイトごとの体力に依存する。

2つ目は、大手AI企業の参加である。Ceramic.aiとYou.comは実証の場にすぎない。OpenAIやAnthropicが「回答単位の支払い」といった市場型の仕組みに乗るのか、それとも大手出版社との個別ライセンス契約で囲い込みを続けるのか。前者なら開かれた市場が育ち、後者なら資本力のあるAI企業と大手メディアだけが結びつく系列化が進む。中小のコンテンツ制作者の取り分は、この分岐で大きく変わる。

3つ目は、AIエージェント時代の課金インフラとしての発展である。人間の代わりにAIエージェントがWebを巡回し、情報収集や購買を代行する利用は今後さらに増える。エージェントがコンテンツやAPIに都度課金でアクセスする世界では、今回You.comと試している「オンデマンド決済」の仕組みがそのまま汎用の決済レイヤーになり得る。コンテンツ対価の問題は入り口にすぎず、本丸は「機械同士の経済圏」の決済標準を誰が握るかの競争である。

4つ目は、計測の標準化である。「どの回答にどのコンテンツが使われたか」を第三者が検証できる技術と監査の仕組みがなければ、ペイ・パー・アンサーは絵に描いた餅で終わる。ここはWebの通信を広く観測できるCloudflareの強みが生きる領域だが、裏を返せば、コンテンツ対価の計測と決済が一社に集中する新しいリスクでもある。Webのオープン性を守るための仕組みが、新たなゲートキーパーを生む逆説には注意がいる。

日本の実務者にとっての時間軸も示しておく。9月15日の分離期限までに自社サイトのクローラー制御方針を決め、2026年後半のペイ・パー・アンサー一般提供までに参加の是非を判断する。準備期間は2カ月強しかない。コンテンツを作る側が初めて手にした価格決定の機会を、情報収集の遅れで逃す手はない。

Webの無料開放を前提にした30年が終わり、コンテンツの値札をめぐる交渉が始まった。