AI最新情報読了 7 分

AI学習だけ拒否、クロールは止めない――OpenAI・Googleなど4社がrobots.txtの共通ルールを支持

Shiritomo編集部 @shiritomoAI_jp 2026年11月1日更新

robots.txt（検索エンジンやAIクローラーに「このサイトのどこを読んでよいか」を伝えるための設定ファイル）に、1行を足すだけで済む仕組みが登場しました。
「__usage_ai-training」というこの1行で、OpenAI・Google・Microsoft・Anthropicの4社にAI学習利用の意向をまとめて伝えられるようになります。

これまではAI企業ごとに別々の設定（OpenAIの「GPTBot」、Googleの「Google-Extended」など）を書き分ける必要がありましたが、この手間を減らす共通の仕組みを4社がそろって支持すると発表しました。

自分のブログやサイトを運営している人、SNSで文章やイラストを公開している人にとって、AI学習にどう向き合うかをあらためて考えるきっかけになりそうな発表です。

先に結論をまとめると：
– OpenAI・Google・Microsoft・Anthropicの4社が、robots.txtに「__usage_ai-training」という共通ルールを書くだけでAI学習利用の意向を一括で伝えられる仕組みを支持
– このルールは「学習に使ってよいか」の意思表示であり、クロール自体を止める仕組みではない（クロールを止めたいときは従来どおり個別のDisallow設定が必要）
– 対応開始は各社バラバラで、Anthropicはすでに対応に着手、OpenAIは数カ月以内、Microsoftは2027年2月1日から、Googleは2027年初め予定

何が起きたのか

OpenAI、Google、Microsoft、Anthropicの4社は、ウェブサイト運営者がAI学習への利用可否を1つの共通シグナルで示せる仕組みを支持すると発表しました。
robots.txtに新しいポリシートークン「__usage_ai-training」を使ったグループを追加し、その下に「Disallow」（拒否）または「Allow」（許可）を書きます。
それだけで、対応する複数のAI企業に意向が伝わる仕組みです。
文法自体は既存のrobots.txtと変わらず、新しいディレクティブ（命令）が増えるわけではありません。

仕様のたたき台となっているのは、Anthropicの担当者が10月30日に公開した「Machine-Readable Training Preference Signal」というインターネットドラフトです。
背景には、出版社やメディアがAI企業によるrobots.txt無視・無断学習を問題視して提訴する動きが相次いだことがあります。
加えて、検索結果だけで用件が済んでしまい元サイトへのアクセスが生まれない「ゼロクリックサーチ」への懸念も指摘されています。

ただし、この発表だけでは「具体的にどう設定するのか」「既存の設定とどう関係するのか」までは分かりません。
公式発表や解説記事を確認してみました。

調べて分かったこと

具体的にはどう書けばいいのか？

書き方自体はシンプルです。
たとえばサイト全体でAI学習を拒否したい場合は、次のように書きます。

User-Agent: __usage_ai-training
Disallow: /

プレスキットなど一部ディレクトリだけ許可したい場合は、Allowで例外を切り出すこともできます。
注意したいのは、User-Agent: *（すべてのクローラー向けのワイルドカード指定）ではAI学習に関する意思表示として認識されないという点です。
意思表示をするなら、必ず「__usage_ai-training」を明示的に指定する必要があります。

また、このシグナルはあくまで「学習に使ってよいかどうか」の意思表示であり、クロールそのものを止める命令ではありません。
クロール自体を拒否したい場合は話が別です。
OpenAIの「GPTBot」、Googleの「Google-Extended」、Anthropicの「ClaudeBot」といった、各社が個別に用意しているクローラー向けの設定を従来どおり並行して書く必要があります。
共通シグナルは既存の個別設定を置き換えるものではなく、あくまで横に並んで動く仕組みです。

学習を拒否すると、AIの回答への引用にも影響するのか？

見落としやすい落とし穴として、Googleでは「学習」と「グラウンディング」（Geminiの回答に自サイトへの引用・リンクを付ける機能）が連動している場合があります。
「__usage_ai-training」でDisallowだけを書くと、学習だけでなくGeminiの回答からの引用も失われる可能性があるとされています。
引用はそのまま残したいサイト運営者は、別途「Google-Extended」をAllowにしておく必要があるとの指摘もあります。
1行で済ませたつもりが、意図しない範囲まで影響してしまう余地が残っている形です。

なぜ今、4社がそろって足並みをそろえたのか？

各社が個別にクローラー対応を設けてきたこれまでの体制では、サイト運営者は企業の数だけ設定を書き分ける負担がありました。
今回の合意は、この負担を軽減すると同時に、パブリッシャーや市民団体、規制当局からの声に応える意味合いもあるとされています。
EU のAI関連規制との整合性も意識されているとみられます。
なお、Meta（旧Facebook）は「重要な一歩」とコメントしたものの、この共通シグナルを遵守すると明言するところまでは至っていません。

Shiritomo編集部の考察

今回の仕組みは、あくまで各社の自主的な取り組みです。
法律で義務付けられたものではなく、対応時期も各社バラバラで、Googleにいたっては2027年初めまで反映されません。
「1行書けば安心」という話ではなく、実際にどこまで効果があるかは、各社がどれだけ律儀にこの共通シグナルを読みに来るか次第という面があります。

個人でイラストや文章を公開している人の間でも、「AI学習禁止」の表記を巡って意見が割れる場面がこれまでも見られました。
今回の共通シグナルは技術的な解決策の1つですが、「書けば必ず守られる」という誤解を広げないよう、対応時期や適用範囲を冷静に見ていく必要がありそうです。
自分のサイトやブログを持っている人は、ホスティングサービスの管理画面やrobots.txtの編集方法を、今のうちに確認しておくと良さそうです。

まとめ

OpenAI・Google・Microsoft・Anthropicの4社が、robots.txtの共通シグナルでAI学習利用の意向を一括して伝えられる仕組みを支持しました。
クロール自体を止める仕組みではなく、対応時期も各社でばらつきがあるため、実際にどこまで浸透するかは今後の運用次第といえそうです。