2026年10月30日、Google、Microsoft、OpenAI、Anthropic は、AI 学習に関するサイトの意思表示として robots.txt の共通シグナルを尊重すると発表しました。現在、学習を拒否したいサイトは AI クローラーを1つずつ指定する必要がありますが、共通のポリシートークンを使えば、参加する全事業者に一度で意思を伝えられます。元になっているのは Anthropic の Kevin Kelley 氏が執筆した IETF の個人ドラフト draft-kelley-aipref-training-preference-signal-00 で、IETF の AI Preferences（AIPREF）ワーキンググループで議論されています。PPC Land によると、このドラフトはまだ IETF で正式な位置づけを持っていません。
書き方。クローラー名の代わりにトークンを指定します。User-Agent: __usage_ai-trainingDisallow: /
サイト全体ではなく特定のパスだけを対象にしたり、Allow で例外を設けたりできます。PPC Land が伝えるドラフトの内容では、User-Agent: * のルールは学習に関する意思表示とはみなされず、このトークンはコンテンツの「利用方法」を示すもので、クロールの可否を指示するものではありません。
各社の開始時期。Microsoft は 2027年2月1日から、クロール時に AI Training と新設の AI Grounding の設定を反映します。Google は「他の AI 事業者とともに2027年に」対応することを目指すとしており、トークンで学習を拒否し Google-Extended について何も指定していないサイトは、Google-Extended を拒否したものとして扱います。PPC Land によると、OpenAI は「自主的な取り組み」として「今後数か月で」導入するとし、Anthropic は実装を開始したと述べていますが、いずれも日付は示していません。既存のクローラー別ルールは引き続き有効です。
Microsoft はさらに踏み込んでいます。Bing はメタタグや X-Robots-Tag ヘッダーによるページ単位の設定（例：<meta name="Bingbot" content="ai-training:disallow">）と、ページを AI の回答生成に使ってよいかを示す AI Grounding 設定（Allow／Disallow／Microsoft 自社サービスに限定する DisallowExtended）を追加します。2027年3月1日以降、NoArchive と NoCache は学習やグラウンディングの意思表示として扱われなくなります。Bing の検索結果への掲載可否には影響しないとしています。
限界。このシグナルは任意で、強制力はありません。ドラフトでは事業者は拒否されたコンテンツの取得を省略「してもよい（MAY）」とされ、個別のライセンス契約が優先される場合もあります。過去に収集済みのコンテンツは対象外です。PPC Land は、Meta、Amazon、Apple が表明企業に含まれていない点を指摘しています。
