← Tất cả tin AI
AITin tức

Một dòng robots.txt để từ chối huấn luyện AI: Google, Microsoft, OpenAI và Anthropic cùng ủng hộ tín hiệu chung

· 2 phút đọc

Ngày 30/10, Google, Microsoft, OpenAI và Anthropic cam kết tôn trọng token robots.txt chung __usage_ai-training, cho phép website báo cùng lúc cho nhiều nhà cung cấp AI rằng không muốn bị dùng để huấn luyện. Microsoft áp dụng từ 01/02/2027, Google nhắm tới năm 2027, OpenAI và Anthropic chưa nêu ngày. Đây là cam kết tự nguyện và chỉ áp dụng cho huấn luyện.

robots.txt AI training signal

Ngày 30/10/2026, Google, Microsoft, OpenAI và Anthropic thông báo sẽ tôn trọng một tín hiệu chung trong robots.txt để website bày tỏ mong muốn về việc huấn luyện AI. Hiện nay, muốn từ chối thì quản trị viên phải liệt kê từng crawler AI riêng; với policy token chung, chỉ cần khai báo một lần cho mọi nhà cung cấp tham gia. Token này đến từ bản nháp cá nhân tại IETF, draft-kelley-aipref-training-preference-signal-00, do Kevin Kelley (Anthropic) soạn và đang được thảo luận trong nhóm AI Preferences (AIPREF). Theo PPC Land, bản nháp chưa có vị thế chính thức tại IETF.

Cách viết. Token được đặt vào chỗ tên crawler:
User-Agent: __usage_ai-training
Disallow: /
Có thể chỉ chặn một đường dẫn thay vì cả site, và dùng Allow để chừa ngoại lệ. Theo bản nháp (PPC Land dẫn lại), các quy tắc dưới User-Agent: * không được tính là lựa chọn về huấn luyện, và token quy định cách dùng nội dung chứ không quyết định việc có được thu thập (crawl) hay không.

Khi nào từng hãng áp dụng. Microsoft sẽ tôn trọng lựa chọn AI Training và lựa chọn mới AI Grounding khi crawl, bắt đầu từ 01/02/2027. Google cho biết nhắm tới hỗ trợ "cùng các nhà cung cấp AI khác trong năm 2027"; nếu site từ chối qua token chung mà không khai báo gì về Google-Extended, Google sẽ coi như site đã chặn Google-Extended. Theo PPC Land, OpenAI gọi đây là "nỗ lực tự nguyện" sẽ triển khai "trong những tháng tới", còn Anthropic nói đã bắt đầu triển khai; cả hai chưa đưa ra ngày cụ thể. Các quy tắc riêng cho từng crawler vẫn tiếp tục có hiệu lực.

Microsoft đi xa hơn. Bing bổ sung thiết lập theo từng trang qua thẻ meta hoặc header X-Robots-Tag (ví dụ <meta name="Bingbot" content="ai-training:disallow">) và lựa chọn riêng AI Grounding — trang có được dùng để tạo câu trả lời AI hay không — với ba giá trị Allow, Disallow hoặc DisallowExtended (chỉ cho sản phẩm của chính Microsoft). Từ 01/03/2027, NoArchive và NoCache sẽ không còn được hiểu là lựa chọn về huấn luyện hay grounding. Microsoft khẳng định điều này không ảnh hưởng tới việc hiển thị trong kết quả tìm kiếm Bing.

Giới hạn. Tín hiệu mang tính tự nguyện, không có cơ chế cưỡng chế; bản nháp chỉ nói nhà cung cấp "MAY" (có thể) bỏ qua nội dung đã từ chối, và thoả thuận cấp phép riêng có thể ghi đè. Nội dung đã thu thập trước đó không được đề cập. PPC Land lưu ý Meta, Amazon và Apple chưa nằm trong nhóm cam kết.

Tin khác