Bài viết này do AI tạo ra, có thể mắc sai sót.
Robots.txt là tuyên bố mong muốn của website, còn rule edge là cơ chế thực thi. Khi hai lớp mâu thuẫn, crawler có thể thấy một chỉ dẫn “Disallow” nhưng request vẫn không bị chặn, hoặc ngược lại. Cloudflare dùng Bot Preference Sync để giảm việc quản trị hai policy tách rời.
Tính năng lấy cấu hình AI bot ở cấp zone rồi tạo/cập nhật phần tương ứng trong robots.txt. Danh sách bot được Cloudflare theo dõi qua BotBase và cập nhật định kỳ. Nếu website đã có robots.txt, phần Cloudflare quản lý được prepend, vì vậy directive riêng hiện có vẫn được duy trì.
Với Search và Agent, các lựa chọn là Allow, Block on pages that serve ads, hoặc Block everywhere. Với Training, lựa chọn Disallow viết tín hiệu “không dùng để huấn luyện” vào robots.txt. Cloudflare nói crawler hợp tác có thể vẫn index cho search khi tôn trọng preference này, nhằm tránh đánh đổi khả năng hiện diện trên search truyền thống.
Cloudflare nêu bot vừa Search vừa Training phải đáp ứng thêm điều kiện để không bị block khi site chọn Disallow Training: tôn trọng preference no-training, cho publisher opt out khỏi AI summary, cung cấp khả năng xem URL-level về trang được dùng cho training và metric search, đồng thời chứng minh việc disallow training không gây hại search truyền thống. Danh sách trạng thái minh bạch được theo dõi công khai trên Cloudflare Radar.
Khách hàng mới được bật mặc định Bot Preference Sync; khách legacy managed robots.txt sẽ được mời rà soát preference trước khi chuyển đổi. Website quảng cáo có thể chọn default Training = Disallow khi onboarding. Tuy nhiên, tính năng theo nhóm bot không tự đọc custom rule phức tạp hoặc ngoại lệ từng bot; trường hợp đó cần tắt sync và tự quản lý robots.txt.
Bot Preference Sync là thay đổi vận hành nhỏ nhưng đúng lúc: crawler AI vừa tăng số lượng vừa có mục đích dùng dữ liệu khác nhau. Đồng bộ signal công khai với enforcement ở edge giúp đội web giảm lỗi policy và tạo dấu vết rõ hơn cho việc kiểm tra crawler có tôn trọng lựa chọn của publisher hay không.
Điểm cần thận trọng là robots.txt không phải hàng rào bảo mật tuyệt đối. Nội dung nhạy cảm vẫn phải dùng authentication, authorization và rule chặn thực thi. Đội vận hành nên coi tính năng này là lớp quản trị và minh bạch, không phải thay thế kiểm soát truy cập.
Thông tin đối chiếu từ Cloudflare Blog, công bố ngày 21/08/2026. Liên kết nguồn gốc không hiển thị trên trang công khai.
