Cloudflare triển khai một mô hình mới để website "chặn đường - đòi tiền" bot AI

[Blue]

Xem nhanh

Ẩn Hiện

Cách hoạt động​

Tại sao Cloudflare làm điều này?​

Ai được hưởng lợi?​

Chặn bot AI trong Cloudflare​

Cloudflare đã triển khai một mô hình mới mang tên "Pay-per‑Crawl" (trả tiền cho mỗi lượt thu thập dữ liệu AI bot), yêu cầu các bot AI phải trả phí hoặc được cấp quyền trước khi truy cập nội dung trên các site mà họ bảo vệ.

Cách hoạt động​

Chặn bot AI theo mặc định​

Bắt đầu từ ngày 1 Tháng 7, 2025, tất cả các website dùng Cloudflare sẽ ngăn chặn bot AI (ví dụ: OpenAI, Google Gemini…) trừ khi chủ site chủ động cho phép.

Đăng ký API bot​

Bot AI phải đăng ký với Cloudflare, khai báo thông tin, thiết lập xác thực (Web Bot Auth – Ed25519 key), và gửi tiêu đề HTTP xác nhận khi request:
Nếu bot không xác thực hoặc không trả phí → trả về HTTP 402 Payment Required kèm header crawler-price để thông báo giá.

Trả phí theo hai cách​

Reactive: Bot thử truy cập, nhận 402 với crawler-price, sau đó gửi lại với crawler-exact-price đồng ý trả.
Proactive: Bot gửi ngay crawler-max-price; nếu max ≥ giá chủ site, Cloudflare trả nội dung và thêm crawler-charged vào HTTP 200

Thanh toán & Kế toán​

Cloudflare giữ vai trò thu tiền từ bot và trả lại cho chủ website, nội dung được theo dõi theo lượt crawl bằng micropayment
CryptoSlate

Tại sao Cloudflare làm điều này?​

Bảo vệ quyền sở hữu nội dung: Các bot AI hiện đang "hút sạch" web mà không trả phí hay điều hướng người dùng trở lại trang nguồn nội dung, gây thiệt hại cho các nhà xuất bản.
Thiết lập mô hình kinh tế mới: Tạo ra marketplace nơi chủ website có thể kiểm soát hoặc kiếm tiền từ dữ liệu, làm cân bằng hệ sinh thái giữa publishers và AI.
Tăng cường bảo mật & minh bạch: Cloudflare cũng triển khai AI Labyrinth để đánh lừa bot và các công cụ xác định AI qua hành vi đáng ngờ.

Ai được hưởng lợi?​

Publishers lớn như The Atlantic, AP, Condé Nast, The Atlantic, Time, Gannett, Stack Overflow… đã tham gia dùng công cụ này hoặc đồng tình với nó.
Bot AI nếu muốn truy cập các site này cần phải xác thực, được cấp phép, hoặc trả phí, hoặc sẽ bị chặn.

Tóm lại​

Cloudflare đã đặt một ngưỡng mới cho bot AI: trả tiền hoặc không được dùng dữ liệu. Điều này là một bước ngoặt trong việc bảo vệ nội dung trực tuyến, đồng thời mở ra một thị trường mới nơi bots sẽ phải thương lượng và chi trả để thu thập dữ liệu.

-------------------------------------

Chặn bot AI trong Cloudflare​

Để bật hoặc tắt chặn bot AI trong Cloudflare, làm theo các bước sau:

1. Truy cập vào Cloudflare Dashboard
Đăng nhập vào tài khoản Cloudflare của bạn
Chọn website bạn muốn cấu hình

2. Truy cập mục Bot Management
Trong thanh điều hướng bên trái, chọn Security > Bots (hoặc Bot Fight Mode nếu bạn dùng gói miễn phí)

3. Bật chặn bot AI
Nếu bạn dùng Cloudflare Bot Management (trong gói Pro, Business, hoặc Enterprise):
Tìm tùy chọn AI bot protection
Bật Block AI bots để Cloudflare chặn các bot AI đã xác định như OpenAI, Anthropic, Google Gemini...

Nếu bạn dùng Bot Fight Mode (gói miễn phí):
Bật Bot Fight Mode để ngăn các bot xấu nói chung, bao gồm một số bot AI

4. Tùy chỉnh bằng WAF (Firewall Rules)
Vào Security > WAF > Firewall Rules
Tạo rule mới với điều kiện:
Field: User Agent
Operator: contains
Value: tên bot cụ thể (ví dụ: GPTBot, Anthropic, Claude, Google-Extended)
Action: Block hoặc Challenge

5. Kiểm tra nhật ký truy cập
Vào Security > Events để xem bot nào đang bị chặn hoặc truy cập

6. Tắt chặn bot AI
Tắt các tuỳ chọn như Bot Fight Mode
Sửa hoặc xoá các firewall rule đang chặn bot AI