Chống lại "tập đoàn" Bot AI & Traffic rác - Trả lại sự bình yên cho server!

[Nhật Quang]

Anh em quản trị web dạo này có thấy server mình thi thoảng "thở oxy", RAM tăng đột biến mà GA4 thì view vẫn lẹt đẹt không?

Chào mừng anh em đến với hội những người bị Bytespider, GPTBot và hàng ngàn "chạy bằng cloud" từ bên kia biên giới (China & Singapore) ghé thăm mỗi ngày! Chúng nó cào dữ liệu, hút sạch băng thông như hút trà sữa, để lại cho chúng ta hóa đơn hosting tăng vọt và những cú crash server giữa đêm.

Hôm nay mình chia sẻ với anh em bí kíp chựn dàn bot rác này bằng Cloudflare WAF và vài dòng lệnh đơn giản.

Cách 1: Tuyệt chiêu "Một nút bấm" của Cloudflare (Dành cho người lười)​

Cloudflare dạo này cũng cay bọn AI scraper lắm rồi nên họ làm sẵn cái nút "Diệt bot". Anh em chỉ cần bấm phát là xong:

1. Mở Cloudflare -> Chọn domain đang bị "hành".
2. Vào menu Security -> chọn Bots.
3. Bật cái nút Bot Fight Mode lên On.
4. Bật tiếp dòng Block AI Scrapers and Crawlers.

Đánh giá: Nhanh, gọn, lẹ. Nhưng bọn bot rác bây giờ khôn lắm, nhiều con "vượt rào" giỏi như vận động viên điền kinh. Muốn triệt hạ tận gốc thì phải dùng Cách 2!

Cách 2: Set up Custom WAF Rule - "Thà bắn nhầm còn hơn bỏ sót"​

Nhiều con bot AI thuê VPS bên Tencent hay Alibaba (China/Singapore), xong giả dạng làm trình duyệt Chrome, Edge như đúng rồi. Chặn User-Agent không ăn thua đâu, phải chơi luật cứng!

Anh em vào Security -> WAF -> Custom rules -> Bấm Create rule (Đặt tên rule là: Anti-AI-China-Singapore), bấm vào Edit expression rồi dán một trong các "bùa phép" dưới đây vào:

Option A: "Tôi chỉ bán hàng cho người Việt!" (Cực đoan nhưng hiệu quả 100%)​

Website anh em chỉ phục vụ khách Việt Nam, không có nhu cầu vươn tầm thế giới? Khóa cửa phòng thủ kiểu Bún Mắng Cháo Chửi luôn: Chặn hết thế giới, chỉ mở cho IP Việt Nam + Bot tìm kiếm xịn (Google, Bing, FB...).

(not ip.geoip.country in {"VN"} and not cf.client.bot)

* Action: Chọn Managed Challenge (để khách Tây lỡ vào thì bấm Turnstile/Captcha chứ không bị chửi thẳng mặt) hoặc Block luôn cho máu.

Option B: "Né Trung Quốc & Singapore ra giùm tôi"​

Nếu web vẫn cần đón khách quốc tế, nhưng dị ứng với IP 2 khu vực này (vì bot AI hay đặt hốt server ở đây):

(ip.geoip.country in {"CN" "SG"} and not cf.client.bot)

* Action: Chọn Managed Challenge.
* Tại sao lại Challenge? Vì nếu là người thật ở Singapore bấm 1 cái là qua, còn bot AI không giải được Captcha tự động sẽ tức giận quay xe ngay!

Option C: "Đặc trị" dàn Server Cloud của Tencent, Alibaba, ByteDance​

Chơi trò bắt tận tay, day tận trán theo ASN (mã nhà mạng/cloud):

(ip.geoip.asnum in {13220 132203 37963 45102 136907} and not cf.client.bot)

* Action: Chọn Block không nói nhiều! Mấy cái ASN này 99% là máy chủ cào data tự động chứ chả có người dùng bình thường nào ngồi lướt web từ đó cả.

Cách 3: Dán bảng "Cấm vào" ở cửa nhà (robots.txt)​

Dù biết bọn bot mặt dày sẽ ngó lơ, nhưng mình là người lịch sự thì cứ phải dựng cái biển báo trước đã.

Mở file robots.txt ở thư mục root hosting ra và dán đoạn này vào:

User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Bytespider
User-agent: CCBot
User-agent: ClaudeBot
User-agent: Anthropic-ai
User-agent: PerplexityBot
User-agent: Cohere-ai
Disallow: /

Vài lời nhắn nhủ trước khi "xuống tay"​

• Xếp hàng Rule cho chuẩn: Rule cho phép (Allow) phải đặt **TRÊN** Rule chặn. Không là chặn luôn cả bản thân đấy!
• Khoảng 1-2 tiếng sau khi bật, anh em vào Security -> Events nghía thử xem "chiến lợi phẩm". Nhìn hàng ngàn request rác bị Cloudflare vả bốp bốp rớt đài ta nói nó "đã" cái nư gì đâu!

Chúc mọi người bảo vệ server thành công, RAM hạ nhiệt, băng thông thênh thang!

 

Bài viết chỉ thể hiện quan điểm cá nhân của tác giả và mang tính tham khảo. Chúng tôi không chịu trách nhiệm cho bất kỳ rủi ro nào phát sinh từ việc sử dụng thông tin trong bài viết.

[denpietrau]

Cách 2: Set up Custom WAF Rule - "Thà bắn nhầm còn hơn bỏ sót"​

Nhiều con bot AI thuê VPS bên Tencent hay Alibaba (China/Singapore), xong giả dạng làm trình duyệt Chrome, Edge như đúng rồi. Chặn User-Agent không ăn thua đâu, phải chơi luật cứng!

Anh em vào Security -> WAF -> Custom rules -> Bấm Create rule (Đặt tên rule là: Anti-AI-China-Singapore), bấm vào Edit expression rồi dán một trong các "bùa phép" dưới đây vào:

Bạn cho hỏi Security -> WAF -> Custom rules -> Bấm Create rule là thao tác ở kênh nào?

 

[songiada]

Sever liên tục báo lỗi kết nối dữ liệu , ngăn chặn các boot cào bài từ các ứng dụng AI như deepsteck, gpt hay gemi , ngoài trừ boot google, bing và cốc cốc nhé các huynh, mình còn seo gg nữa mà