Other website chặn bot google

[tuyettrinh]

Mọi người ơi xem giúp với. Nay rãnh ngồi vọc thử thì phát hiện bấy lâu nay forum nó bị thế này:

Em dùng xenforo 2x ạ.
Xử lý thế nào đây ạ. Hix từ lúc cài tới giờ em ko chỉnh sửa gì mấy file này cả.

 

[kentdoan]

Sửa robots.txt

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: Web Downloader
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Offline Explorer Pro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: Leech
Disallow: /

User-agent: WebSnake
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: HTTP Weazel
Disallow: /

xem trang bạn có dùng công cự nào chặn index hay chặn bot không

 

[Hoa Anh]

Sửa robots.txt

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: Web Downloader
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Offline Explorer Pro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: Leech
Disallow: /

User-agent: WebSnake
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: HTTP Weazel
Disallow: /

xem trang bạn có dùng công cự nào chặn index hay chặn bot không

chèn mấy cái này vào robots.txt là k sợ bị rip à bác @@

 

[tuyettrinh]

chèn mấy cái này vào robots.txt là k sợ bị rip à bác @@

em đâu có chèn. code xenforo tài về cài đặt nguyên xi. Tải theme về cài vào. Xong. Chứ em có biết cái gì đâu @@
Chỉ giúp em cái nào cần bỏ với

 

[kentdoan]

Sửa robots.txt

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: Web Downloader
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Offline Explorer Pro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: Leech
Disallow: /

User-agent: WebSnake
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: HTTP Weazel
Disallow: /

xem trang bạn có dùng công cự nào chặn index hay chặn bot không

robot mặc định xen mà

 

[Hoa Anh]

robot mặc định xen mà

à tại mình chưa xem robots mặc định của xen nên k biết