Tạo file Robots.txt chuẩn cho Xenforo

nttruong

Thượng Đế
Tham gia
25/02/2015
Bài viết
368
Được Like
614
Vnxf.vn - Có rất nhiều cách để code cho file robots.txt. Ở đây tôi xin đưa ra bài này để các bạn tham khảo và có thể làm thử xem thế nào. Đây là bài viết hướng dẫn cách tạo 1 file Robots.txt cho Xenforo.

Mở wordpad và chép đoạn code bên dưới vào, đặt tên file là Robots.txt:

Mã:
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Allow: /

Sau đó up file này lên host ngang hàng với forum.

Chúc các bạn thành công!
 
Sửa lần cuối bởi điều hành viên:

Blue

Admin - Founder
Thành viên BQT
Tham gia
25/02/2015
Bài viết
880
Được Like
1,469
Sitemap thì add trong google webmaster được rồi bạn, thường người ta sẽ không đưa vào robots.txt vì sẽ làm lộ toàn bộ thông tin bài viết của site.
 

Jindo_Katori

Thượng Đế
Tham gia
01/03/2015
Bài viết
1,463
Được Like
1,204
Ủng hộ 1 bản khác - Chưa rõ đã chuẩn chưa - Nhờ các bác nhận xét
Mã:
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: YandexBot
Disallow: /

User-Agent: Wada.vn Vietnamese Search
Disallow: /

User-Agent: coccoc
Crawl-delay: 1

User-Agent: itim
Disallow: /

User-agent: bingbot
Crawl-delay: 1
 
  • Like
Reactions: THB

phankt

Thượng Đế
Tham gia
23/08/2016
Bài viết
116
Được Like
25
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
sao lại chặn cái media ah bác. sao không để bot craw
 

Jindo_Katori

Thượng Đế
Tham gia
01/03/2015
Bài viết
1,463
Được Like
1,204
sao lại chặn cái media ah bác. sao không để bot craw
Thường mấy cái media này không chứa nội dung cụ thể.
Ví dụ như USER nếu chứa nội dung thì toàn là TOOL SPAM đặt tên để seeding keyword.
Cho dù có ăn được kết quả search lên top mấy từ này thì cũng chẳng để làm gì => không chứa được mấy nội dung có ích cho người dùng cả.
Nếu các google 1 ngày chỉ cử 1 con robot đến thăm site của bác trong 1 phút thì bác phải tránh thủ làm sao để chúng nó không tốn thời gian lòng vòng trong website của bác...
Cơ bản thì trình độ mình hiểu như thế
Bác có thể tham khảo ở đây:
Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence
 
Sửa lần cuối:
  • Like
Reactions: THB

Hướng dẫn sử dụng

XenForo 1 XenForo 2
Translate by PVS


Nhà Tài Trợ

Mút Xốp Không Gian
pallet Thịnh Phát
Điện Lạnh Thịnh Phát
Top Bottom