Tạo file Robots.txt chuẩn cho Xenforo

[nttruong]

Vnxf.vn - Có rất nhiều cách để code cho file robots.txt. Ở đây tôi xin đưa ra bài này để các bạn tham khảo và có thể làm thử xem thế nào. Đây là bài viết hướng dẫn cách tạo 1 file Robots.txt cho Xenforo.

Mở wordpad và chép đoạn code bên dưới vào, đặt tên file là Robots.txt:

User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Allow: /

Sau đó up file này lên host ngang hàng với forum.

Chúc các bạn thành công!

 

[phamxuanphucuong]

thiếu site map

 

[Blue]

Sitemap thì add trong google webmaster được rồi bạn, thường người ta sẽ không đưa vào robots.txt vì sẽ làm lộ toàn bộ thông tin bài viết của site.

 

[Jindo_Katori]

Ủng hộ 1 bản khác - Chưa rõ đã chuẩn chưa - Nhờ các bác nhận xét

User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: YandexBot
Disallow: /

User-Agent: Wada.vn Vietnamese Search
Disallow: /

User-Agent: coccoc
Crawl-delay: 1

User-Agent: itim
Disallow: /

User-agent: bingbot
Crawl-delay: 1

 

[phankt]

Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/

sao lại chặn cái media ah bác. sao không để bot craw

 

[Jindo_Katori]

sao lại chặn cái media ah bác. sao không để bot craw

Thường mấy cái media này không chứa nội dung cụ thể.
Ví dụ như USER nếu chứa nội dung thì toàn là TOOL SPAM đặt tên để seeding keyword.
Cho dù có ăn được kết quả search lên top mấy từ này thì cũng chẳng để làm gì => không chứa được mấy nội dung có ích cho người dùng cả.
Nếu các google 1 ngày chỉ cử 1 con robot đến thăm site của bác trong 1 phút thì bác phải tránh thủ làm sao để chúng nó không tốn thời gian lòng vòng trong website của bác...
Cơ bản thì trình độ mình hiểu như thế
Bác có thể tham khảo ở đây:
Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence