Hướng dẫn Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

Jindo_Katori

FirstSergeant
Tham gia
01/03/2015
Bài viết
1,462
Được Like
1,205
Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

Bài viết này của mình sẽ hướng dẫn bạn loại bỏ những truy vấn tào lao với robots.txt

Bạn đang có lẽ ở đây bởi vì máy chủ của bạn đang được rèn ấn định bằng các truy vấn không liên quan đến trang web của bạn trên máy chủ của bạn. Các dịch hại có thể làm giảm đáng kể hiệu suất máy chủ của bạn và làm tăng con số tải trung bình. Hậu quả của việc này là để gây ra sự chậm trễ trong việc phục vụ các nội dung trang web đến khách hàng của bạn, những người bạn muốn xem đến thăm trang của bạn. Thường thì điều này dẫn đến mất băng thông và cũng doanh thu AdSense.

Từ một chút mò mẫn xung quanh mình đã tìm thấy một danh sách khá tốt các quy tắc mà về mặt lý thuyết nên chặn các loại tác nhân gây hại. Mình không thể cam kết tất cả chúng sẽ tuân theo những quy tắc chuẩn, nhưng ít nhất bạn biết thêm được phần tử nào mà bạn cần phải ngăn chặn.

Mình hy vọng bạn tìm thấy nó hữu ích!

Bài viết ngắn này giả định rằng bạn hiểu làm thế nào để sử dụng robots.txt - chức năng của nó là để cung cấp cho bạn với một tập hợp các quy tắc để ngăn chặn những phiền hà

Demo: http://tuyhoaplus.com/robots.txt

Rất mong được các bạn góp ý và ủng hộ các bài viết khác tại : TUYHOAPLUS.COM
 

seoben

Gefreiter
Tham gia
13/05/2016
Bài viết
75
Được Like
73
Ngồi google tìm tài liệu học seo lại ra bài này của mình mới ghê chứ facepalm~~
Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google.

Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
 

Jindo_Katori

FirstSergeant
Tham gia
01/03/2015
Bài viết
1,462
Được Like
1,205
Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google.
Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
Bác @PVS toàn ngồi leech thủ công mà bác
Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông :=D
 

seoben

Gefreiter
Tham gia
13/05/2016
Bài viết
75
Được Like
73
Bác @PVS toàn ngồi leech thủ công mà bác
Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông :=D
Leech nhưng mình cũng không biết về nội dung có trùng lặp ko, nhưng thấy đa số key VNXF cao hơn VXF là biết nội dung khá tốt rồi, ngoài ra sự hữu ích, tiện lợi được đông đảo ace quan tâm đã là yếu tố tăng trust tăng thứ hạng rồi, hữu ích ở đây đó là share và down đó :D ở đây là mỏ addon, style rồi còn gì! Lại còn mem, BQT support tốt nữa.
 

THB

Founder
Thành viên BQT
Tham gia
25/02/2015
Bài viết
6,650
Được Like
3,939
cảm ơn các bác quá khen.hiii.
nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ?
Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii
Mã:
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

Sitemap: http://tuyhoaplus.com/sitemap.php

# Adbeat ads
User-agent: adbeat_bot
Disallow: /

#AgentLinkSpammer
User-agent: AgentLinkSpammer
Disallow: /

# AhrefsBot ads
User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/4.0
Disallow: /

#aiHitBot Ukraine or Russia
User-agent: aiHitBot
Disallow: /
User-agent: aiHitBot/1.0
Disallow: /
User-agent: aiHitBot/1.1
Disallow: /

#Acoon Germany
User-agent: Acoon
Disallow: /

#Arachmo Japan
User-agent: Arachmo
Disallow: /

#Baiduspider China and Japan
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /

User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider
Disallow: /

User-agent: +Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#careerbot Germany
User-agent: careerbot
Disallow: /

#COMODOSpider/Nutch-1.2 United Kingdom
User-agent: COMODOSpider/Nutch-1.2
Disallow: /

#EasouSpider - China
User-agent: EasouSpider
Disallow: /

#Exabot/3.0 - France proxy scraper
User-agent: Exabot/3.0
Disallow: /

#Exalead proxy scraper France
User-agent: Exalead
Disallow: /

User-agent: ExaLead Crawler
Disallow: /

#Ezooms and dotbot
User-agent: ezooms
Disallow: /

User-agent: Ezooms/1.0
Disallow: /

User-agent: DotBot             
Disallow: /

User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com)
Disallow: /

#findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks
User-agent: findlinks/2.6
Disallow: /

#Java/1.6.0_04
User-agent: Java/1.6.0_04
Disallow: /

#JikeSpider China
User-agent: JikeSpider
Disallow: /

#KaloogaBot Netherlands contextual advertising
User-agent: KaloogaBot
Disallow: /

#Mail.RU_Bot/2.0 Russia
User-agent: Mail.RU_Bot/2.0
Disallow: /
#Mail.RU Russia
User-agent: Mail.RU
Disallow: /
#Mail.Ru Russia
User-agent: Mail.Ru
Disallow: /
User-agent: Mail.RU_Bot/2.0;  +http://go.mail.ru/help/robots
Disallow: /

#MJ12bot United Kingdom
User-Agent: MJ12bot
Disallow: /

#MJ12bot/v1.4.3 United Kingdon
User-Agent: MJ12bot/v1.4.3
Disallow: /

User-agent: moget
Disallow: /

#Ichiro Japan
User-agent: Ichiro
Disallow: /
#Ichiro 3.0 Japan
User-agent: Ichiro 3.0
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: Yeti
Disallow: /

#NetcraftSurveyAgent/1.0
User-agent: NetcraftSurveyAgent/1.0
Disallow: /

#OpenWebIndex/Nutch-1.6 Germany
User-agent: OpenWebIndex/Nutch-1.6
Disallow: /
User-agent: OpenWebIndex
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: panoptaStudyBot
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: checks.panopta.com
Disallow: /

#picsearch Sweden searches for pictures
User-agent: psbot
Disallow: /

#plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine
User-agent: plukkie
Disallow: /

#SeznamBot Czech Republic
User-agent: SeznamBot
Disallow: /
User-agent: SeznamBot/1.0
Disallow: /
User-agent: SeznamBot/1.1
Disallow: /
#SeznamBot/3.0
User-agent: SeznamBot/3.0
Disallow: /

#SistrixCrawler Germany DE
User-agent: SistrixCrawler
Disallow: /

User-agent: Sistrix
Disallow: /

User-agent: SISTRIX Crawler
Disallow: /

User-agent: SISTRIX
Disallow: /

# Sogou
User-agent: sogou spider
Disallow: /

User-agent: Sogou web spider
Disallow: /

# Sosospider - China http://help.soso.com/webspider.htm
User-agent: Sosospider+
Disallow: /
# Sosospider - China
User-agent: Sosospider
Disallow: /
#Sosospider/2.0 - China may not obey robots.txt
User-agent: Sosospider/2.0
Disallow: /

#360Spider China
User-agent: 360Spider
Disallow: /

#SurveyBot
User-agent: SurveyBot
Disallow: /

#Wada.vn Vietnamese Search/2.1

User-agent: Wada.vn
Disallow: /
User-agent: Wada.vn Vietnamese Search
Disallow: /
User-agent: Wada.vn Vietnamese Search/2.1
Disallow: /

#Yandex
User-agent: Yandex
Disallow: /

User-agent: Yandex/1.01.001
Disallow: /

User-agent: YandexBot/3.0-MirrorDetector
Disallow: /

User-agent: YandexImages/3.0
Disallow: /

User-agent: YandexSomething/1.
Disallow: /

User-agent: Yandex.com
Disallow: /

User-agent: YandexBot/3.0
Disallow: /

#YisouSpider China
User-agent: YisouSpider
Disallow: /

#YoudaoBot/1.0 China
User-agent: YoudaoBot/1.0
Disallow: /
#YoudaoBot China
User-agent: YoudaoBot/1.0
Disallow: /

#Zao - Japan
User-agent: Zao
Disallow: /
 

Jindo_Katori

FirstSergeant
Tham gia
01/03/2015
Bài viết
1,462
Được Like
1,205
cảm ơn các bác quá khen.hiii.
nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ?
Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii
Mã:
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

Sitemap: http://tuyhoaplus.com/sitemap.php

# Adbeat ads
User-agent: adbeat_bot
Disallow: /

#AgentLinkSpammer
User-agent: AgentLinkSpammer
Disallow: /

# AhrefsBot ads
User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/4.0
Disallow: /

#aiHitBot Ukraine or Russia
User-agent: aiHitBot
Disallow: /
User-agent: aiHitBot/1.0
Disallow: /
User-agent: aiHitBot/1.1
Disallow: /

#Acoon Germany
User-agent: Acoon
Disallow: /

#Arachmo Japan
User-agent: Arachmo
Disallow: /

#Baiduspider China and Japan
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /

User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider
Disallow: /

User-agent: +Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#careerbot Germany
User-agent: careerbot
Disallow: /

#COMODOSpider/Nutch-1.2 United Kingdom
User-agent: COMODOSpider/Nutch-1.2
Disallow: /

#EasouSpider - China
User-agent: EasouSpider
Disallow: /

#Exabot/3.0 - France proxy scraper
User-agent: Exabot/3.0
Disallow: /

#Exalead proxy scraper France
User-agent: Exalead
Disallow: /

User-agent: ExaLead Crawler
Disallow: /

#Ezooms and dotbot
User-agent: ezooms
Disallow: /

User-agent: Ezooms/1.0
Disallow: /

User-agent: DotBot            
Disallow: /

User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com)
Disallow: /

#findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks
User-agent: findlinks/2.6
Disallow: /

#Java/1.6.0_04
User-agent: Java/1.6.0_04
Disallow: /

#JikeSpider China
User-agent: JikeSpider
Disallow: /

#KaloogaBot Netherlands contextual advertising
User-agent: KaloogaBot
Disallow: /

#Mail.RU_Bot/2.0 Russia
User-agent: Mail.RU_Bot/2.0
Disallow: /
#Mail.RU Russia
User-agent: Mail.RU
Disallow: /
#Mail.Ru Russia
User-agent: Mail.Ru
Disallow: /
User-agent: Mail.RU_Bot/2.0;  +http://go.mail.ru/help/robots
Disallow: /

#MJ12bot United Kingdom
User-Agent: MJ12bot
Disallow: /

#MJ12bot/v1.4.3 United Kingdon
User-Agent: MJ12bot/v1.4.3
Disallow: /

User-agent: moget
Disallow: /

#Ichiro Japan
User-agent: Ichiro
Disallow: /
#Ichiro 3.0 Japan
User-agent: Ichiro 3.0
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: Yeti
Disallow: /

#NetcraftSurveyAgent/1.0
User-agent: NetcraftSurveyAgent/1.0
Disallow: /

#OpenWebIndex/Nutch-1.6 Germany
User-agent: OpenWebIndex/Nutch-1.6
Disallow: /
User-agent: OpenWebIndex
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: panoptaStudyBot
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: checks.panopta.com
Disallow: /

#picsearch Sweden searches for pictures
User-agent: psbot
Disallow: /

#plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine
User-agent: plukkie
Disallow: /

#SeznamBot Czech Republic
User-agent: SeznamBot
Disallow: /
User-agent: SeznamBot/1.0
Disallow: /
User-agent: SeznamBot/1.1
Disallow: /
#SeznamBot/3.0
User-agent: SeznamBot/3.0
Disallow: /

#SistrixCrawler Germany DE
User-agent: SistrixCrawler
Disallow: /

User-agent: Sistrix
Disallow: /

User-agent: SISTRIX Crawler
Disallow: /

User-agent: SISTRIX
Disallow: /

# Sogou
User-agent: sogou spider
Disallow: /

User-agent: Sogou web spider
Disallow: /

# Sosospider - China http://help.soso.com/webspider.htm
User-agent: Sosospider+
Disallow: /
# Sosospider - China
User-agent: Sosospider
Disallow: /
#Sosospider/2.0 - China may not obey robots.txt
User-agent: Sosospider/2.0
Disallow: /

#360Spider China
User-agent: 360Spider
Disallow: /

#SurveyBot
User-agent: SurveyBot
Disallow: /

#Wada.vn Vietnamese Search/2.1

User-agent: Wada.vn
Disallow: /
User-agent: Wada.vn Vietnamese Search
Disallow: /
User-agent: Wada.vn Vietnamese Search/2.1
Disallow: /

#Yandex
User-agent: Yandex
Disallow: /

User-agent: Yandex/1.01.001
Disallow: /

User-agent: YandexBot/3.0-MirrorDetector
Disallow: /

User-agent: YandexImages/3.0
Disallow: /

User-agent: YandexSomething/1.
Disallow: /

User-agent: Yandex.com
Disallow: /

User-agent: YandexBot/3.0
Disallow: /

#YisouSpider China
User-agent: YisouSpider
Disallow: /

#YoudaoBot/1.0 China
User-agent: YoudaoBot/1.0
Disallow: /
#YoudaoBot China
User-agent: YoudaoBot/1.0
Disallow: /

#Zao - Japan
User-agent: Zao
Disallow: /
Untitled.png

Đã kiểm tra. Không vấn đề gì bác
Nhân tiện có bác @THB @PVS (hay leech bài chèn tag) mình hỏi cái về key tag luôn
1. Xentag của tinhte mình thấy nó tự addlink vào từ khóa, còn content tag mặc định của xen không có hả bác
2. Sau khi mình add tag xong thì không thấy tag nằm ở đâu trong bài viết cả? Và cũng không tìm thấy chỗ để edit tag nhưng tra http://tuyhoaplus.com/tags thì vẫn có tag đã add thành công?
2.png

Tại vấn đề này mình đang tìm hiểu ở thread "content tag..." bên kia bị mấy bác vào chém nhau dữ quá.
 

seoben

Gefreiter
Tham gia
13/05/2016
Bài viết
75
Được Like
73
Mình nghĩ việc disallow những công cụ như ahrefs là điều không cần thiết :D
Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee.
Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15
Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
 

Jindo_Katori

FirstSergeant
Tham gia
01/03/2015
Bài viết
1,462
Được Like
1,205
Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee.
Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15
Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
Bữa nào rãnh kết hợp thêm sớ disfollow của bác nữa là thành thiên la địa võng luôn rofl~~
 

singh

Sergeant
Tham gia
08/06/2015
Bài viết
470
Được Like
276
file nào chuẩn seo nhất vậy các bạn? hiện tại web mình đang bị chặn vì robot rất nhiều link
 
  • Like
Reactions: THB

newbean

Gefreiter
Tham gia
10/05/2017
Bài viết
50
Được Like
34
Theo ý kiến riêng của mình thì k cần thiết phải chặn quá nhiều trong robots. chỉ cần điều hướng tổng quan thôi. Mình cũng seo nhiều website mà
 

newbean

Gefreiter
Tham gia
10/05/2017
Bài viết
50
Được Like
34
@tqhuy Tốt nhất bạn nên đưa về sitemap.xml để master tool lập chỉ mục. xenfo có chức năng tự cạp nhật sitemap nên đó là 1 lợi thế chứ k như các mã nguồn khác. Như mình đang làm 1 web về đăng tin nhà đất . hiện đang có gần 5000 urls nên cũng vất vả khoản sitemap
 
Người đăng Chủ đề tương tự Diễn đàn Trả lời Ngày đăng
Jindo_Katori Seo Tools 23

Chủ đề tương tự


Hướng dẫn sử dụng

XenForo 1 XenForo 2
Translate by PVS

Dịch vụ XenForo của VNXF

Mr. Tuấn

Mobile/Zalo: 0988 488 096

Telegram: bluekpro

Email: [email protected]

Nhà Tài Trợ

Mút Xốp Không Gian
pallet Thịnh Phát
Top Bottom