Hướng dẫn Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

Jindo_Katori

Jindo_Katori

FirstSergeant
Tối ưu file robots.txt tốt nhất cho SEO Xenforo và tăng doanh thu Google Adsence

Bài viết này của mình sẽ hướng dẫn bạn loại bỏ những truy vấn tào lao với robots.txt

Bạn đang có lẽ ở đây bởi vì máy chủ của bạn đang được rèn ấn định bằng các truy vấn không liên quan đến trang web của bạn trên máy chủ của bạn. Các dịch hại có thể làm giảm đáng kể hiệu suất máy chủ của bạn và làm tăng con số tải trung bình. Hậu quả của việc này là để gây ra sự chậm trễ trong việc phục vụ các nội dung trang web đến khách hàng của bạn, những người bạn muốn xem đến thăm trang của bạn. Thường thì điều này dẫn đến mất băng thông và cũng doanh thu AdSense.

Từ một chút mò mẫn xung quanh mình đã tìm thấy một danh sách khá tốt các quy tắc mà về mặt lý thuyết nên chặn các loại tác nhân gây hại. Mình không thể cam kết tất cả chúng sẽ tuân theo những quy tắc chuẩn, nhưng ít nhất bạn biết thêm được phần tử nào mà bạn cần phải ngăn chặn.

Mình hy vọng bạn tìm thấy nó hữu ích!

Bài viết ngắn này giả định rằng bạn hiểu làm thế nào để sử dụng robots.txt - chức năng của nó là để cung cấp cho bạn với một tập hợp các quy tắc để ngăn chặn những phiền hà

Demo: http://tuyhoaplus.com/robots.txt

Rất mong được các bạn góp ý và ủng hộ các bài viết khác tại : TUYHOAPLUS.COM
 
Bài viết liên quan
Trao đổi backlink diễn đàn tin học và laptop bởi tranxuanbactb,
Công cụ SEO: TOP các Phần mềm SEO web miễn phí hàng đầu (2023) bởi dinhtanncut,
Mình đang cần đăng ký google news bởi bloghocpiano,
Công cụ SEO PowerSuite theo dõi thứ hạng, backlink và hơn thế nữa bởi hoaisg1986,
Google index bài viết khác với link bởi SphereX,
Khắc phục tên miền khi cài cloudflare mất thứ hạng Seo từ khóa bởi gmsh,
Bài viết mới
Trao đổi text link bởi ngoctuanvnnn,
share list website đễ đăng ký dễ đi link bởi ngoctuanvnnn,
Trao đổi backlink diễn đàn tin học và laptop bởi tranxuanbactb,
Trao đổi backlink bởi thethaoanko,
Công cụ SEO: TOP các Phần mềm SEO web miễn phí hàng đầu (2023) bởi dinhtanncut,
Mình đang cần đăng ký google news bởi bloghocpiano,
Jindo_Katori nói:
Ngồi google tìm tài liệu học seo lại ra bài này của mình mới ghê chứ facepalm~~
Nhấn để mở rộng...
Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google.

Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
 
seoben nói:
Ghê gì chứ, VNXF nội dung tốt hữu ích, lượng truy cập kha khá + WEB trust ổn định như thế đã được google ưu tiên hiển thị thứ hạng cao trên google.
Bạn cứ để ý tuy VNXF ra đời hoạt động muộn hơn VXF ấy vậy mà khi mình search tải addon, style về thì tỉ lệ hiện thị trên VNXF nhiều hơn VXF đấy!
Nhấn để mở rộng...
Bác @PVS toàn ngồi leech thủ công mà bác
Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông :=D
 
Jindo_Katori nói:
Bác @PVS toàn ngồi leech thủ công mà bác
Với lại những bài như của mình (chuyên mảng nội dung) đặt tiêu đề + nội dung cũng khá thân thiện với từ khóa phổ thông :=D
Nhấn để mở rộng...
Leech nhưng mình cũng không biết về nội dung có trùng lặp ko, nhưng thấy đa số key VNXF cao hơn VXF là biết nội dung khá tốt rồi, ngoài ra sự hữu ích, tiện lợi được đông đảo ace quan tâm đã là yếu tố tăng trust tăng thứ hạng rồi, hữu ích ở đây đó là share và down đó :D ở đây là mỏ addon, style rồi còn gì! Lại còn mem, BQT support tốt nữa.
 
cảm ơn các bác quá khen.hiii.
nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ?
Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii
Mã: 
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

Sitemap: http://tuyhoaplus.com/sitemap.php

# Adbeat ads
User-agent: adbeat_bot
Disallow: /

#AgentLinkSpammer
User-agent: AgentLinkSpammer
Disallow: /

# AhrefsBot ads
User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/4.0
Disallow: /

#aiHitBot Ukraine or Russia
User-agent: aiHitBot
Disallow: /
User-agent: aiHitBot/1.0
Disallow: /
User-agent: aiHitBot/1.1
Disallow: /

#Acoon Germany
User-agent: Acoon
Disallow: /

#Arachmo Japan
User-agent: Arachmo
Disallow: /

#Baiduspider China and Japan
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /

User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider
Disallow: /

User-agent: +Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#careerbot Germany
User-agent: careerbot
Disallow: /

#COMODOSpider/Nutch-1.2 United Kingdom
User-agent: COMODOSpider/Nutch-1.2
Disallow: /

#EasouSpider - China
User-agent: EasouSpider
Disallow: /

#Exabot/3.0 - France proxy scraper
User-agent: Exabot/3.0
Disallow: /

#Exalead proxy scraper France
User-agent: Exalead
Disallow: /

User-agent: ExaLead Crawler
Disallow: /

#Ezooms and dotbot
User-agent: ezooms
Disallow: /

User-agent: Ezooms/1.0
Disallow: /

User-agent: DotBot             
Disallow: /

User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com)
Disallow: /

#findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks
User-agent: findlinks/2.6
Disallow: /

#Java/1.6.0_04
User-agent: Java/1.6.0_04
Disallow: /

#JikeSpider China
User-agent: JikeSpider
Disallow: /

#KaloogaBot Netherlands contextual advertising
User-agent: KaloogaBot
Disallow: /

#Mail.RU_Bot/2.0 Russia
User-agent: Mail.RU_Bot/2.0
Disallow: /
#Mail.RU Russia
User-agent: Mail.RU
Disallow: /
#Mail.Ru Russia
User-agent: Mail.Ru
Disallow: /
User-agent: Mail.RU_Bot/2.0;  +http://go.mail.ru/help/robots
Disallow: /

#MJ12bot United Kingdom
User-Agent: MJ12bot
Disallow: /

#MJ12bot/v1.4.3 United Kingdon
User-Agent: MJ12bot/v1.4.3
Disallow: /

User-agent: moget
Disallow: /

#Ichiro Japan
User-agent: Ichiro
Disallow: /
#Ichiro 3.0 Japan
User-agent: Ichiro 3.0
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: Yeti
Disallow: /

#NetcraftSurveyAgent/1.0
User-agent: NetcraftSurveyAgent/1.0
Disallow: /

#OpenWebIndex/Nutch-1.6 Germany
User-agent: OpenWebIndex/Nutch-1.6
Disallow: /
User-agent: OpenWebIndex
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: panoptaStudyBot
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: checks.panopta.com
Disallow: /

#picsearch Sweden searches for pictures
User-agent: psbot
Disallow: /

#plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine
User-agent: plukkie
Disallow: /

#SeznamBot Czech Republic
User-agent: SeznamBot
Disallow: /
User-agent: SeznamBot/1.0
Disallow: /
User-agent: SeznamBot/1.1
Disallow: /
#SeznamBot/3.0
User-agent: SeznamBot/3.0
Disallow: /

#SistrixCrawler Germany DE
User-agent: SistrixCrawler
Disallow: /

User-agent: Sistrix
Disallow: /

User-agent: SISTRIX Crawler
Disallow: /

User-agent: SISTRIX
Disallow: /

# Sogou
User-agent: sogou spider
Disallow: /

User-agent: Sogou web spider
Disallow: /

# Sosospider - China http://help.soso.com/webspider.htm
User-agent: Sosospider+
Disallow: /
# Sosospider - China
User-agent: Sosospider
Disallow: /
#Sosospider/2.0 - China may not obey robots.txt
User-agent: Sosospider/2.0
Disallow: /

#360Spider China
User-agent: 360Spider
Disallow: /

#SurveyBot
User-agent: SurveyBot
Disallow: /

#Wada.vn Vietnamese Search/2.1

User-agent: Wada.vn
Disallow: /
User-agent: Wada.vn Vietnamese Search
Disallow: /
User-agent: Wada.vn Vietnamese Search/2.1
Disallow: /

#Yandex
User-agent: Yandex
Disallow: /

User-agent: Yandex/1.01.001
Disallow: /

User-agent: YandexBot/3.0-MirrorDetector
Disallow: /

User-agent: YandexImages/3.0
Disallow: /

User-agent: YandexSomething/1.
Disallow: /

User-agent: Yandex.com
Disallow: /

User-agent: YandexBot/3.0
Disallow: /

#YisouSpider China
User-agent: YisouSpider
Disallow: /

#YoudaoBot/1.0 China
User-agent: YoudaoBot/1.0
Disallow: /
#YoudaoBot China
User-agent: YoudaoBot/1.0
Disallow: /

#Zao - Japan
User-agent: Zao
Disallow: /
 
THB nói:
cảm ơn các bác quá khen.hiii.
nói về cái file robot.txt của bác @Jindo_Katori . sao mình thấy disallow nhiều quá nhỉ?
Bác vào console của gg xem thử có báo gì ko? ai cao thủ seo cho xin ý kiến. hii
Mã: 
User-agent: *
Disallow: /test/
Disallow: /account/
Disallow: /admin.php
Disallow: /ajax/
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /forums/tweets/
Disallow: /goto/
Disallow: /help/
Disallow: /goto/
Disallow: /login/
Disallow: /lost-password/
Disallow: /media/category/
Disallow: /media/keyword/
Disallow: /media/user/
Disallow: /media/service/
Disallow: /media/submit/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /pages/conduct/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /threads/tera-tweet-from-*
Disallow: /recent-activity/
Disallow: /register/
Disallow: /search/
Disallow: /index.php?account/
Disallow: /index.php?find-new/
Disallow: /index.php?help/
Disallow: /index.php?goto/
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?misc/style/
Disallow: /index.php?online/
Disallow: /index.php?posts/
Disallow: /index.php?recent-activity/
Disallow: /index.php?register/
Disallow: /index.php?search/
Disallow: /wiki/special/

Allow: /

Sitemap: http://tuyhoaplus.com/sitemap.php

# Adbeat ads
User-agent: adbeat_bot
Disallow: /

#AgentLinkSpammer
User-agent: AgentLinkSpammer
Disallow: /

# AhrefsBot ads
User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/4.0
Disallow: /

#aiHitBot Ukraine or Russia
User-agent: aiHitBot
Disallow: /
User-agent: aiHitBot/1.0
Disallow: /
User-agent: aiHitBot/1.1
Disallow: /

#Acoon Germany
User-agent: Acoon
Disallow: /

#Arachmo Japan
User-agent: Arachmo
Disallow: /

#Baiduspider China and Japan
User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /

User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider
Disallow: /

User-agent: +Baiduspider/2.0
Disallow: /

User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /

User-agent: Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#careerbot Germany
User-agent: careerbot
Disallow: /

#COMODOSpider/Nutch-1.2 United Kingdom
User-agent: COMODOSpider/Nutch-1.2
Disallow: /

#EasouSpider - China
User-agent: EasouSpider
Disallow: /

#Exabot/3.0 - France proxy scraper
User-agent: Exabot/3.0
Disallow: /

#Exalead proxy scraper France
User-agent: Exalead
Disallow: /

User-agent: ExaLead Crawler
Disallow: /

#Ezooms and dotbot
User-agent: ezooms
Disallow: /

User-agent: Ezooms/1.0
Disallow: /

User-agent: DotBot            
Disallow: /

User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot[at]gmail[dot]com)
Disallow: /

#findlinks/2.6 Germany http://wortschatz.uni-leipzig.de/findlinks
User-agent: findlinks/2.6
Disallow: /

#Java/1.6.0_04
User-agent: Java/1.6.0_04
Disallow: /

#JikeSpider China
User-agent: JikeSpider
Disallow: /

#KaloogaBot Netherlands contextual advertising
User-agent: KaloogaBot
Disallow: /

#Mail.RU_Bot/2.0 Russia
User-agent: Mail.RU_Bot/2.0
Disallow: /
#Mail.RU Russia
User-agent: Mail.RU
Disallow: /
#Mail.Ru Russia
User-agent: Mail.Ru
Disallow: /
User-agent: Mail.RU_Bot/2.0;  +http://go.mail.ru/help/robots
Disallow: /

#MJ12bot United Kingdom
User-Agent: MJ12bot
Disallow: /

#MJ12bot/v1.4.3 United Kingdon
User-Agent: MJ12bot/v1.4.3
Disallow: /

User-agent: moget
Disallow: /

#Ichiro Japan
User-agent: Ichiro
Disallow: /
#Ichiro 3.0 Japan
User-agent: Ichiro 3.0
Disallow: /

User-agent: NaverBot
Disallow: /

User-agent: Yeti
Disallow: /

#NetcraftSurveyAgent/1.0
User-agent: NetcraftSurveyAgent/1.0
Disallow: /

#OpenWebIndex/Nutch-1.6 Germany
User-agent: OpenWebIndex/Nutch-1.6
Disallow: /
User-agent: OpenWebIndex
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: panoptaStudyBot
Disallow: /

#panoptaStudyBot checks.panopta.com monitor
User-agent: checks.panopta.com
Disallow: /

#picsearch Sweden searches for pictures
User-agent: psbot
Disallow: /

#plukkie Dutch (botje.nl)/Belgium (botje.be)/France (botje.fr)/United Kingdom (botje.co.uk) search engine
User-agent: plukkie
Disallow: /

#SeznamBot Czech Republic
User-agent: SeznamBot
Disallow: /
User-agent: SeznamBot/1.0
Disallow: /
User-agent: SeznamBot/1.1
Disallow: /
#SeznamBot/3.0
User-agent: SeznamBot/3.0
Disallow: /

#SistrixCrawler Germany DE
User-agent: SistrixCrawler
Disallow: /

User-agent: Sistrix
Disallow: /

User-agent: SISTRIX Crawler
Disallow: /

User-agent: SISTRIX
Disallow: /

# Sogou
User-agent: sogou spider
Disallow: /

User-agent: Sogou web spider
Disallow: /

# Sosospider - China http://help.soso.com/webspider.htm
User-agent: Sosospider+
Disallow: /
# Sosospider - China
User-agent: Sosospider
Disallow: /
#Sosospider/2.0 - China may not obey robots.txt
User-agent: Sosospider/2.0
Disallow: /

#360Spider China
User-agent: 360Spider
Disallow: /

#SurveyBot
User-agent: SurveyBot
Disallow: /

#Wada.vn Vietnamese Search/2.1

User-agent: Wada.vn
Disallow: /
User-agent: Wada.vn Vietnamese Search
Disallow: /
User-agent: Wada.vn Vietnamese Search/2.1
Disallow: /

#Yandex
User-agent: Yandex
Disallow: /

User-agent: Yandex/1.01.001
Disallow: /

User-agent: YandexBot/3.0-MirrorDetector
Disallow: /

User-agent: YandexImages/3.0
Disallow: /

User-agent: YandexSomething/1.
Disallow: /

User-agent: Yandex.com
Disallow: /

User-agent: YandexBot/3.0
Disallow: /

#YisouSpider China
User-agent: YisouSpider
Disallow: /

#YoudaoBot/1.0 China
User-agent: YoudaoBot/1.0
Disallow: /
#YoudaoBot China
User-agent: YoudaoBot/1.0
Disallow: /

#Zao - Japan
User-agent: Zao
Disallow: /
Nhấn để mở rộng...
Untitled.png

Đã kiểm tra. Không vấn đề gì bác
Nhân tiện có bác @THB @PVS (hay leech bài chèn tag) mình hỏi cái về key tag luôn
1. Xentag của tinhte mình thấy nó tự addlink vào từ khóa, còn content tag mặc định của xen không có hả bác
2. Sau khi mình add tag xong thì không thấy tag nằm ở đâu trong bài viết cả? Và cũng không tìm thấy chỗ để edit tag nhưng tra http://tuyhoaplus.com/tags thì vẫn có tag đã add thành công?
2.png

Tại vấn đề này mình đang tìm hiểu ở thread "content tag..." bên kia bị mấy bác vào chém nhau dữ quá.
 
notpeople nói:
Mình nghĩ việc disallow những công cụ như ahrefs là điều không cần thiết :D
Nhấn để mở rộng...
Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee.
Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15
Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
 
seoben nói:
Site mình đang chặn một loạt luông. Đã seo phải giữ kín để đối thủ phân tích hết, có quần áo cũng như không thì không nên đâu bạn hee.
Thích chặn thì vô đây http://seomods.co.uk/cach-chan-het-cac-site-phan-tich-backlink-bot-ahrefs-majesticseo-spam-bot.t15
Chặn hết luôn các loại bot không cần thiết chỉ để mình google bing yahoo crawl thôi.
Nhấn để mở rộng...
Bữa nào rãnh kết hợp thêm sớ disfollow của bác nữa là thành thiên la địa võng luôn rofl~~
 
file nào chuẩn seo nhất vậy các bạn? hiện tại web mình đang bị chặn vì robot rất nhiều link
 
  • Like
Reactions: THB
Theo ý kiến riêng của mình thì k cần thiết phải chặn quá nhiều trong robots. chỉ cần điều hướng tổng quan thôi. Mình cũng seo nhiều website mà
 
@tqhuy Tốt nhất bạn nên đưa về sitemap.xml để master tool lập chỉ mục. xenfo có chức năng tự cạp nhật sitemap nên đó là 1 lợi thế chứ k như các mã nguồn khác. Như mình đang làm 1 web về đăng tin nhà đất . hiện đang có gần 5000 urls nên cũng vất vả khoản sitemap
 
6,208 14 3
Bạn phải đăng nhập hoặc đăng ký để bình luận.

Dịch vụ XenForo của VNXF

anhanhxf     0906081284
silzedt_1207          Inbox   PVS

Hướng dẫn sử dụng

XenForo 1 XenForo 2
Translate by PVS
Xenforo là gì?
Xây dựng MXH bằng Xenforo

Xử lý sự cố (Troubleshooting)

Texlink

Diễn đàn chia sẻ kinh nghiệm massage
Review dịch vụ massage toàn quốc
Cộng Đồng Massage Việt Nam
Liên hệ đặt Textlink

Nhà Tài Trợ

Mút Xốp Không Gian
Mút Sofa Không Gian
Back
Top