很多建站系统建站后都有网站的根目录，默认有robots.txt协议文件。在网站优化竞争越来越大的今天，robots.txt文件这个在建立之初没有优化因素的文件也被更大程度的使用，所以要掌握它的写法，做好准备。
I:robots . txt协议文件有什么用？
当搜索引擎访问一个网站时，首先访问的文件是robots.txt她告诉搜索引擎蜘蛛哪些网页可以抓取，哪些网页禁止抓取。从表面上看，这个功能是有限的。从搜索引擎优化的角度来说，可以对页面进行筛选，达到集中权重的作用，这也是优化人员比较看重的地方。
以某seo网站为例，其robots.txt文件如图:
用户代理:*
Disallow:/View/ad _ js . PHP
Disallow:/View/advanced search . PHP
Disallow:/View/car . PHP
Disallow:/View/carbuyacton . PHP
Disallow:/View/shps _ buy action . PHP
Disallow:/View/erraddsave . PHP
Disallow:/View/posttocar . PHP
Disallow:/View/disdls . PHP
Disallow:/View/feedback _ js . PHP
Disallow:/View/mytag _ js . PHP
Disallow:/View/RSS . PHP
Disallow:/View/search . PHP
Disallow:/View/recommend . PHP
Disallow:/View/stow . PHP
Disallow:/View/count . PHP
Disallow:/model
不允许:/themes
Disallow:/sysdata
Disallow:/*？*
Disallow:/*list*
二:网站设置robots.txt有几个原因。
1:设置访问权限保护网站安全。
2:禁止搜索引擎抓取无效页面，将权重集中在主页面上。
三:如何用规范的写法写协议？
有几个概念要掌握。
User-agent是指定义了哪个搜索引擎，比如User-agent:百度蜘蛛，定义百度蜘蛛。
Disallow表示禁止访问。
允许意味着运行访问。
通过以上三个命令，可以组合多种写法，允许哪个搜索引擎访问，或者禁止哪个页面。
四:robots.txt文件在哪里？
这个文件需要放在网站的根目录下，字母大小有限。文件名必须是小写字母。所有命令的首字母都要大写，其余的都要小写。并且命令后面应该有一个英文字符空格。
V:什么时候需要使用这个协议？
1:无用页面，很多网站都有联系我们，用户协议等页面。这些页面相对于搜索引擎优化来说，作用不大。此时，需要使用Disallow命令来禁止这些页面被搜索引擎捕获。
2:动态页面，被企业型网站屏蔽，有利于网站安全。而且多个网站访问同一个页面，会造成权重分散。因此，一般情况下，动态页面被阻止，静态或伪静态页面被保留。
3:网站的后台页面，也可以归类为无用页面，禁止包含所有的好处而没有任何坏处。
以上robots.txt的写法是正确的，robots.txt也算是网站优化中的一个细致的技术操作。每个人都可以灵活掌握。谢谢你的支持。谢谢大家！
作者： | 来源：[db:出处] | 发布于：2022-02-20 14:43:18