“机器人”机器人契约是正确对待蜘蛛爬行网站的地质图。Robots契约是指搜索引擎和网站中间的契约文本文档，换句话说就是爬虫协议，用于网站特殊蜘蛛的抓取范围。它的作用是屏蔽对网站搜索引擎不友好的链接，比如动态和数据格式链接。另外，当有链接时，可以屏蔽掉所有拒绝介绍的日常任务页面。
“Robots”机器人契约就是正确对待蜘蛛抓取的网站地质图。还用于网站建设，维护信息内容和敏感信息，保证客户的个人信息和隐私保护不受损害。它存在于网站的根目录下，以格式文件的形式存在。请注意，不能随意更改robots文件夹的名称。
为什么SEO大神都懂机器人？
Write::针对网络爬虫的表达式，
:表示严格禁止爬网。
:允许爬网。
。*使用通配符描述所有
。$ terminator，表示以什么结束。
/根域是指网站的根目录。
注意:火炉显示是英文，后面有一个空格字符，开头必须用小写字母写。
示例:
，User-agent:*Disallow:/对于所有web爬网程序，禁止对根目录下的所有连接进行爬网。
，用户代理:百度蜘蛛不允许:/禁止百度蜘蛛抓取网站内的所有链接。
，User-agent:*Disallow:/a/对于所有网络爬虫，禁止对网址根目录下的A文件目录进行爬网。
，User-agent:*Disallow:/a对于所有网络爬虫，严禁抓取& ldquo根目录下的URLa & rdquo初始文本文档，用户代理:*Disallow:/*？*(?动态字符)禁止爬URL根目录的底部？动态连接的数量
，用户代理:*不允许:/*。js$严禁抓取以结尾的文本文档。js在URL的根的底部。
，user-agent:* disallow:/a/allow:/a/b/严禁爬URL的根的下沿& ldquoa & rdquo，允许爬网& ldquoa & rdquo& ldquo在文件目录b & rdquo文件目录。
，用户代理:*不允许:/a/允许:/a/b禁止爬网站根目录底部& ldquoa & rdquo文件目录，允许爬行& ldquoa & rdquo带有& ldquo的文件目录b & rdquo初始文本文档。
作者：徐州百都网络 | 来源： | 发布于：2022-02-24 10:28:05