有一些内容质量很高的网页，用户可以正常访问，但百度pider无法正常访问和抓取，导致搜索结果覆盖面不足，给百度搜索引擎和网站带来损失。百度把这种情况称为“抢占例外”。
百度搜索引擎会考虑大量无法正常获取内容的网站在用户体验上存在缺陷，降低对网站的评价。在抓取、索引、排名方面，百度搜索引擎都会受到一定程度的负面影响，最终影响网站从百度获得的流量。
下面介绍一些站长非正常抓取的常见原因:
服务器连接异常有两种情况:(1)网站不稳定，百度蜘蛛在尝试连接时暂时无法连接到你网站的服务器；(2)百度蜘蛛已经无法连接到你网站的服务器。
1.服务器连接不正常的原因通常是你的网站服务器太大，过载。您的网站可能无法正常工作。请检查网站的web服务器(如Apache、IIS)是否安装并正常运行，并使用浏览器检查主页是否可以正常访问。您的网站和主机也可能会阻止Baiduspider的访问。你需要检查网站和主机的防火墙。
2.网络运营商例外:网络运营商分为电信和联通两类。百度蜘蛛无法通过电信或网通访问你的网站。如果出现这种情况，需要联系网络服务商，或者购买空间和二线服务或者CDN服务。
3.DNS异常:当Baiduspider无法解析你网站的IP地址时，会出现DNS异常。可能你网站的IP地址不对，或者域名服务商已经封禁了Baiduspider。请使用whois或主机检查您网站的IP地址是否正确和可解析。如果没有，请联系域名注册商更新您的IP地址。
4.IP屏蔽:IP屏蔽是限制网络的导出IP地址，禁止该IP段的用户访问内容。这里特指百度piderip的屏蔽。只有当您的网站不希望百度pider访问时，才需要此设置。如果您想让百度蜘蛛访问您的网站，请检查百度蜘蛛IP是否被错误添加到相关设置中。你的网站所在的空间服务商也可能封禁百度IP。此时，您需要联系您的服务提供商来更改设置。
5.UA阻塞:UA是一个用户代理。通过服务器UA识别访客身份。当网站访问指定的UA，返回异常页面(如403500)或跳转到另一个页面时，称为UA阻断。只有当您不想让Baiduspider访问您的网站时，才需要此设置。想让百度访问你的网站，有没有用户代理相关的百度设置并及时修改？
百度蜘蛛抓取异常问题
6.死链:无效的、不能给用户提供任何有价值信息的页面是死链，包括协议死链和内容死链。
协议死链:页面的TCP协议状态/HTTP协议状态明确表示死链，如404、403、503状态等。
内容死链:服务器返回的状态是正常的，但是内容已经更改为不存在、已删除或需要权限、与原内容无关的信息页面。
对于死链，我们建议网站使用协议死链，通过百度站长平台死链工具提交给百度，这样百度可以更快的找到死链，减少死链对用户和搜索引擎的负面影响。
7.异常跳转:跳转是将网络请求重定向到另一个位置。异常跳跃是指以下情况:
1)当前页面无效(内容已被删除，死链接等。)，所以直接跳转到上一个目录或者首页。百度建议站长删除无效页面的入口超链接。
注意:如果长时间跳转到另一个域名，比如更换网站域名，百度建议使用301跳转协议设置。
8.其他网站异常的原因:
1)百度推荐器例外:网页返回与百度推荐器正常内容不同的行为。
2)百度UA的例外:返回到百度UA的网页的行为与网页的原始内容不同。
3)JS跳转异常:网页加载了百度无法识别的JS跳转代码，用户通过搜索结果进入网页后跳转。
4)压力过大导致的意外堵塞:百度会根据网站规模、访问量等信息自动设置合理的压力进行抓取。但在压力控制异常等异常情况下，服务器会根据自身负载进行保护，防止意外锁定。在这种情况下，请在返回代码中返回503(表示“服务不可用”)，以便百度蜘蛛在一段时间内再次尝试获取链接。如果网站闲置，就会被成功收购。
作者：徐州百都网络 | 来源：[db:出处] | 发布于：2022-02-19 09:10:24