您的当前位置:首页 > SEO知识 > 正文

(百度由来)造成百度蜘蛛抓取失败的原因有这些

分类:互联网 编辑:上海SEO 时间:2018-07-27 点击:
一些网站具有高质量的内容,用户可以正常访问它。但是,百度蜘蛛无法正常访问和爬网。结果,搜索结果覆盖范围缺失。搜索引擎是百度网站的损失。 百度将这种情况称为“抓取异常”。对于有大量内容无法正确捕获的网站,百度搜索引擎认为该网站在用户体验方面存在缺陷,并且会降低对网站的评估。排序会在一定程度上受到负面影响,并最终影响网站。来自百度的流量。
 
以下内容描述了向站长抓取异常的常见原因:
 
1,服务器连接异常
 
有两种情况,服务器连接不正常:一种是该站点不稳定,百度蜘蛛在尝试连接到站点的服务器时暂时无法连接;另一个是百度蜘蛛无法连接到您的网站的服务器。
 
服务器连接异常的原因通常是因为您的网站服务器太大且超载。您的网站也可能无法正常运作。请检查网站的Web服务器(如apache,iis)是否已安装并正常运行。使用浏览器检查主页是否可以正常访问。您的网站和主机也可能阻止访问百度蜘蛛。您需要检查网站和主机防火墙。
 
百度蜘蛛抓斗
 
2,网络运营商异常:
 
网络运营商分为电信和联通两种类型,百度蜘蛛无法通过电信或网通访问您的网站。如果发生这种情况,您需要联系网络服务运营商,或者购买带有双线服务的空间或购买cdn服务。
 
3,DNS异常:
 
当百度蜘蛛无法解析您的站点的IP时,会发生DNS异常。可能是您的网站的IP地址错误,或者域名服务提供商已禁止百度蜘蛛。请使用WHOIS或主机来检查您的网站的IP地址是否正确和可解决。如果不正确或无法解析,请联系您的域名注册商更新您的IP地址。
 
4,IP禁止:
 
IP阻塞是限制网络的导出IP地址,并禁止IP段的用户访问内容。具体来说,这里百度蜘蛛IP被禁止。只有您的网站不希望访问百度蜘蛛时才需要此设置。如果您想让百度蜘蛛访问您的网站,请检查百度蜘蛛IP是否被错误添加到相关设置中。您的网站所在的空间服务提供商也有可能禁止百度IP。目前,您需要联系服务提供商以更改设置。
 
5,UA禁止:UA是用户代理。服务器通过UA识别访问者。当网站返回访问指定的UA,返回例外页面(例如403,500)或跳转到另一页面时,UA被禁止。如果您的网站不希望访问百度蜘蛛,则只需要此设置。如果您希望百度蜘蛛访问您的网站,useragent相关的设置是百度蜘蛛UA并及时修改它们。
 
6,死链:
 
该页面无效,并且无法向用户提供任何有价值信息的页面是死链接,包括协议无效链接和内容无效链接。
 
协议无效链接:页面的TCP协议状态/ HTTP协议状态的无效链接,例如404,403和503状态。
 
内容无效链接:服务器返回到正常状态,但内容已更改为不存在,已被删除或需要许可且与原始内容无关的信息页面。
 
对于死锁,我们建议站点使用协议死锁并通过百度网站站长平台死锁工具将它们提交到百度,以便百度可以更快地找到死锁,减少死锁对用户和搜索引擎的负面影响。
 
7,异常跳跃:
 
将网络请求重定向到另一个位置是一种跳跃。异常跳转是指以下情况:
 
1)当前页面是无效页面(内容已被删除,死链接等),并直接跳转到上一个目录或主页。 百度表明网站管理员删除了无效页面的门户超链接。
 
2)跳转到错误或无效页面
 
注意:长时间跳转到另一个域名,如果网站更改了域名,建议使用百度来使用301跳转协议进行设置。
 
8,其他异常情况:
 
1)百度refer的例外:网页返回的行为与百度引用的正常内容不同。
 
2)百度ua的例外:网页返回的行为与百度UA页面的原始内容不同。
 
3)JS跳转异常:网页加载了百度无法识别的JS跳转代码,导致用户在搜索结果后跳转到页面。4)压力过大导致无意关闭:百度会根据站点的大小,流量等信息自动设置合理的抓取压力。但是,在异常情况下,例如压力控制异常时,服务器会根据自己的负载进行保护性意外关闭。在这种情况下,请在返回代码中返回503(意思是“服务不可用”),以便百度蜘蛛会在一段时间后尝试抓取链接,并且如果该网站是免费的,它将成功抓取。百度由来

相关文章:

上海SEO www.tted.net 联系QQ:2646199998 邮箱:lxyunbiji@163.com

Copyright @ 2016-2018 www.tted.net 版权所有

工信部备案:滇ICP备15003631号-4

Top