• 检查网页是否被黑,通常被黑的网页会对搜狗的UA返回特定的网页,针对用户以另一种样式展现,抓取诊断工具就可以帮助您判断页面在搜狗UA下的表现是否和预期一致。
  • 检测搜狗是否能顺利抓取您的网站,协助您在修改服务器配置、迁移等工作后检查是否生效,提升收录数据。
  • 诊断抓取内容是否符合预期,例如很多新闻滚动列表页,新闻信息是通过JavaScript输出的,对搜狗蜘蛛不友好,具体新闻列表较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。

错误一重定向错误

重定向是指搜狗spider访问链接时发生了跳转,如果跳转后的链接超长或者连续跳转的次数超过5次,就会发生重定向错误而导致抓取失败。

错误二服务器连接错误

出现这种情况可能的原因有:

* 如果您的服务器运行缓慢或者流量较大出现带宽瓶颈, 可能就无法及时响应搜索爬虫发出的请求,导致影响您的收录(如果您的站点持续出现服务器连接错误,也将导致你网站在搜狗的索引下线直接影响流量),请结合自身网站压力适当调节服务器配置以及带宽上线。

* 您可能会由于系统级问题而阻止了搜狗爬虫访问,例如配置不当的防火墙或DoS防护系统、内容管理系统配置问题。防御系统是保证托管服务正常运行的关键因素之一,并且这些系统通常会配置为自动阻止超量的服务器请求。由于单台搜狗IP发出的请求通常要比普通用户多,因此可能会触发这些防御系统,导致它们阻止搜狗spider访问并抓取您的网站。要解决此类问题,您需要确定网站基础架构中的哪个部分在阻止搜狗spider访问,然后取消该阻止。如果您没有控制防火墙的权限,就需要与您的托管服务提供商联系解决此问题。

错误三robots封禁问题

在抓取诊断工具中如果返回的抓取失败结论是robots封禁,请确认您是否在网站根目录下放置robots.txt文件并且配置封禁了搜狗的爬虫。由于搜狗爬虫遵守robots协议,该配置会影响搜索引擎收录您的网页,直接影响后续的索引和流量。如果你修改了该项配置不在封禁,搜狗爬虫会在一定周期内更新您的robots文件,该过程对您透明。

错误四DNS问题

DNS错误是指由于服务器停止运行或DNS到您网域的路由存在问题,导致搜狗spider无法与DNS服务器通信。

* 如何处理DNS错误?

确保搜狗能够抓取您的网站。对重要网页(例如您的首页)采用抓取诊断工具,如果它能顺利返回您的首页内容,那么您就可以认为搜狗能够正常访问您的网站。

对于持续的或反复出现的DNS错误,请与您的DNS提供商或者域名服务商联系。确保您在域名服务商哪里注册的域名和绑定的IP是您指定的。

错误五404问题

一般情况下,当搜狗spider访问到不存在的网页(因为您删除或重命名了网页且没有将旧网址重定向到新网页,或者链接中存在拼写错误)时,就会出现“未找到”状态错误(通常是404 HTTP状态代码)。

错误六访问遭拒绝

一般情况下,搜狗会通过跟踪网页间的链接来查找内容。搜狗spider必须能够访问某个网页才能抓取该网页。如果您意外地看到了“访问遭拒”错误,可能是由于以下几种原因导致的:

* 搜狗spider无法访问您网站上的网址,因为您网站上的所有或部分内容要求用户登录后才能查看。

* 由于您服务器的配置权限问题导致搜狗爬虫(大多数情况下也包括普通用户)没有权限查看您的网页,请修改服务器对目录和访问文件的权限。

错误七参数错误

由于请求的语法格式有误,不符合服务器对请求的某些限制,或者请求本身存在一定的错误,服务器无法理解此请求,导致抓取失败。

错误八socket读写错误

当搜狗spider访问服务器,进行tcp通信的时候,socket读写发生异常,导致数据不能正常返回。请检查服务器连接状况和防火墙设置是否符合预期。

错误九读取http头或者页面内容时失败

您的服务器收到了我们的完整请求,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。

  • 每个站点每周可使用200次,抓取诊断仅展现搜狗蜘蛛可见的前200kB内容,请合理利用。
  • 搜狗支持抓取的url长度不超过1024,如果您的链接长度过长,请在网页正常服务的情况下,去除无效参数,精简url,此举也可防止搜索引擎重复收录。
  • 对抓取诊断工具有其他问题?可以向 zzpt@tencent.com 提交反馈和建议。
有用: 阅读: