爬虫抓取
sogou spider User-Agent字段是什么?
- PC端UA为
Sogou web spider
Sogou inst spider
Sogou spider - 无线端UA为
Sogou wap spider
请注意,根据标准,ua区分大小写。
搜狗spider的IP有哪些?
- 搜狗暂不对外提供搜狗spider IP列表,但您可以通过DNS反查IP的方式判断某只spider是否来自搜狗搜索引擎。根据不同平台有不同的验证方法。
- linux平台:
命令为host ip,如下图。搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。 - 在windows平台或者IBM OS/2平台:
命令为nslookup ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。 - mac os平台:
命令为dig ip,搜狗spider的hostname以 *.sogou.com格式命名,非 *.sogou.com均为冒充。

有用:950
阅读:31379