欢迎光临杨雨的个人博客站!

杨雨个人网站-杨雨个人博客-杨照佳

杨雨个人博客网站

关注互联网和搜索引擎的个人博客网站

首页 > 心得笔记 > SEO >

常见百度蜘蛛(BaiDuspider)IP段及各IP的意义

发布时间:2013-12-18  编辑:杨雨个人博客网站   点击:   

花了三个晚上分析几个网站的iis日志,终于统计出了常见的百度蜘蛛baiduspider 的IP段,并总结先人的说法,结合现在的实际情况,分析了各个IP段的大致信息!

 那究竟什么是Baiduspider呢?(官方说法)

Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。(百度官方)

常见百度蜘蛛(BaiDuspider)  IP:

123.125.71.15
123.125.71.18
123.125.71.21
123.125.71.23
123.125.71.25
123.125.71.26
123.125.71.30
123.125.71.31
123.125.71.34
123.125.71.35
123.125.71.41
123.125.71.44
123.125.71.45
123.125.71.47
123.125.71.48
123.125.71.51
123.125.71.52
123.125.71.54
123.125.71.60
123.125.71.61
123.125.71.73
123.125.71.74
123.125.71.76
123.125.71.81
123.125.71.84
123.125.71.85
123.125.71.87
123.125.71.89
123.125.71.91
123.125.71.100
123.125.71.101
123.125.71.104
123.125.71.105
123.125.71.106
123.125.71.107
123.125.71.109
123.125.71.113
123.125.71.117
123.125.71.118
123.125.71.119
123.125.71.120
123.125.71.121
123.125.71.125
123.125.71.132
123.125.71.133
123.125.71.136
123.125.71.137
 
220.181.108.50
220.181.108.75
220.181.108.76
220.181.108.82
220.181.108.83
220.181.108.85
220.181.108.86
220.181.108.93
220.181.108.100
220.181.108.101
220.181.108.107
220.181.108.108
220.181.108.121
220.181.108.162
220.181.108.171
220.181.108.172
220.181.108.176
220.181.108.180
220.181.108.181
220.181.108.183
220.181.108.187
220.181.68.*
 
220.181.165.137
220.181.165.138
 
61.135.169.36
61.135.169.38
61.135.169.46
61.135.169.54
61.135.169.55
61.135.169.56
 
61.135.168.55
180.76.5.99

常见百度蜘蛛(BaiDuspider)  IP段:

180.76.5.*
180.76.6.*
123.125.68.*
220.181.7.*
123.125.66.*
159.226.50.*
202.108.11.*
202.108.22.*
202.108.23.*
202.108.249.*
202.108.250.*
61.135.165.*
61.135.168.*
123.125.66.*
123.125.69.*
220.181.19.* 
159.226.50.* 
202.108.11.*
202.108.22.*
202.108.23.* 
202.108.249.* 
202.108.250.* 
61.135.145.*
61.135.146.* 

以上都是我亲自测过的!
或许你会问,你是怎么判断Baiduspider呢?
这个其实很容易判断,根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

如何判断是否冒充Baiduspider的抓取?

windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
baiduspider判断

linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
$ host 123.125.66.120 
120.66.125.123.in-addr.arpa domain name pointer 
baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer 
BaiduMobaider-119-63-195-254.crawl.baidu.jp.

 mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。


本文地址:http://itbyc.com/log/seo/264.html
转载请注明出处。
分享是一种快乐,也是一种美德:
评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)
博客首页 | WEB开发 | 网站运营 | CMS使用教程 滇ICP备14002061号-1