百度搜索引擎蜘蛛分析

　　【江门网站推广】百度搜索引擎蜘蛛分析
　　怎么看百度蜘蛛是否来过？如何正确识别百度蜘蛛？如何进行蜘蛛的抓取诊断？如何通过百度蜘蛛IP得知网站状态？
　　一、如何查看百度蜘蛛是否过来网站
　　可以通过查看网站日志进行分析。Windows服务器的IIS与Linux服务器的apache都有记录网站日志的功能。
　　二、如何辨别百度蜘蛛
　　百度官方给出的辨别百度蜘蛛的方法如下。
　　1、查看UA
　　首先要UA正确，百度公布过的UA有如下这些。
　　移动UA：Mozilla5。0（Lu；Android4。2。2；）AppleWebKit534。46（KHTML，likeGecko）Version5。1MobileSafari10600。6。3（Baiduspider2。0；http：www。baidu。comsearchspider。html）
　　PCUA：Mozilla5。0（Baiduspider2。0；http：www。baidu。comsearchspider。html）
　　新增渲染UA：
　　移动UA：Mozilla5。0（iPCPUiPhoneOS91likeMacOSX）AppleWebKit601。1。46（KHTML，likeGecko）Version9。0Mobile13B143Safari601。1（Baiduspiderrender2。0；http：www。baidu。comsearchspider。html）
　　PCUA：Mozilla5。0（Baiduspiderrender2。0；http：www。baidu。comsearchspider。html）
　　三、如何通过百度蜘蛛IP得知网站状态
　　1、抓取你网站的网页蜘蛛
　　60。172。229。61
　　61。129。45。72
　　61。135。162。
　　2、百度竞价蜘蛛
　　61。135。165。134
　　117。34。74。66
　　118。122。188。194
　　119。63。196。9
　　125。39。78。185
　　3、百度统计的蜘蛛
　　61。135。186。
　　4、站长工具的模仿的百度蜘蛛
　　61。147。98。146
　　61。188。39。16
　　113。98。254。245
　　117。21。220。245
　　117。28。255。42
　　5、搜外站长工具的模仿的百度蜘蛛
　　124。248。34。52
　　6、114站长工具箱模仿的百度蜘蛛
　　119。147。114。213
　　121。10。141。
　　7、百度图片蜘蛛
　　123。15。。
　　8、抓取网站内页收录的权重较低的非原创，需要通过一段时间考察
　　123。125。71。
　　9、站长工具检测造成的无用
　　125。90。88。
　　10、百度考察期蜘蛛或降权蜘蛛
　　159。226。50。
　　180。76。5。
　　180。76。5。87
　　220。181。158。107
　　11、伪装百度蜘蛛
　　180。149。130。
　　12、新站及站点有不正常现象
　　183。91。40。144
　　203。208。60。
　　13、不间断巡逻各站就是路过
　　210。72。225。
　　14、沙盒或者有被K站
　　123。125。68。
　　218。30。118。102
　　220。181。68。
　　15、此ip爬过的文章或首页，绝对24小时内放出来和隔夜快照
　　220。181。108。
　　16、百度蜘蛛IP来过，准备抓取
　　123。125。66。
　　220。181。7。
　　17、度过新站考察期
　　121。14。89。
　　18、百度抓取首页的专用IP，网站首页快照更新快，隔夜更新
　　220。181。108。95
　　19、百度的权重IP段，抓取的文章第二天放出来，权重较高
　　220。181。108。92
　　20、综合性权重IP，抓取文章和首页，权重较高
　　220。181。108。91
　　220。181。108。75
　　21、抓取内页收录的，但权重较低
　　123。125。71。95
　　123。125。71。97
　　123。181。108。77
　　123。125。71。106
　　22、抓取网站首页的，也属于权重段，权重较高。
　　220。181。108。89
　　220。181。108。94
　　220。181。108。97
　　220。181。108。80
　　220。181。108。77
　　220。181。108。83
　　220。181。108。86