免费一级特黄欧美大片勹久久网_中国毛片在线观看_成人午夜一区二区_久草干_26uuu成人人网图片_久久观看免费视频

RELATEED CONSULTING
相關咨詢
選擇下列產品馬上在線溝通
服務時間:9:00-18:00
手機:17375899901
微信:17375899901
關閉右側工具欄
長沙百度優化大講堂:如何才能正確識別百度蜘蛛?
  • 作者:admin
  • 發表時間:2022-03-28 14:32:00
  • 來源:

今日干貨帶你簡單兩步即可識別百度蜘蛛


一、查看UA信息

如果UA信息不對,可以直接判斷該蜘蛛為非百度搜索的蜘蛛


目前UA分為移動、PC、和小程序三個應用場景,分別如下:


【移動UA】

1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)


2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 


【PC UA】

1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


【小程序UA】

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)



二、雙向DNS解析認證

第一步:DNS反查IP

開發者可以對日志中訪問服務器的IP地址進行反向DNS查找,判斷某只spider是否來自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即為冒充


在Linux/Windows/OS三種平臺下,驗證方法分別如下:


1) 在Linux平臺下,可以使用host IP命令反解IP來判斷該抓取是否來自Baiduspider。


2) 在Windows平臺或者IBM OS/2平臺下,可以使用nslookup IP命令反解IP:打開命令處理器,輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。


3) 在macOS平臺下,可以使用dig命令反解IP:打開命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。

第二步:對域名運行正向DNS查找

對第一步中通過命令檢索到的域名運行正向DNS查找,驗證該域名與日志中訪問服務器的原始IP地址是否一致,IP地址一致可確認spider來自百度搜索引擎,IP地址不一致即為冒充


【示例】

> host 111.206.198.69 

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com. 


>hostbaiduspider-111-206-198-69.crawl.baidu.com 

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

主站蜘蛛池模板: 亚洲成人二区 | 亚州精品中文 | 黄色网页在线看 | 午夜精品久久久久久久久久久久久 | 可以免费看的毛片 | 亚洲三区在线 | 羞羞视频在线观看免费视频 | 成人黄色一级片 | 午夜精品久久久久久久传媒 | 欧美日韩国产精品成人 | 亚洲精品456在线播放狼人 | 狼人综合视频 | 亚洲欧美在线播放 | 亚洲网站在线播放 | 日韩一区在线播放 | 成人免费福利 | 精品欧美乱码久久久久久1区2区 | 91精产品一区一区三区 | 日韩精品一区二区三区在线播放 | 亚洲免费网 | 色综合一区二区三区 | 91久久久久久久久久久 | 精品一区二区三区日本 | 欧美xxxⅹ性欧美大片 | aⅴ色国产 欧美 | 国产成人综合网 | 欧美国产在线观看 | 久久久国产一区二区三区 | 国产一级片网站 | 精久久久 | a视频免费 | 日本精品视频在线观看 | 欧美日韩色 | 久久国产影院 | wwwww免费网站上线 | 综合网伊人 | 国产有码aaaae毛片视频 | 国产一区二区三区精品在线观看 | 黄色在线观看视频网站 | 国产精品国产三级国产普通话三级 | 免费中文字幕日韩 |