免费一级特黄欧美大片勹久久网_中国毛片在线观看_成人午夜一区二区_久草干_26uuu成人人网图片_久久观看免费视频

RELATEED CONSULTING
相關咨詢
選擇下列產品馬上在線溝通
服務時間:9:00-18:00
手機:17375899901
微信:17375899901
關閉右側工具欄
長沙百度優化大講堂:如何才能正確識別百度蜘蛛?
  • 作者:admin
  • 發表時間:2022-03-28 14:32:00
  • 來源:

今日干貨帶你簡單兩步即可識別百度蜘蛛


一、查看UA信息

如果UA信息不對,可以直接判斷該蜘蛛為非百度搜索的蜘蛛


目前UA分為移動、PC、和小程序三個應用場景,分別如下:


【移動UA】

1、Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)


2、Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html) 


【PC UA】

1、Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


2、Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


【小程序UA】

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)



二、雙向DNS解析認證

第一步:DNS反查IP

開發者可以對日志中訪問服務器的IP地址進行反向DNS查找,判斷某只spider是否來自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即為冒充


在Linux/Windows/OS三種平臺下,驗證方法分別如下:


1) 在Linux平臺下,可以使用host IP命令反解IP來判斷該抓取是否來自Baiduspider。


2) 在Windows平臺或者IBM OS/2平臺下,可以使用nslookup IP命令反解IP:打開命令處理器,輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。


3) 在macOS平臺下,可以使用dig命令反解IP:打開命令處理器輸入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析IP,判斷該抓取是否來自Baiduspider。

第二步:對域名運行正向DNS查找

對第一步中通過命令檢索到的域名運行正向DNS查找,驗證該域名與日志中訪問服務器的原始IP地址是否一致,IP地址一致可確認spider來自百度搜索引擎,IP地址不一致即為冒充


【示例】

> host 111.206.198.69 

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com. 


>hostbaiduspider-111-206-198-69.crawl.baidu.com 

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

主站蜘蛛池模板: 久久精品屋 | 精品久久久久久久久久久久 | 日韩和欧美一区二区 | 在线成人av | 欧美日韩中文国产一区 | 免费在线观看av网站 | 国产一级在线观看 | 在线日韩一区二区 | 国产在线国偷精品免费看 | 国产成人精品一区二区三区四区 | 激情在线观看视频 | 国产免费av网站 | 欧美中文字幕 | 91网页入口 | 久久99精品久久久久久久青青日本 | 99久久免费看视频 | 日韩一区不卡 | 午夜免费av | 国产精品一区二区三区四区五区 | 国产欧美日韩一区二区三区 | 久久久麻豆 | 波多野结衣的一级片 | 91免费福利 | 亚洲国产一区二区视频 | 国产成人午夜视频 | 国产在线观看一区二区 | 99精品久久99久久久久 | 久久久在线 | 国产精品自产拍在线观看桃花 | 亚洲a一区| 亚洲免费小视频 | 91综合在线 | 很很鲁在线视频播放影院 | 日韩精品一区在线观看 | 五月婷婷网 | 国产视频1区 | 免费日韩 | 逼逼网 | 99亚洲| 精品日本一区二区 | 在线激情网站 |