无码精品A∨在线观看十八禁,a级毛片100部免费观看,狠狠做深爱婷婷综合一区,日日摸夜夜夜夜夜添

北京網站建設,北京網站制作,北京網站設計,北京網絡公司

當前位置:首頁 > 建站智庫 > 網站優化技巧

網站抓取:如何正確識別Baiduspider移動ua?

時間:2015-05-22 11:39:00 北京網站建設凡度網絡

網站抓取

近日,百度站長平臺發布公告宣布新版Baiduspider移動ua上線,同時公布了PC版Baiduspider ua,那么該如何正確識別移動ua呢?對此,百度站長平臺技術專家孫權給出了答案。

新版移動ua:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC ua:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

之前通過“+http://www.baidu.com/search/spider.html”進行識別的網站請注意!您需要修改識別方式,新的正確的識別Baiduspider移動ua的方法如下:

1. 通過關鍵詞“Android”或者“Mobile”來進行識別,判斷為移動訪問或者抓取。

2. 通過關鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。

另外需要強調的是,對于robots封禁,如果封禁的agent是Baiduspider,會對PC和移動同時生效。即,無論是PC還是移動Baiduspider,都不會對封禁對象進行抓取。之所以要強調這一點,是發現有些代碼適配站點(同一個url,PC ua打開的時候是PC頁,移動ua打開的時候是移動頁),想通過設置robots的agent封禁達到只讓移動Baiduspider抓取的目的,但由于PC和移動Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。

建站智庫

核心服務

相關文章

    無相關信息

最新文章

熱門文章

聯系我們:

北京市海淀區蘇州街3號大恒科技大廈5層
電話:010-51668909
郵箱:kefu@fandoo.cn
在線QQ:83321348、382317942
郵編:100088
官方微信:fandoocn

分享到: