1. 程式人生 > >如何判斷來訪的IP是否是百度蜘蛛ip?

如何判斷來訪的IP是否是百度蜘蛛ip?

網站日誌是可以真實體現網站的狀態,通過網站日誌我們可以清楚的看到網站每天有多少訪客,每天有多少蜘蛛來抓取網站的資料,哪些資料被蜘蛛抓取了、哪些頁面在請求資料的時候發現了錯誤。這些都是可以通過狀態碼來進行發現的,如果在網站日誌上發現了404狀態碼就說明網站有一些死連結。此時就需要及時處理了!對於這些判斷還是比較容易的,下面江西SEO論壇小編就給大家說說如何判斷來訪的IP地址是否是百度蜘蛛IP。

一段訪問日誌 上面有baiduspider的標誌,但是有標誌並不一定表示就是百度蜘蛛來抓取了

183.131.51.85 - - [06/Nov/2018:14:05:18 +0800] "GET / HTTP/1.1" 301 178 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

判斷方式:

1.在電腦的搜尋--cmd---確定鍵

如何判斷來訪的IP是否是百度蜘蛛ip?

2. 我們通過dos命令來檢視,我們來找兩個IP段220.181.108.140和117.28.255.37,開始—執行—輸入 cmd ,用命令nslookup +ip 看截圖:

如何判斷來訪的IP是否是百度蜘蛛ip?
如果通過命令沒有查詢到類似baiduspider的字樣 就可以判斷不是百度蜘蛛來訪問的,而且是一個假的蜘蛛訪問記錄