1. 程式人生 > >Hexo 搭建部落格提交百度 sitemap 抓取失敗

Hexo 搭建部落格提交百度 sitemap 抓取失敗

  碰到這個問題的前因是我的部落格掛載在github上面,但是由於工作原因導致部落格SEO被擱置了有一段時間。

  碰到這個問題的時候,原以為是dns解析的問題,因為github上面不允許爬蟲去爬連線,所以部落格是同時還掛載了一份在coding上面的。也就是說當國外訪問時,我設定的是將地址解析到github上面,而國內訪問時,是解析至coding上面的(如下圖所示)。

image

  遂重新配置,期間盯著每一個字母,確認完全沒有錯誤後排除這猜測。

  轉念又想是不是sitemap檔案出了問題呢?

  直接輸入sitemap路徑訪問,也排除了這一可能。

image

  在圖中可以看到,sitemap是可以正常被訪問的。

  無解,開啟百度抓取診斷測試了一波。

  發現了這樣一個現象:

image

  移動端是可以抓取到的,但是pc端卻抓取失敗(牛皮),跳轉可以理解,但是為什麼移動端抓取成功,但PC卻不行呢?

  百思不得其解,最後做出結論:百度又抽風了。

  點選【抓取詳情】

image

  發現IP是185開頭的,突然靈光一閃:會不會是跳轉出了問題呢?會不會是原本應該爬取coding上面的blog卻爬到github上面去了呢(上面說過,github禁止了百度爬蟲去爬連線)?

  剎那間彷彿柯南附體,在腦海中自動腦補出破案時播放的BGM,手中win+r組合鍵瞬間按下,飛快的開啟cmd,輸入:

ping rbuli.github.io

image

  簡直不敢相信我的雙眼,於是我再次測了一遍。

  破案!

image

  剛剛說過,dns解析是絕對不存在問題的(我表示對我5.1視力很有信心)

  也證明了我看似隨意的結論:百度又抽風了

  為了結論的嚴謹性,為確保萬一我把指向github的解析刪除後再測試了一遍(甚至專門添上了百度訪問的解析):

image

  再測一遍(此處你應該可以感受到,我對這個結論同樣存在一絲絲懷疑)。

image

  /愣住

  自己默默的點了首涼涼,表達此刻傷感的心情。

解決方案:

image

  點選報錯,提交反饋。(還能怎麼辦,我也很絕望)

P.S:如果你能夠從百度上面搜尋到了此篇文章且域名為(cssmini.com),說明我的問題已經解決。

文章地址

同時送給搜到這篇文章的你一首涼涼: