中國裁判文書網是目前全球最大的裁判文書網，網站上公示了全國曆年的司法資料。作為資料分析、自然語言處理的原材料，我決定用採集一點資料，順便學習一下scrapy爬蟲。

    閒話不多說，先看一下網站是什麼樣。

  用瀏覽器抓下包，分析一下，就找到了資料介面

    可以看出，它返回的是列表資料，包括資料總量、裁判要旨原文，審判程式、案號等資訊，最重要的是文書ID，這個後面再說。

    分析一下header，會發現，它是一個post請求，請求的表單資料包括param、index、page、order、direction、vl5x、number、guid這幾個引數。很顯然，param是查詢字串，index是頁碼，page是一頁展示的資料量，order是排序方式。

    剩下的幾個引數不知道是啥意思，研究一下其他介面，很快發現number可以從前邊得出來。

    而這個number也是post請求得到的，請求的引數則是guid。那麼guid怎麼來呢？從名稱可以看出，它就是一個id，估計是用js生成的，看下網頁原始碼，很快就發現了一個函式createGuid，笑容逐漸猥瑣。

    vl5x呢，很快看出，也是js生成的。作為一個菜鳥，不懂js，我用selenium試了一下，發現速度太慢，不如scrapy非同步多執行緒。所以就考慮用scrapy寫爬蟲程式。

   先定義好item，按照列表頁和詳情頁的原始欄位。這裡文書號，就是前邊的文書ID，類似uuid一樣的形式，憑藉它可以訪問詳情頁。然後，寫好pipeline與spider，新增好代理ip、useraget池，連上mongo，就可以測試了。

   為了執行js，特地下了一個pyv8，試了試，果然666。

開始跑程式，發現了網站還是很坑，順序訪問網頁，沒次只能跑前100頁，也就是說最多能拿到2000條資料。怎麼辦呢？作為一名菜鳥，我想了一個簡單粗暴的辦法，就是增加條件，將資料量降低到2000條。這樣效率降低了，但是我可以 手動新增一個task列表，讓程式按照列表自動爬資料，開十幾二十個執行緒將速度提起來。

   另一個方法，是破解app，預計app端會簡單一點。但是菜鳥並不會ios和android逆向呀，這是個問題。

   2018-04-07更新

   花了點時間，我在scrapy上搭了一個按列表自動爬取資料的小框架。

   首先，配置爬取列表，包含了查詢字串、排序方式、排序方向、爬取頁數、狀態。

   然後，設定執行引數，每次程式執行結束後10到20分鐘，再次執行爬蟲程式，預防代理失效等異常，使得程式終止。

   在spider裡添加了讀取列表、變數賦值、修改列表狀態的程式碼，將post引數全部用變數替代，達到靈活變更的目的。當跑完爬取列表中的一個專案時，將頁指標重置為0，並寫入本次爬取資訊到檔案，以便觀察程式狀況。

   配置爬取列表時，將每次爬取的頁數控制在100以內，並且控制配置一次列表時間不長不短，能持續執行三天左右的時間。

   一頓操作之後的結果就是，腰不酸了，腿不痛了，資料量上來了，有時間玩遊戲了。

   接下來的目標就是學下android逆向，試試破解app。

   2018-05-28更新

   程式改進了代理，增加了概要模組採集。順帶貼了兩張圖，展示下guid和vl5x如何生成及使用。

                                                                                                                               （未完待續）