如果你不知道做什麼，那就學一門雜學吧
這篇文章沒有程式碼，請放心閱讀。
多年以後，面對人工智慧研究員那混亂不堪的程式碼，我會想起第一次和S君相見的那個遙遠的下午。那時的B公司，還是一個僅有6個人的小團隊，Mac和顯示器在桌上依次排開，大家坐在一起，不需要稱呼姓名，轉過臉去，對方就知道你在和他說話。一切看起來都那麼美好，我們所有人，都希望自己和這個公司能夠一起成長。
彼時S君剛從加拿大回來，老闆把他介紹給我們，於是S君作為資料產品經理跟我有了專案上的接觸。
創業公司裡面，每一個人都需要會很多的技藝，於是S君開始自學Python。
有一天，S君問我：“你玩MineCraft嗎？“
“玩，但我更喜歡在B站上看別人的世界。”我答道。
“我覺得我現在寫程式，像是在玩我的世界。”S君笑著說道。
“是不是覺得你已經掌握了Python的基本語法，看著別人把Python用的溜溜轉，而你自己卻不知道用它來做什麼？”
“是這樣的，你懂我。”
“那你學一門雜學吧。”
於是S君被我誘拐過來跟我一起寫爬蟲。
後來，S君離開了B公司。
三個月後，我也離開了。
從此，我們再也沒有見過。
程式設計最重要的能力是變通
S君是一個老實孩子。
在開發一個爬蟲的過程中，網站介面返回給他的資料看起來是JSON格式，於是他就用Python自帶的JSON庫去解析。結果解析失敗了。因為這些所謂的看起來像JSON的東西，竟然沒有雙引號。
難道是JSON的超集？S君一通搜尋，發現用YMAL庫也許可以解析這種資料。於是安裝YMAL庫，一解析又報錯。
難道這些資料直接就是Python的字典？於是S君用上了邪惡的eval。又報錯，因為裡面有null和小寫的true。
“你為什麼不試一試直接用正則表示式呢？”我對S君說。
“靠！”S君一拍桌子，旁邊的老闆嚇得把搪瓷杯子裡面的快樂水灑在了白襯衣上。
然後S君用正則表示式花了10秒鐘結束了戰鬥。
寫爬蟲與三峽大壩
有一天，S君興沖沖地跑來跟我說：“我體會到三峽大壩的偉大功能了！”
“你是爬蟲工程師還是水利工程師？”
“你知道嗎，不管上游的水勢多麼凶猛，從大壩出來以後總是安全而穩定。”S君並沒有回答我的問題，而是自顧自地說道。
“原來你開始用Kafka。不錯，孺子可教。”
S君吐了一下舌頭：“還是師傅教導有方。”
前不久，S君的爬蟲剛剛達到了日產資料千萬條的目標。然而他只高興了一天。因為他發現，資料寫到資料庫以後，讀起來很麻煩。
S君有多個數據分析的系統需要從資料庫裡面讀取爬蟲爬好的資料，但是從每天千萬量級的資料中尋找特定的資料是一個很慢的過程。如果程式遇到異常導致崩潰，又得從頭開始讀。
S君問我：“現在我每一個數據分析的指令碼都要從資料庫裡面讀一次資料，做了太多重複的工作，單機單節點的資料庫快要撐不住了。我是不是要去學習分庫分表搭建叢集啊？”
我告訴S君：“這個後面你自然是需要去做的。但現在，你可以先試一試Kafka，我已經搭建好了一個Kafka的叢集了，你這樣使用……”。
後來，S君讓所有爬蟲把爬到的資料到直接送進了Kafka，然後再從Kafka裡面讀資料出來，一個Group用來備份原始資料，一份Group用來生成中間表，一份Group用來監控報警，一份Group用來繪製DashBoard。無論爬蟲塞給Kafka的資料有多少，有多快，從Kafka讀資料的地方都能按照自己的節奏來消費和使用。
既然收集了資料就要讓它發光發熱
S君在加拿大留學時學的專業是金融數學和統計。所以他對資料分析也很有興趣。在他爬蟲收集的資料夠用以後，我跟他講了如何使用Pandas來分析資料。
S君把他分析的酒店價格變化資料給分享給了我們。不愧是金融+數學+統計學背景的高階知識分子 + 超級強大的Pandas + 超級好用的Jupyter。這份資料不僅完美再現了過去一年的價格走勢，還預測了未來的任何變化，多達四十六張圖表似乎窮盡了所有的組合。
草木竹石皆可破敵
S君曾經遇到過一個特別簡單的電商網站。頁面幾乎畫素級抄襲淘寶，但是完全沒有任何反爬蟲的機制。以S君的水平，從審查元素，到開發完成，僅僅用了半個小時。爬蟲安全平穩又順利地運行了三個星期。
然後，有一天早上，爬蟲死掉了。
S君用盡畢生所學，無法再從這個網站上爬到任何有價值的資訊。這個網站似乎請來了一個機器行為對抗的大神級人物。人用瀏覽器一點問題都沒有，但S君的任何隱藏爬蟲的手段都被輕易識破。
S君找到我：“師傅，這個網站我搞不定。”
“你能搞定。動動腦子。”
“我會的所有技術都用上了，完全看不出破解他反爬蟲機制的方法。”S君已經失去了信心。
“那就，不要用技術去對抗。用你的腦子。”
S君抱著顯示器用頭一遍一遍的撞。
我問S君：“你有沒有思考一個問題，這個網站模仿了淘寶的皮，卻又毫無反爬蟲機制。你覺得他的老闆是一個什麼樣的人？你聽過那個段子嗎？”
S君突然一躍而起：“我給你一萬元，你幫我做一個網站吧。你想要什麼樣的網站？很簡單，就淘寶那樣的。你是說這個段子嗎？”
“對。”
S君突然之間榮光煥發：“有辦法了！”
只見S君重新在瀏覽器打開了這個網站，找到了客戶服務熱線。電話一撥通他就開始一通汙言穢語罵起來：“……你們網站到底在搞什麼？為什麼今天一會能登入一會不能登入？找你們老闆來！我來教他怎麼做網站！……”
半小時以後，網站反爬蟲機制全部解除。
此刻，S君面向西面雙手合十，自言自語：“兄弟，對不起了，只有讓你來背這個鍋了。”
你小學上課傳過紙條嗎
“我現在能體會那些半路攔截紙條的人是什麼心態了。”這是S君第一次使用Charles時對我說的話。
從此以後，我很少看到S君分析網頁了。因為他學會了在爬蟲開發的過程中，首先通過中間人攻擊技術分析微信小程式和手機App。這種方式往往能夠直接獲得資料，拿到資料以後就能直接儲存，再也不用寫煩人的XPath或者長的跟表情符號一樣的正則表示式了。
有一天，我在玩一個網頁版的黑客解密遊戲，在網頁上尋找某個地方隱藏起來的密碼，然後輸入每一關的回答框中，答對才能進入下一關。
遊戲有12關，而我卡在了第6關。只見S君拿著電腦走到我面前，指著第12關的通關頁面跟我炫耀。
“你是不是用MITMProxy替換了這個網站的Js檔案？”
“果然還是瞞不過師傅你啊。”
“你攔截了別人的紙條，做了修改，然後又疊好繼續傳下去，你有考慮過發紙條的人和收紙條的人的感受嗎？”
“我小學時候不傳紙條，都是妹子直接約我的。”
加密？不存在的
“前端沒有祕密”。S君在成功逆向了一個網站的Js檔案以後如是對我說。
“那是因為這個網站的Js程式碼就赤裸裸地放在你面前，完全沒有混淆。”我對S君說道。
“不怕，我可以用Node.js來執行混淆過的程式碼。我已經搭建好Node.js服務了，只要把Js程式碼傳進去，他就會把結果給我返回回來。”S君對此似乎一臉自行。
“你什麼時候學會的Node.js？”
“這不是師傅你說過技多不壓身嗎？既然做爬蟲需要動JavaScript，那我順手就把Node.js給學了。”S君毫不畏懼的表情，似乎證明他已經猜透了我要問什麼。
“那如果目標沒有網站，只有App呢？”
“不怕，Android 逆向工程我也順便研究了一點。Java我也看得懂。”
“看來這些已經不需要我再教你了。”
我一根指頭就能捏死你，但我不想傷害你
S君有一天問我：“假設你現在在小學課堂上，前面的同學讓你把紙條傳給後面的女生，你會怎麼做？”
我說：“檢視複製/修改刪除/攔截丟棄”。
S君嘿嘿一笑：“比如說，前後三次的紙條分別為‘聽說你奶奶生病了，我們週末一起去看望她吧‘，’今晚我爸媽不在，去我家玩嗎？’， ‘我剛拿到這個月壓歲錢，老師一下課我們就去吃好吃的。’”
我說：“女孩漂亮的話，我改一下第二張紙條，改成‘今晚我爸媽不在，我們一起去青南家玩嗎？’”。
S君露出了嫌棄的眼神：“師傅，你可是說過你最討厭技術含量低的事情啊，你塗改了紙條，別人不會發現？你筆跡都不一樣啊！”。
我問S君：“那你有何高見？”
S君抬頭仰望這窗外的天空：“如果是我，那麼我會臨摹第一張紙條上面的生病了
去看望
她
我
，第二張紙條上面的爸媽
，第三張紙條上面的拿
錢
老師
這些字的筆跡。然後改換一下順序就變成了：爸媽，我老師生病了，我拿錢去看望她
。最後我把這張偽造的紙條拿去找寫紙條的那個同學他爸媽要錢。”
“我猜，你想用中間人攻擊擷取別人的Cookies，然後用這些Cookies偷偷登入網站，進行你的不可告人的目的。”
S君笑道：“哈哈哈，我想想都害怕。但是每當我想到，我擁有一種可怕的力量，而我還能控制住這種力量。我就知道我和街上的普通人不一樣了。”
你肯定薅了直播答題的羊毛吧
去年年底的直播答題著實火了一把。那個時候，我和S君分開已經有一段時間了。我相信，在全民答題的每一個夜晚，S君的電腦上一定連著不少於六臺安卓手機。這些手機執行著不同的答題平臺，能夠自動讀取螢幕上的問題並自動選擇答案。
我把安卓自動化測試技術教給S君，本來是讓他結合爬蟲，實現群控從而抓取一些難以處理的資料，但我相信他肯定會用來答題。
變通，這一點他學的越來越好了。
只希望他不要成為羊毛黨。
後記
後來，我再也沒有見過S君這樣有趣的人。所以我把我教給S君的東西，寫成了一本書：《Python爬蟲開發 從入門到實戰》，現在已在京東，噹噹與亞馬遜上架。希望你也能變成S君一樣有趣而又厲害的人。
- 京東：ofollow,noindex">item.jd.com/12436581.ht…
- 噹噹：[product.m.dangdang.com/25349717.ht… ](http://product.m .dangdang.com/25349717.ht… )
- 亞馬遜：[www.amazon.cn/dp/B07HGBRX… ](www.amazon.cn/dp/ B07HGBRXFW)
爬蟲是一門雜學。因為在一個完整的開發過程中，需要涉及到的知識可以包括但不限於：Python，HTML，JavaScript，正則表示式，XPath，資料庫，Redis，訊息佇列，Docker，ELK，Hadoop，資料分析，ETL，中間人攻擊，自動化測試技術，視覺化……
這其中的任何一項，在一個大公司裡面都可以讓很多人來做。
爬蟲開發，就像這篇文章裡面反覆出現的一個詞：變通——只要能夠獲得資料，任何技術都可以使用。所謂草木竹石皆可為劍。爬蟲不應該是一個枯燥的一成不變的模式化的工作。而是一個充滿了創意和挑戰，能夠讓旁觀者大呼“我X還能這樣搞”的工作。
爬蟲開發，絕對不僅僅是Scrapy，PySpider，requests這些框架或者庫的使用。所以在這本書裡面，我也刻意減少了框架使用說明的部分，而把重點放在了各種突破反爬蟲機制或者使用變通的方法繞過反爬蟲機制的方法論和實踐中。
通過學習爬蟲，你最後不一定選擇爬蟲工程師這個崗位，但是在學習爬蟲的過程中，你將會接觸到的各種工具，方法，服務元件，都會在你以後的生活和工作中幫到你，讓你知道，在遇到一個問題的時候，解決方法在哪個地方。