爬蟲風險管理產品是阿裏雲雲盾推出的新安全產品，1月底正式宣布商業化上線，提供可以覆蓋Web/H5/API/APP多種業務形態的爬蟲風險解決方案，對爬蟲風險進行有序管理。

惡意爬蟲引發高風險
隨著傳統行業互聯網化及大類業務的數據化，使爬蟲風險逐漸成為一個風險爆發點。有網絡數據報告統計，目前互聯網中超過60%的流量都是批量自動化的爬蟲流量。

廣義的爬蟲並不是僅僅定義為“爬數據”，惡意的黑客利用一些自動化程序“爬蟲”來進行業務攻擊和欺詐，例如撞庫、占座、搶票、刷排名、接口濫用、刷紅包等，趨利特征非常明顯。常見爬蟲主要會集中在類似航空、電商、咨訊、數據、金融、旅行等一些存在高價值數據、原創內容、高獲利點的行業中。

惡意爬蟲流量往往會引發企業一系列安全問題，並對業務造成一定利益損失，甚至請求量級過大也會同步造成服務器的不可用。

防爬任務困難重重
爬蟲中也並不是完全都是惡意爬蟲流量，有一部分友好的爬蟲，例如搜索引擎爬蟲、第三方合作夥伴程序、Robots 協議程序等。安全運維不但要區分出正常人請求和機器爬蟲請求，還需要放行友好的爬蟲，這會對爬蟲識別檢測精細度要求較高，並對不同類型的爬蟲要有分類和標記。

難點其二在於業務渠道的多樣性。行業的互聯網化快速發展，尤其是移動端的興起，一般客戶業務中除基礎的Web端外，移動端的H5/APP/小程序等也占據較大的業務流量。而爬蟲往往攻擊的是所有渠道中防護最薄弱及攻擊成本最低的業務渠道，會持續在各渠道中切換嘗試發現防護短板。如果防護方案比較單一，容易在對抗過程中產品顧此失彼的狀態，最終防護失效，仍然造成業務影響。

持續對抗的過程中，爬蟲也是會學習進化的，從最初簡單自動化腳本會逐步演變成模擬正常用戶的訪問請求，模擬小區寬帶IP，模擬頁面瀏覽停頓操作，模擬正常業務流程路徑等等，我們變得越來越難識別惡意爬蟲。

難但並不是沒有辦法。和爬蟲的對抗就像一場博弈，我們利用雲上生態的優勢降低防護成本，提高識別檢測的實時性和精準度，逼得爬蟲用來偽裝的成本高於爬蟲的獲利時自然會放棄。我們建立獨立的檢測系統和防護體系，圍而不全殺；用AI智能模型識別爬蟲，讓爬蟲難以察覺識別邏輯而減緩變異進度；用人機的驗證手段，做第二層的引擎判斷，更靈活的對識別結果做處置，進一步減少對正常用戶的誤報。

爬蟲風險如何有序管理
爬蟲風險管理產品是一款雲盾推出的新安全產品。

產品為SAAS模式，反向代理接入非常輕量和靈活，對七層流量做一次轉發，通過雲上綜合的爬蟲防護引擎識別並過濾爬蟲流量，幫助客戶降低惡意的自動化程序帶來的業務影響。幹凈的業務流量會被繼續轉發到源站，保證業務正常運行。

產品建設了一整套有層次的爬蟲檢測模塊，主要分為基礎防護層、雲端情報層、機器學習層，進行信息傳遞和鑒別，從提供流量上自定義爬蟲特征規則工具，到共享雲端優勢的行業爬蟲攻擊情報，再到定制貼合客戶業務的機器學習算法，逐步遞進，快速幫助客戶打造一套量身定做的反爬蟲策略體系。

產品除了能快速甄別爬蟲的行為特征，還可以實現對不同風險等級的爬蟲識別結果做不同的處置，合法爬蟲做放行，惡意爬蟲做阻斷，遇到可疑的爬蟲去做一個挑戰或者校驗，多驗一次身來做最終判斷。

同時，產品內提供了數據可視化模塊，從不同維度展示給用戶，包括數據和數據之間的關聯，讓用戶參與爬蟲特征數據和防護數據之間關系的探索，不斷溝通和叠代，不僅清晰地向用戶展示爬蟲入侵的每一步，也提高了用戶反爬蟲的策略決策能力。數據模塊還集成了阿裏雲的SLS日誌服務，可以查詢和定位詳細的日誌內容，幫助用戶了解防護情況和流量細節。

當前產品防護場景主要集中在：

產品優勢突出
1、雲端部署
雲端有技術專家負責產品的規則更新，迅速解決實時風險。
雲上資源是可以隨時彈性擴容的，針對高峰業務能夠自由收縮，幫助客戶解決因大促等問題需要擴充機器而帶來的成本。
雲上的威脅情報資源非常豐富，能夠發現針對行業的集中式攻擊，並可以將情報應用在行業客戶的防禦系統中。
2、生態體系
跨多行業的爬蟲行為分析，利用關系網絡進行惡意爬蟲的擴充發現。
爬蟲業務目的非常明確，識別行業的集中式攻擊，達成行業內共享風險防控。
沈澱網絡上黑灰產的百萬級已知針對性爬蟲風險的IP/UA黑灰產數據。
共享億級阿裏系的設備端的風險情報。

據了解，目前國內外有不少做惡意爬蟲流量管理的廠商，側重點也不盡相同，但阿裏雲爬蟲風險管理產品則是側重於多層的防護，除了人機識別等檢測方式，還會通過行為分析、威脅情報、機器學習算法等方式輔助檢測，可以覆蓋包括APP在內的各種環境，雲上反向代理的方式接入也非常輕量和靈活。

點擊了解產品詳情
https://www.aliyun.com/product/antibot

點擊了解“阿裏雲新品發布會頻道”：
https://promotion.aliyun.com/ntms/act/cloud/product.html

原文鏈接
更多技術幹貨 請關註阿裏雲雲棲社區微信號 ：yunqiinsight

阿裏雲爬蟲風險管理產品商業化，為雲端流量保駕護航