從“反爬”到深度態勢感知，航空業求解出行安全新路徑
如果能夠“看見”時間，那麼人類都會變成以生命為長度、四維世界裡的生物，詳細記錄每一刻發生的變化。在資訊世界裡，無形的時間維度被資料量化，記錄著我們在城市之間的起降，出行的始終······點連成線，四維空間正變成現實。
在航旅類App上，使用者的飛行記錄綻放出一張個人旅行地圖。國際航空運輸協會資料顯示，2017年全球總共有3680萬個航班起降，平均每天約有10萬個航班，千萬乘客與航空系統互動。在這張巨大的複雜地圖裡，無數真實使用者行為裡夾雜著巨量“虛假”訪問，甚至惡意訪問行為，其中最常見的就是網路爬蟲。
按照授權情況，爬蟲可以分為合法爬蟲與惡意爬蟲。雲鼎實驗室研究發現，惡意爬蟲流量最大的行業就是出行，包括航空、酒店、火車票預定等。據《科技日報》報道，某訂票網站的頁面每分鐘瀏覽量為1.2萬人次，真實使用者只有500人，爬蟲流量佔比95.8%。即使在淡季，虛假流量也佔到網站訪問總量的50%。由此帶來的成本消耗和安全威脅令航空業不堪其擾。
航司健康的寄生蟲
入侵航司網站的大量惡意爬蟲，絕大部分來自黑灰產的爬蟲團伙，在低頻爬取航司票務資訊後，通過虛假身份資訊搶佔打折機票，待真實使用者通過灰色平臺購買機票，再將佔有的座位退出，隨後使用真實使用者身份購入。航司對旅客的優惠轉化成第三方灰產的非法收入，使得航司蒙受損失，也增加了網站壓力和系統成本。
更令人不安的是，惡意爬蟲通過模擬真實使用者盜取後臺介面，獲取旅客姓名、身份證、手機號、積分卡等，造成個人資訊洩露。而隨著新網路安全法的實施，對於個人資訊的保護顯得尤為重要。
無監督“免疫系統”實力反爬
白山雲科技創新研發的新一代態勢感知平臺ATD，專門針對解決上述問題。
態勢感知實際效果圖
通過查訂比（查詢訂票比例，通常查訂比越高，爬蟲風險越大）確認反爬的效果。基於ATD無監督聚類演算法，在繁雜的海量資料輸入中，確定事件邊界，根據場景作出相應處理。ATD深度引擎對訪問請求進行特徵建模形成向量，對於特徵向量執行聚類演算法，最終將小眾群（離群點）進行行為特徵引擎的監督，精準識別低頻攻擊，從而打擊灰色產業爬取航班、票務資訊，杜絕惡意佔座等行為。在多家航司服務實踐中，ATD演算法模型不斷自我優化完善，其中幫助某航司客戶的查訂比下降90%，有效防禦惡意爬蟲的圍攻。
某團伙爬蟲示意圖
在保護旅客資訊方面，ATD學習引擎針對使用者登入行為按照文字特徵和行為特徵進行學習。
文字特徵學習針對業務介面的特徵，包括輸入引數數量、輸入引數型別、輸出返回碼分佈，輸入和輸出的對應關係等，建立業務在Request上的文字規律。當任何一個請求到來的時候，ATD就可以根據之前的文字特徵學習結果作出異常概率評估。
行為特徵學習針對每個使用者在一段時間內連續行為的規律，比如使用者起始是在哪個頁面，中間經過哪個介面，最終訪問到達哪個業務。通過學習上述行為，ATD就可以為業務建立一套訪問規律，從而當有異常行為發生時，可以迅速發現，準確識別。
基於文字特徵和行為特徵，ATD在異常賬號登入時可以準確判斷，及時攔阻並對威脅事件全面回溯，保護使用者隱私資料，防止財產損失甚至人身傷害。
學習引擎未知問題發現
不同於行業內其他安全產品，ATD所採用的無監督學習演算法，無需人工介入，在不依賴人為設定規則的情況下即可捕捉潛在威脅。而其特有的旁路部署方式，在完全不影響業務系統的情況下，有效識別並旁路阻斷風險。
深度態勢感知護航出行安全
爬蟲只是航司面對的威脅之一。此外，包括安檢、系統、AODB（機場營運資料系統）等在內的多個航司系統，每天產生巨量互動日誌，面對資料安全性、系統運營穩定性、資訊準確性等問題，整體安全態勢感知能力建設就顯得尤其重要。
白山ATD在旁路接入系統資料後，針對不同場景需求自動選用實時引擎、深度引擎和學習引擎，整個演算法過程不依賴規則，即可在事件發生的同時立即作出分析，判斷攻擊狀態成功與否、還原攻擊場景、判斷原因和內在維度特徵，解放安全工程師的人力並提高其效率，最終實現對於航司外網、業務、內網的三層智慧防禦。