Towards Measuring the Effectiveness of Telephony Blacklists
出處:NDSS’18
原文連結: ofollow,noindex" target="_blank">http://cyber.gatech.edu/sites/default/files/images/towards_measuring_the_effectiveness_of_telephony_blacklists.pdf
背景資訊:
本文是美國佐治亞理工學院的研究人員發表在NDSS18上的研究。這篇論文研究瞭如何有效地阻攔惡意電話。現在有很多惡意電話會利用一些網路技術 (機器人呼叫,聲音模仿,號碼欺騙等等)對手機使用者進行騷擾或詐騙。常見的防護方法就是建立黑名單。目前也有很多APP或裝置安全服務在建立這些黑名單。但是具體如何建立黑名單,黑名單效果怎麼樣都是未公開的。所以這篇文章通過自己收集資料,並利用不同型別資料建立多種黑名單並評估,進而分析黑名單的效果。
資料收集:
收集惡意號碼的途徑主要有兩種:群眾舉報,通過大量測試號碼(honeypot)等待被動攻擊。再根據收集資料是否包含詳細通話內容,將所有資料可以分為四類:
Context-Less Data:
1)FTC dataset (FTC):群眾在美國聯邦貿易委員會舉報的號碼,出於隱私保護,這裡只能拿到惡意號碼和時間,沒有其它資訊。 共1.56 million 條舉報,300,000 不同號碼 (February to June 2016)。 2)Honeypot call detail records (CDR):honeypot接到的電話,同樣包含來電號碼,honeypot號碼,及時間資訊。 共200,000 惡意號碼,58,000 目標號碼(honeypot號碼)(February to June 2016)。
Context-Rich Data:
Crowd-sourced online complaints (COC): 一些三方網站(800notes.com, MrNumber.com等)接到的舉報,包含具體內容文字描述。 600,000條舉報(Dec 1, 2015 and May 20, 2016) Honeypot call transcripts (HCT):honeypot接到的電話,包含錄音記錄。 19,090 語音記錄, 9,434 惡意號碼(February 17, 2016 to May 31, 2016)
以下是具體資料分析:
每個dataset資料量的時間分佈:週期波谷是因為週末會減少。斷檔是因為一些原因導致某段時間沒有收集資料。
相同號碼的資料量,有很大一部分號碼只被舉報幾次或被honeypot檢測到幾次。
每個號碼被honeypot檢測到與被舉報的時間差,大部分幾乎是同時。
建立黑名單:
Context-less blacklisting:
1)blacklist using CDR (honeypot接到的電話): 可能存在的噪聲:誤撥電話 建立黑名單過程:過濾,首先根據number of calls 和 number of destination honey pot numbers, 來過濾次數較少的號碼;評分:同樣根據單位時間內這兩項資料來計算評分。閾值:根據CDR與FTC資料交集內號碼的評分來決定閾值。
2)blacklist using FTC (官方舉報號碼): 可能存在的噪聲:舉報時打錯字 根據舉報數量過濾次數少的號碼。
3)blacklist using COCNC (有內容的三方網站舉報): 這裡忽略內容描述,和FTC類似。
Context-rich blacklisting:
4)blacklist using HTC (honeypot接到的帶錄音的電話): 建立黑名單過程:主題:首先通過語音分析提取關鍵詞,定義惡意主題; 分類:根據計算權重值,決定每個號碼是否屬於某個主題。 最後根據這個權重值決定是否列入黑名單。
5)blacklist using COC (有內容的三方網站舉報): 首先將次數少的號碼去掉。 之後和HTC型別,先確定主題。這裡是文字解析,會比語音複雜 (語音大部分是機器人固定語音,文字更多拼寫錯誤,且描述太簡略)。
評估
黑名單資料分析:
舉報和被動攻擊的號碼差別較大。因為 honey pot 的號碼很多是被棄用的企業號碼,而舉報的被攻擊號碼更多是個人號碼。因此惡意號碼會不太相同。 context-less的黑名單較多,因為有內容的需要根據內容來區分,這個主題匹配比較嚴格。
黑名單可用性分析:
這裡利用兩個三方的黑名單來評估 Youmail檢測數惡意的號碼87%都在作者的黑名單中,遺漏的號碼在FTC中,但是舉報次數太少被過濾。如果作者不過濾,兩個黑名單有98%相似度。 Truecaller檢測數惡意的號碼只有13%在作者的黑名單中,因為Truecaller只要接到一次舉報就加入黑名單,如果只考慮Truecaller接到舉報次數大於5的號碼,其中75%都包含在作者黑名單中。 這說明作者的黑名單和現實的黑名單類似,因此可以用來評估現實中黑名單的效果。 作者還利用Whitepages分析黑名單中號碼來源:
VoIP利用網路IP打電話,toll-free免費的機構服務電話,landline固定線路 大部分號碼沒有使用者資訊,5%沒有運營商,67%是VoIP。 Whitepages只認為22%號碼是惡意的,說明Whitepages的惡意檢測效果不是很好。
黑名單效果分析:
每隔一天做一次實驗,用這一天之前的資料建立黑名單,來攔截接下來一天的電話,計算每天的攔截率。 Context-less blacklisting攔截率高於Context-rich blacklisting
誤報率分析:
自己準備白名單,100,000 phone numbers listed across 15 different major US cities and 10 different business categories 只有10個被包含進了黑名單,誤報率很低。
其它
最後作者還簡單分析了下,相同主題可能出現在不同的資料庫中,相同的號碼也可能用來不同的主題。