從前有座山，山上有座廟，廟裏有個老和尚和小和尚……這個簡短無盡的兒童故事是很多人都知曉的，整個故事從開頭就定義了空間的概念，讓我們能夠清楚的知道老和尚和小和尚在山上的廟裏，網絡空間同樣如此。如果說GPS繪制出了世界的地圖，那麽網絡空間搜索引擎就是整個互聯網的地圖。
自從互聯網誕生的那一刻，網絡空間也由混沌之初快速擴張。在互聯網中各種網絡設備物物相連，因此互聯網基礎上的延伸和擴展，用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信，形成萬物互聯的物聯網（IOT，Internet of things）。通過網絡空間搜索引擎，我們可以快速的知道，全世界大約有多少網絡攝像頭，有多少服務器，有多少服務器采用Apache等。網絡空間搜索引擎的作用就是將互聯網上公開的網絡資產收集和整理，以此方便人們進行查閱和利用。
最佳設計獎：Shodan
簡介
全球最早的開放式網絡空間應該非shodan莫屬，也是目前最為知名的一個網絡空間搜索引擎。Shodan於2009年誕生，每個月Shodan都會在大約5億個服務器上日夜不停地搜集信息，shodan主要是針對服務器、網絡攝像頭、交換機、路由器等網絡基礎設備做掃描。
特點
Shodan能夠成為全球最為出色的網絡空間搜索引擎並非浪得虛名。為了方便開發人員更好的接入shodan的API接口，shodan開發了11個代碼庫，分別為python，Ruby，PHP，C#，Go，Haskell，Java，Node.js，Perl，PowerShell和Rust。
除了這11大代碼庫以外，shodan還開發了自己的瀏覽器插件。Shodan瀏覽器插件的作用不是很大，主要就是查看當前訪問web服務器所開放的端口，僅此而已。
Shodan創建賬號是免費的，但是可以免費查詢到的信息少的可憐。如果要進一步查詢更多的信息，你需要購買shodan的會員服務。Shodan的會員費用是49美元，值得慶幸的是一次付費即可享受終身會員服務。
除了個人版本的，shodan還推出了企業版和企業高級版的收費。Shodan上都是英文介紹，我這邊列出一個中文表格，方便各位比較。
Shodan上還有一個功能叫做scanhub。主要是將你Nmap掃描的結果導入到scanhub裏面，形成一個可視化數據。但是這個功能是收費的，1GB/9美元/每月。個人感覺這個價格還是有些高了，並且功能並不是那麽實用，還不如直接用d3.js開發更實用。
Shodan的images功能感覺非常地高大上，以圖片的形式展示網絡上開放的一些設備，除了遠程桌面連接界面外，還有攝像頭界面、工控控制界面等。
最屌炸天的設計還是shodan 3D功能，以一個3D球形展示搜索出來的網絡設備。
Shodan還開發出了自己的CLI應用程序，用戶可以通過shell命令來使用shodan。
除此之外，shodan還有一個Honeypot Or Not功能，可以查看該服務器是否為蜜罐。
小結
總的來說，shodan只是單純的對IPV4的地址做一個掃描，掃描結果還是比較滿意的。除了web服務器以外，還有交換機、路由器、網絡攝像頭、工控設備等掃描。而且對掃描數據的整理得也非常不錯，比如images功能、3D功能等。除此之外，還開發了Firefox和chrome的插件，11大代碼庫和CLI程序，也使得後期開發更加簡便高效。但是shodan主要只是針對IPV4進行掃描，卻忽視了針對域名的掃描，如果能夠加上域名掃描就更完美了。
最佳學術獎：Censys
簡介
在全部的網絡空間搜索引擎當中，censys絕對是一個另類，因為censys不包含任何收費項目，並且全部數據都可以免費下載。Censys創建之初的目的主要是用作學術研究，並且將它定義為一個公益項目。該項目由密歇根大學和Rapid7公司共同合作完成。
特點
在介紹censys之前，請允許我先介紹一下Sonar項目。Rapid7創建了一個項目名為Sonar，主要是通過Zmap對全球的DNS服務器做掃描，比如收集轉發DNS記錄（ANY），反向DNS記錄（PTR），SSL證書掃描（443端口），HTTP 80端口掃描和UDP掃描等。而Rapid7又會將掃描到的數據匯總到scans.io。說起scans.io和Zmap，那麽我又得說起J. Alex Halderman這個人。J. Alex Halderman是密歇根大學的電腦科技教授和計算機工程師，他帶領著他的團隊開發了zmap掃描器，censys網絡空間搜索引擎和scans.io存儲庫。
整個censys的項目主要是又sonar項目，Internet-Wide Scanning Research項目和The Meta Intelligence項目收集數據，然後匯總到scans.io存儲庫，最後再由censys對數據進行索引，以此方便人們查閱和研究。
市面上大部分的網絡空間搜索引擎的數據下載是收費的，但是在censys上可以免費下載全部數據。
Censys除了基本的IPV4查詢以外，還可以針對域名和證書進行查詢。
以下是針對freebuf的一個掃描，會把和freebuf相關的各種web服務器列出來。
得到censys認證的用戶還可以使用SQL語句對數據進行搜索。
同時還可以在線生成報告。
小結
總體來說，censys不僅僅只掃描了IPV4地址，還對域名和證書進行掃描。Censys的數據種類肯定是要比一般的網絡空間搜索引擎還要多的。但是針對數據可視化的功能就不如shodan了，並且censys也沒有代碼庫，如果要對censys進行二次開發還是比較費力的。
最佳先鋒獎：Zoomeye
簡介
當初zoomeye上線後，很多人說zoomeye就是中國版本的shodan，實際上zoomeye和shodan還是有一些差別的。Shodan主要是對設備指紋進行掃描，但是zoomeye除了設備指紋的掃描以外，還增加了對域名和web服務器的指紋掃描。而zoomeye也是中國首個半開放式的網絡空間搜索引擎，其意義非同凡響。
特點
在搜索界面上，zoomeye就展示了和shodan的不同之處。不僅僅可以搜索主機設備，也可以對域名進行搜索。
根據zoomeye官網的介紹，zoomeye現在已經收集了7億多臺互聯網設備的信息，1億多個域名的信息。
而且zoomeye的高級搜索功能也非常實用，用戶體驗很不錯。
同時，zoomeye的視角功能能夠讓用戶快速查閱搜索設備在全球的分部情況。
Zoomeye還開放了海盜榜計劃，每個用戶可以根據自己對zoomeye的貢獻值獲得更多的訪問權限。
如果要加入海盜榜，那麽用戶就需要參與到D計劃當中。
雖然zoomeye針對普通用戶是免費的，但是在商業版也有自己的收費項目，分別為ZoomEye 商業版，ZoomEye 數據服務和ZoomEye API收費版。
小結
Zoomeye的運行模式還是非常不錯。通過商業收費獲取利潤，再通過D計劃源源不斷的獲取新的數據。並且zoomeye的搜索速度還非常快，用戶體驗也十分良好。同時，zoomeye在海內外都有較強的知名度。但是zoomeye相對於censys來說，域名的收集數量還有所欠缺，並且在針對設備指紋掃描的時候可以參考shodan，列出更多的可視化數據服務。
最佳潛力獎：Fofa
簡介
FOFA是白帽匯推出的一款網絡空間資產搜索引擎。它能夠幫助用戶迅速進行網絡資產匹配、加快後續工作進程。例如進行漏洞影響範圍分析、應用分布統計、應用流行度排名統計等。
特點
FOFA在其規則指定上也是一個另類。FOFA用戶如果加入FOFA的會員，那麽是可以賺取外快的。一旦加入FOFA的會員，並且提交的POC被通過，那麽該會員可以收到一定的賞金。
同時fofa還面向企業和會員推出了PC平臺客戶端。企業可以在客戶端上購買自己想要的POC，而會員也在客戶端上查看自己寫的POC。Fofa的客戶端還有一個作用，就是可以三分鐘根據POC掃遍全球的網絡，查看哪些設備存在漏洞。
據說fofa在海內外布置了大量的掃描服務器，對全球的網絡資產做掃描。具體是否屬實我也不清楚，但是可以知曉的是fofa能夠針對html正文進行代碼級別的全文檢索 ，並且數據量十分龐大，光是域名的收集就達到兩億多條。以下是針對freebuf的掃描情況。
針對掃描結果，fofa可以用全球視角，中國視角和端口餅狀圖來展示。
小結
雖然fofa開始的時間比較晚，但是在搜索結果，數據量和數據整理方面還是非常不錯的，並且隨著越來越多的會員加入，fofa在POC的積累上也會慢慢起色。fafo目前雖欠缺的不是技術，也不是數據持有量，而是需要一個時間的醞釀和市場的推廣。
擴展思路
總體來說，個人認為中國的網絡空間搜索引擎比國外的體驗更加良好，數據量也更全面，但是還是存在一定進步的空間。以下是我提出網絡空間搜索引擎的一些建設性意見。
數據獲取
zoomeye采用的是用戶和自己的掃描器兩個方面來收集數據，shodan和fofa主要是依靠自己來進行掃描，而censys主要是通過學院和兩家公司的項目來一起收集數據。在收集數據的過程中，我們可否能夠進行數據共享以此來查缺補漏？比如你fofa自己收集數據，但是你也可以下載censys的數據來做配對，查看自己缺了哪些數據。同時，一個標準的網絡空間搜索引擎應該有非常龐大的掃描節點，如果你在中國架設掃描節點，那麽你是沒有辦法掃描到一些境外服務器和網站的，原因你懂的。掃描節點需要根據不同國家的政策來進行架設。
數據種類
一個標準的網絡空間搜索引擎，應該包含HTML信息、端口信息、IP信息、域名信息、SSL證書信息、地理位置、服務器供應商信息等。總體來說，就是需要獲取網絡世界中全部開放出來的網絡資產。
數據存儲
在獲得龐大的數據量後，存儲是一個大問題。大部分企業主要是采用的NOSQL類型數據庫來做存儲，然後再采用ES來做索引，通過同步腳本來對數據進行同步。最後由WEB UI把ES的數據抽取出來。如果用戶訪問量特別龐大的化，那麽可以采用hadoop假設多個節點，以此來增加訪問速度。
數據可視化
針對數據可視化操作，shodan做的是最優秀的。國內的網絡空間搜索引擎可以參考shodan的做法。
數據利用
zoomeye有seebug漏洞平臺做支撐，而fofa則有會員提交的POC做支撐。獲取到大量數據後，我們需要采用各種各樣的POC和指紋信息來做掃描，因為POC和設備指紋信息的存儲量就成為了這個網絡空間搜索引擎利用率的關鍵。
數據誤報
在采集數據的過程中，或多或少都會采集到一些錯誤的數據。比如把apache偽裝成IIS。在采集數據的過程中，最好加入多重驗算機制，以防出現數據誤報的情況。
總結
除了以上的網絡空間搜索引擎以外，還有很多我沒有做介紹，比如傻蛋搜索、IVRE開源網絡空間搜索引擎框架等。網絡空間搜索引擎就像是一把雙刃劍，用在正處，可以快速和維護眾多網絡設備的漏洞；用在壞處，可以快速入侵全球存在漏洞的網絡設備。
包括前段時間大量IOT設備被當作肉雞進行DDOS攻擊，那麽攻擊者主要是采用了網絡空間搜索引擎來獲得全球大量IOT設備的IP地址。同時還有前端時間大量Mongodb，ES等開放式數據庫遭到駭客入侵，被刪除了全部數據。這些黑客組織是否又是采用網絡空間搜索引擎來獲得入侵目標的全部IP？不由得想起前段時間筆者閑著無聊，在網絡空間搜索為驗證的mongodb數據庫。結果，筆者拿到了泰國數個服務器供應商的全部客戶登陸憑證，裏面包含全部客戶的用戶名、郵箱、信用卡號、明文密碼等。同時還查閱到了中國某雲考勤系統大量員工數據，包括手機號、年齡等等。還有某個省的監控服務器的備份數據，包含該省份大量進出流量的HTTP信息，比如朋友圈視頻地址、後臺登陸地址等等。而我所獲得信息只是那網絡空間中的冰山一角。
2008年上映的科幻片《鷹眼》（Eagle Eye），片中美國軍方開發的鷹眼系統就是基於人工智能和物聯網技術，通過遍布各地的網絡終端設備監視、引導男主人公的行為，隨意撥打電話、控制紅綠燈乃至地鐵等等所有物聯網設備，用普通人作為棋子，設計了一個精密的殺局，美國大片的結尾從來不出人意料，超級英雄力挽狂瀾拯救世界，但是整個過程對人工智能和物聯網的呈現，在當前的技術條件下，正逐步成為現實。
如果網絡空間用在正處，那麽可以對某個地區的網絡空間做安全評估，迅速挖掘到存在漏洞的服務器，並且對其進行修補。同時還可以開發網絡威脅感知系統，實時監控客戶服務器是否存在漏洞等。同時，網絡空間引擎不斷的暴露這些漏洞，網絡運營商不得不去面對這些問題，網絡空間搜索引擎在推動網絡安全前進的同時，也在讓越來越多的人重視網絡安全。
打個廣告：我司最近重點布局雲南地區網絡安全業務，急需全國各地優秀的安全產品，如有意向合作請聯系[email protected]
* 本文作者：耿浩然@水熊科技（企業帳號），轉載請註明來自FreeBuf.COM
Tags:
文章來源：