1. 程式人生 > >五分鐘學GIS | 大資料之分散式空間分析服務

五分鐘學GIS | 大資料之分散式空間分析服務

這裡寫圖片描述

分散式空間分析服務是什麼

   分散式空間分析服務是SuperMap iServer 9D中新增的一個擴充套件模組,其利用Spark分散式計算方式,對超大體量的空間資料進行各種分析。可接入分散式儲存的地理資料,如 HDFS(Hadoop Distributed File System,Hadoop 分散式檔案系統)儲存的資料、iServer DataStore 中儲存的關係型資料、以及 UDB 中儲存的點線面資料。其提供強大的空間分析能力,例如大資料的地圖出圖、分析與管理。所有功能提供 REST API,方便開發與擴充套件。

優點

   效能非常高
   分散式空間分析服務利用Spark分散式計算方式,將一個分析任務分解為多個子任務,最終通過分散式計算快速得到結果(如下圖)。


可接入多種資料來源與格式參與分析
   支援共享目錄方式,支援HDFS目錄,支援企業級空間資料庫(Oracle,PG-XL)等,資料格式支援UDB,CSV,Execl,GeoJSON等。
多終端的快速使用
   iClient , iDesktop產品可直接呼叫,並以視覺化方式展示大資料分析任務的執行過程與結果。
擴充套件性高
   分析節點的橫向擴充套件非常方便。想要提高效率,只需增加處理節點,啟動一臺iServer,加入叢集,註冊資料即可。
部署簡單
   iServer 9D內建Spark分散式計算框架,部署分散式分析服務叢集十分簡單,不需要有分散式相關知識。搭建過程同搭建叢集類似,完全視覺化操作,只需三步:
   1.勾選開啟iServer叢集服務。
   2.勾選開啟iServer分散式分析服務。
   3.將iServer節點加入叢集並勾選參與大資料分析選項卡即可。

適用的場景

1.傳統空間分析處理時間長,想要大幅度提高處理效率。
例如:某專案中,2261萬條紀錄面(68.3GB大小)與3502平方公里的不規則面疊加分析,傳統分析(機器:32核CPU,64GB記憶體)需要42.5分鐘,而採用分散式計算模式(機器:4臺4核CPU,16G記憶體機器)只需2.1分鐘,效能提升20倍。

2.傳統方式處理不了的資料內容。
例如:10億點和1000W個面進行聚合,使用傳統模式處理不了這種級別的資料。

3.專案適應未來技術趨勢,即對傳統資料進行分散式儲存,分散式計算,實時資料處理,非結構化儲存等。

GIS應用案例

SuperMap iServer 9D採用4節點叢集方式,每節點配置32G、4Core,採用A+B資料方式,進行大資料量的空間分析(點聚合分析功能):