1. 程式人生 > >大資料時代地理資訊服務中資料傳輸

大資料時代地理資訊服務中資料傳輸

人類社會進入大資料時代,資料成為了繼土地、勞動力與資本之後的新的要素。用資料決策、用資料評價成為越來越普遍的要求。當前,大資料引發著各行業、各領域商業模式、生產模式與管理模式的變革和創新,將對經濟社會發展與人們的生產生活方式產生深遠的影響。大資料時代,測繪心理資訊服務需求不斷增長,為測繪地理資訊事業加快發展提供了強勁動力,同時也給測繪地理資訊工作統一監督管理與服務保障帶來嚴峻挑戰,這也包含大檔案傳輸

1.地理資訊服務簡介

地理資訊系統(GIS),是對資訊進行釆集、儲存、管理與分析的有效工具,從20世紀60年代誕生以來,其概念和理論基礎己基本成熟,但是隨著計算機技術、資料庫技術和網路技術的不斷髮展,將GIS的功能在網路中實現,並且解決網路上跨平臺的、異構的、海量的資訊共享,傳統GIS的概念逐漸發生了改變,產生了地理資訊服務的概念。 地理資訊服務旨在構建一個服務平臺,使得大資料時代的各種軟體資源與硬體資源能夠有效的共享,方便使用者獲取資料和資訊,並進行二次加工,從而得到自己所需的資訊產品,產生效益。

2.影響資料組織傳輸的因素

資料在地理資訊服務中,是貫穿整個服務的主線,從資料格式、資料管理、網路傳輸、資源配置到使用者利用,各個方面都需要考慮資料的處理。

2.1資料格式

大資料時代地理資訊服務中的資料通常可以分為空間資料與非空間資料。其中空間資料提供使用者基礎地理空間資訊,是面向大眾的,所提供的資料也必須是公開的。因為地圖資料是受國家保護的一類特殊產品,因此面對需求,只能做到最大程度的共享,根據不同的使用者層次控制好資料的尺度。非空間資料,是存在於各個應用部門內部的,供業務應用所需的資料,有的與空間資料相關,有的則不相關,大多都是保密的,由各個應用部門自己管理。

空間資料可以分為柵格資料與向量資料兩種,其中不同型別又具有多種資料格式,空間資料的這種異構性就造成了“資訊孤島”這就在底層為實現地理資訊服務設定了障礙,因此必須首先解決如何在網路環境中實現不同型別、不同格式之間的空間資料有效的共享與互動。

向量資料的特點是結構緊湊,精度高、圖形顯示的質量好、便於空間分析,但是其結構複雜,不同格式間的向量資料實現共享困難。柵格資料的特點是資料結構簡單,畫素陣列的形式與輸出裝置的顯示機制相一致,輸出方便快捷,易於計算機表達,在網路傳輸方面研究主要涉及柵格資料的壓縮和網路的漸進傳輸,技術上相對比較成熟,只是在空間分析方面的功能支援顯得不夠。

非空間資料主要是提供給各個應用部門的內部使用的,主要是一些屬性資料,包括使用者資訊資料、資源資訊資料、審計資訊資料、業務專用資料等。這些資料大多存放於通用型別的商用關係型資料庫中。

2.2資料管理

大資料時代地理資訊服務中資料管理可以分為空間資料管理與非空間資料管理,對於非空間資料而言,強大的資料庫管理系統功能足以滿足資料管理所需,以下內容主要討論空間資料的管理問題,主要分為兩種方式:檔案方式和資料庫方式。

目前,主流的空間資料管理的方式是資料庫方式,主要又分為兩種實現途徑:

① 統一資料格式,與檔案方式相類似,在資料庫之上設定一個數據轉換程式,將不同格式的資料轉換到統一的資料格式上,在資料格式較少時,這種方法簡單實用,但是一旦資料格式較多時,就造成了資料轉換程式開發困難,並且在格式轉換過程中還容易丟失資訊,轉換過程執行效率低。目前這種方式除了應用在極個別的地理資訊服務場合外,很難推廣應用。

② 空間資料引擎,利用伺服器對外的統一的介面——空間資料引擎,將不同型別、不同格式的空間資料統一到一種標準格式上,要求這種標準格式應適應網路傳輸,與自身格式無關,當用戶收到資料後,可以根據自己的請求將標準資料進行還原處理成自己所需的格式資料,是解決地理資訊服務中空間資料有效共享的最佳方式,目前最常用的XML就是這種方式的典型代表。

2.3網路傳輸

網路傳輸在地理資訊服務中是最為主要的環節,大資料時代其實現的方式主要有:資料庫、FTP、XML和底層設計開發等。其中資料庫方式最為方便,一般各種大型的資料庫開發商都會配套推出資料庫的伺服器端和客戶端軟體,通過在客戶端的資源配置,建立起計算機之間的網路聯絡,實現空間資料的有效傳輸,但是這種方式對硬體設施的配置要求較高,並且組網也有特殊的要求。另外由於軟體都是國外的,資料的安全也收到威脅。FTP方式是早期地理資訊服務資料傳輸實現的方式之一,構建系統方便,通過網路共享與檔案下載,實現空間資料的遠距離呼叫,但是由於其伺服器端功能較單一,對大資料量、多源、多比例尺空間資料的呼叫程式較難實現,且客戶端與伺服器端聯絡緊密,擴充套件性不強。

2.4資源配置

在地理資訊服務中,只要網路頻寬一定,有效的配置網路資源是影響空間資料傳輸的主要因素。 因為網路環境較為複雜多樣,所以地理資訊服務在整體上要加入冗餘機制,在服務框架下新增資料伺服器、資料代理伺服器、資源管理伺服器與資料應用伺服器的副本,滿足服務平臺在某幾臺伺服器不能正常工作的情況下備份伺服器的正常工作,確保系統的健壯性。另外在服務平臺中,資源管理器的作用很重要,可以說資源管理器就是整個服務平臺的神經中樞。

2.5資料利用

在地理資訊服務中進行資料傳輸,最終是要將可用的資料提供給使用者,所以對資料的還原利用是服務的最後一步,也是影響服務質量的關鍵因素。隨著地理資訊服務的不斷深入與發展,終端使用者的裝置己經從最初的普通桌上型電腦、筆記本發展到當前的PDA、智慧手機等小型的終端裝置。

3.三個標準化

綜上所述,我們認為在地理資訊服務中,對於資料的有效組織傳輸,可以歸納為三個標準化問題:

3.1資料標準化

資料標準化是指在地理資訊服務中,資料伺服器端存放的資料可以是多源異構的,其對外的資料介面必須符合統一的格式標準。面向大眾的通用地理資訊服務平臺,可以利用XML來傳輸資料,這樣平臺方便開發、容易擴充套件;在實現某個部門專用的服務功能時,可以使用從底層設計開發二進位制傳輸格式,確保傳輸資料的獨立性和安全性。資料的標準化解決了空間資料應用的根本問題。

3.2通訊標準化

通訊標準化是指在地理資訊服務中服務請求者與服務提供者之間的資訊交流、傳輸實現有效、統一。地理資訊服務中的網路通訊按照技術手段可分為有線通訊和無線通訊。按照通訊的目的不同,地理資訊服務中的通訊還可分為請求通訊與服務通訊。通過請求通訊與服務通訊,確保了終端使用者和伺服器之間的有效連線,在設計通訊指令時,需要注意做到簡單明瞭、易於處理和擴充套件。

4.結語

綜上所述,本文討論的三個標準化問題概括起來實質也就是介面問題,可以認為是“共享介面”的具體化。在進行地理資訊服務的設計開發時,我們應該重點把握好各個層次介面的標準化,才能夠做到服務資料在網路上的快速有效傳輸。