1. 程式人生 > >大資料計算機資訊的處理技術

大資料計算機資訊的處理技術

如今,網際網路快速發展,資訊化程度越來越高,大資料在經濟社會發展中的作用也越來越突出。大資料已經進入到我們的生活當中,不論是學者做研究還是企業追求更好的發展都離不開大資料的支撐,而大資料的蒐集與整理需要計算機資訊處理技術才能進行,因此,如果想要更好地蒐集和利用資料,就要不斷地探究計算機資訊處理技術,不斷地進行創新,從而促進社會更好地發展。
1計算機資訊處理技術和大資料概念闡述
1.1計算機資訊處理技術的概念闡述
所謂計算機資訊處理技術,又稱雲端計算,是指利用網路特有的計算方式,使相關計算機使用者可以接收到想要的資源和資訊的一種類似於電網的一種資訊處理技術。
1.2大資料的相關概念闡述
如今,大資料的開發是一項非常重要和有意義的工作,因此正確地認識大資料的相關概念就顯得尤為重要。大資料是指從各種型別的資料中,快速地獲取有價值的相關資訊的能力。而大資料的快速發展,也推動了很多企業自身的發展。同時,大資料在不斷被人們運用的過程中,也顯現出了資料量巨大、價值密度低、處理速度快以及資料種類多等諸多特點。
2大資料時代下計算機資訊處理技術的應用
2.1資料採集和交換平臺
資料採集和交換平臺,是將集團各種來源、各種形式(系統、介面、資料庫、檔案)、各種格式(Excel、Access、XML、Oracle、SQLServerDB2等)的資料經過抽取、沉澱,成為具有業務關係的、“乾淨”的資料,存入集團核心資料資源庫。資料採集和交換平臺應滿足集團在業務系統建立前和建立後的資料採集和交換要求:(1)當業務系統還未建立時,資料採集和交換平臺實現人工錄入和資料的批量匯入形式的資料採集沉澱,包括可定製的資料錄入系統,可以根據使用者的需求進行錄入介面的定製,進行資料的錄入採集,解決原來存放在紙質檔案等非資訊化介質上的資料問題;資料的批量匯入系統,支援對Excel、Access、XML等型別檔案的直接匯入,並可擴充套件匯入使用者自定義的資料型別的檔案,解決原來以檔案形式儲存的資料問題。(2)當業務系統建立後,資料採集和交換平臺提供了ETL(資料的抽取、轉換、裝載)工具,實現了資料資源中心與各個業務系統之間一種自動化的資料抽取、轉換和沉澱。資料採集和交換平臺提供資料交換介面定製功能(有操作介面,通過滑鼠拖拽,完成業務系統與資料中心的資料對映),無須開發(當使用技術功能時,必須具有快速、準確的業務梳理、分析能力,才能通過拖拽,完成資料介面配置)即可根據兩個業務系統要交換的資料內容進行介面的定製,以Web服務的方式提供給其他業務系統呼叫,實現其他業務系統的資料沉澱到資料資源庫。集團各部門都需要共享、利用集團核心資料資源庫的資料,因此,資料資源庫必須考慮資料如何共享,以及共享過程中產生的資料安全性的問題。資料採集和交換平臺提供的資料共享服務功能,可以將需要共享的資料以服務的方式對外發布,同時配以使用者管理和許可權管理,既實現了資料共享應用,又保證了資料的安全性。資料採集和交換平臺將針對不同型別的業務資料,採用不同的資料獲取方式———對於需要及時更新的業務資料,採用實時更新和實時服務的方式進行;對於及時性要求不高的業務與資料,採用定時增量的服務方式進行,更新時間一般選擇在深夜等業務量較少的時間段進行。資料採集和交換平臺將建立錯誤監控處理機制,對資料收集和交換的過程、執行狀態、資料流量等進行監控,及時發現數據收集和交換中的異常問題,並建立完備的錯誤日誌,在資料處理失敗時進行資料恢復。資料採集和交換平臺提供資料介面版本管理和資料介面許可權管理功能。資料介面版本管理———系統在進行介面變更時需要對介面版本進行升級,並對利用介面的應用系統功能進行同步更新。資料介面許可權管理———不同系統對基礎資料庫的應用需要使用不同的資料訪問賬號,並可以通過日誌管理檢視資料介面的歷史呼叫情況。
2.2有效資訊的收集和傳播
如果想在眾多紛繁複雜的資料中快速找到有效資訊,首先要做的就是收集大量資料,然後運用雲端計算對收集的相關資料進行分類和整合,最後從中篩選出有效資訊。而資料的傳播方式就如同電網的執行方式,兩者存在很多的相同點。
2.3相關資訊的儲存
資料管理維護平臺主要解決資料儲存之後,資料自身的管理、維護、安全等問題,保證資料自身高效、合理、有效地執行。主要包括資料管理、資料資源目錄、日誌管理等功能。(1)通過業務分析,建立資料標準體系(資料資源目錄),通過資料配置功能,可以有序、快速地建立各種業務資料庫、資料表(具有很強的擴充套件能力,適合將來業務發展需要)。(2)利用資料管理維護平臺提供的資料資源目錄,系統使用人員可以用資料臺賬等直觀的方式,方便地檢視有哪些資料資源,資料管理人員能實時掌握資料的動態情況。(3)資料管理維護平臺為專業的資料管理人員提供業務基礎資料的維護功能,實現資源目錄的管理與維護;為高階使用者提供自由定義開發新資料結構功能,實現資料關係的維護。(4)資料管理維護平臺將提供完備的日誌管理,可以監控具體有哪些使用者、在什麼時間、訪問了哪些資料、做了哪些操作(查詢、分析、修改等),保證系統執行過程中監控沒有盲點,便於後期進行各種執行情況的分析。如今,隨著大資料時代的到來,資訊化程度的不斷提高,人們利用大資料蒐集到的視訊、音訊以及文字等資料內容也越來越多,而計算機的儲存空間是一定的,所以有些資料就不能被儲存,此時就需要採用區別於傳統方法的雲端儲存方式,才能有效地解決計算機儲存空間不足的問題。
2.4相關資訊保安問題
在資訊科技快速發展的時代背景下,許多資料已經不是單一的部分,而是和很多資料都存在聯絡的,所以,一旦有一部分資料出現問題,其他部分的資料也會受到一定程度的影響,這也會對資訊庫的安全形成一定威脅。因此,在建立相關的資訊資料庫時,需要合理地管理整個資訊系統。由於我國現在的計算機水平不能滿足大資料的發展要求,因此,需要發展相關的資訊保安處理技術來提高大資料相關資訊的安全性。比如,可以通過加強大資料雲端計算功能的研發工作的方式,促進大資料功能和結構的優化,從而通過技術上的開拓創新來解決資料分析系統出現的問題,提高資料的安全性。此外,還可以通過定期對技術人員進行培訓,來提高他們的個人能力和綜合素質以及使用技術的熟練程度,從而為資訊保安體系的建設提供專業化的人才保障。最後,計算機資訊處理技術在大資料的背景下,既面臨著機遇,同時也面臨挑戰,在資訊科技不斷髮展的過程中,大資料的快速發展激勵著人們不斷地去開發新技術,同時當大資料的資料庫遭到病毒入侵時,也會使資料庫紊亂,無法進行正常工作,給人們帶來巨大的損失,因此,就需要研發更強大有效的系統保護軟體來保證大資料的安全。
3計算機資訊處理技術的未來
大資料有著以往傳統資料資訊蒐集系統所沒有的結構複雜、資訊種類多、資訊量大等特點,由於大資料中的各種資訊都是緊密聯絡在一起的,所以使得現在的資訊處理系統無法對這些資料進行處理。而資料的蒐集和儲存是需要儲存在計算機的硬體中的,因此,計算機的硬體的好壞非常重要,同時有些計算機的硬體不能滿足大資料的儲存。這時,就需要研發人員通過開發雲端儲存、雲空間等,釋放計算機硬體的執行壓力,把資料儲存在網路上,以供使用者下載。此外,研發人員還需要加大計算機硬體的研發工作的力度,增加計算機硬碟的儲存量,從而有效地解決大資料在運用過程中出現的資訊量過大及結構複雜等問題。隨著科學技術的不斷進步,出現了例如雲計算、雲端儲存等全新的計算機網路體系,這種模式改變了以往計算機的傳統傳輸觀念,同時有力地推動了大資料背景下的計算機資訊處理技術的快速發展。此外,很多研發人員也改變了傳統的研發方式,突破各種限制,使用現在普遍應用的網路工具將很多的小型公司聯合在一起,共同參與新技術的研發工作。
4結語
綜上所述,與現在的很多發達國家相比,我國的計算機資訊處理技術由於起步晚、資金不充足等原因,與發達國家存在一定的差距。同時,由於我國對計算機技術給予高度重視,近年來的計算機資訊處理技術也不斷提高。因此,針對計算機資訊處理技術在大資料時代背景下出現的一些問題,筆者在上文給出了相應的建議。同時,如今的發展趨勢也已經表明計算機資訊處理技術在日常生活中的重要性,相信在未來的探索中,我國在這方面也會越來越出色。