一、專案背景

 

“十三五”期間，隨著我國現代資訊科技的蓬勃發展，資訊化建設模式發生根本性轉變,一場以雲端計算、大資料、物聯網、移動應用等技術為核心的“新 IT”浪潮風起雲湧，資訊化應用進入一個“新常態”。***(某政府部門)為積極應對“網際網路+”和大資料時代的機遇和挑戰，適應全省經濟社會發展與改革要求，大資料平臺應運而生。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙： 957205962， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴
 

大資料平臺整合省社會經濟發展資源，打造集資料採集、資料處理、監測管理、預測預警、應急指揮、視覺化平臺於一體的大資料平臺，以資訊化提升資料化管理與服務能力，及時準確掌握社會經濟發展情況，做到“用資料說話、用資料管理、用資料決策、用資料創新”，牢牢把握社會經濟發展主動權和話語權。

 

二、建設目標

 

大資料平臺是順應目前資訊化技術水平發展、服務政府職能改革的架構平臺。它的主要目標是強化經濟執行監測分析，實現企業信用社會化監督，建立規範化共建共享投資專案管理體系，推進政務資料共享和業務協同，為決策提供及時、準確、可靠的資訊依據，提高政務工作的前瞻性和針對性，加大巨集觀調控力度，促進經濟持續健康發展。

 

1、制定統一資訊資源管理規範，拓寬資料獲取渠道，整合業務資訊系統資料、企業單位資料和網際網路抓取資料，構建匯聚式一體化資料庫，為平臺打下堅實穩固的資料基礎。

 

2、梳理各相關係統資料資源的關聯性，編制資料資源目錄，建立資訊資源交換管理標準體系，在業務可行性的基礎上，實現資料資訊共享，推進資訊公開，建立跨部門跨領域經濟形勢分析制度。

 

3、在大資料分析監測基礎上，為政府把握經濟發展趨勢、預見經濟發展潛在問題、輔助經濟決策提供基礎支撐。

 

三、建設原則

 

大資料平臺以資訊資源整合為重點，以大資料應用為核心，堅持“統籌規劃、分步實施，整合資源、協同共享，突出重點、注重實效，深化應用、創新驅動”的原則，全面提升資訊化建設水平，促進全省經濟持續健康發展。

 

1、統籌規劃、分步實施。結合我省經濟發展與改革領域實際需求，明確總體目標和階段性任務，科學規劃建設專案。先期完成大資料平臺的整體架構建設，後期分步完成業務系統的整合及相互間資料共享問題。

 

2、整合資源、協同共享。對資訊資源統一梳理，建立經濟發展與改革資訊標準資源庫和資料規範，逐步消滅“資訊孤島”，加快推進資料資源整合，建設共享共用的大資料中心，實現業務協同。

 

3、突出重點、注重實效。以使用者為中心，以需求為導向，以服務為目的，突出重點，注重實效，加強平臺可用性和易用性。

 

4、深化應用、創新驅動。深入瞭解使用者需求，密切跟蹤資訊科技發展趨勢，不斷深化應用、拓展新技術在應用中的廣度和深度，促進跨界融合，豐富管理和服務手段。

 

四、建設方案

 

為了保證專案的順利進行和建設目標的可行性，我們採取如下幾種建設方案。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙： 957205962， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴
 

1、資料採集方案。

 

我們統一資訊資源標準規範，建立多維度資料庫，拓寬資料來源，通過不同的方式匯聚資料，增強分析力度，提高監測預警的準確性和時效性。

 

1、預留介面，支援其它系統各種資料的上傳匯入處理。將現存有關經濟執行業務系統中的歷史資料和時效資料，通過上傳資料檔案至伺服器、分析提取有效資料匯入伺服器資料庫等方式採集起來，在本平臺上覆用。

 

2、支援外接資料的上傳匯入處理。可以將企業單位或定點監測機構的資料通過同樣的方式採集起來，在本平臺上覆用。

 

3、支援非結構化資料，即搜尋引擎資料、社交媒體資料、地理空間資料和音視訊資料等等。

 

2、資料分析方案。

 

大資料之大並不是難點所在，其真正難以對付的挑戰來自於資料型別多樣、要求及時響應和資料的不確定性，而我們所面臨的也正是如此。

 

我們採用批量資料處理系統，藉助於深度學習、知識計算和視覺化等大資料分析技術，通過對資料的批量處理挖掘其中的價值來支援決策和發現新的洞察。

 

3、業務整合方案。

 

在對社會發展相關業務子系統充分調研基礎上，結合專案需求，可對其進行整合或嵌入處理(本方案整合公共信用資訊服務平臺、投資專案資訊管理平臺等)。

 

1、整合處理。將原有資料通過上傳或匯入方式進行採集，原有功能模組整合到本平臺中，合二為一，完美的將資料匯聚起來。缺點是耗時較長。

 

2、嵌入處理。以單點登入的方式將原有系統連結嵌入到本平臺中，作為子系統單獨存在。缺點在於資料共享難以實現。

 

五、建設內容

 

1、巨集觀經濟監測預測及視覺化平臺

 

政府資訊化的最終目標是提高政府的決策水平，其中經濟決策是核心內容。為了提高巨集觀調控決策水平，我們必須從依靠傳統統計資料向依靠網際網路非統計資料轉變，從監測預測巨集觀經濟總量向監測預測巨集觀經濟先行指標轉變，從中長期監測預測向實時監測預測轉變。

 

巨集觀經濟監測預測及視覺化平臺圍繞網路搜尋、社交媒體、電子商務、終端定位和業務交易等五個方面全面整合網際網路相關資料資源，建設以“容量大、形式多、分類細、響應快”為目標的巨集觀經濟監測預測資料庫，構建基於網際網路資料的巨集觀經濟非統計指標監測預測應用平臺。

 

圍繞重點產業活躍度、區域經濟關聯度、巨集觀經濟走向社會預期、社會消費熱點、大宗商品供求及價格走勢、全國就業形勢、外貿訂單變化趨勢等方面，構建大資料巨集觀經濟先行指標和現時預測指標庫，研究能客觀、準確反映我省巨集觀經濟執行狀況的指標體系，編制“山東指數”。

 

在健全完善監測預警資料庫的基礎上，充分運用大資料技術和理念，加強資料探勘力度，強化定量分析，建立巨集觀經濟分析系列模型，切實提高預測分析的前瞻性、準確性和可靠性。

 

積極拓寬資訊釋出渠道，建立視覺化平臺，採用Unity3D引擎，三維介面高度模擬，所見即所得。平臺針對多源易構的海量資料，通過資料處理、儲存管理、視覺化互動分析等技術，實現圖形化資料查詢、視覺化關聯分析、證據鏈和情報線索發掘等功能。利用預測訊號燈系統，形象地刻畫出巨集觀經濟總體執行狀況，分析經濟波動原因，及時瞭解各地區經濟發展的不平衡性，準確判斷和測定經濟景氣迴圈執行狀態，提高巨集觀經濟決策水平。

 

2、企業信用監測預警服務平臺

 

企業信用危機不僅給社會帶來嚴重危害，也是關係到企業自身生死存亡的重大事件，它是中國企業乃至中國市場經濟發展的巨大障礙。因此，建立企業信用危機的預警機制和管理機制，對企業信用危機進行有效的預警及管理是十分重要的。

 

企業信用監測預警服務平臺，全面整合社會信用監管資訊和社會公眾反映資訊，通過整理歸類與加工，將這些信用危機資訊轉化為可以量化的指標體系，按照失信行為的嚴重程度和影響範圍劃分三個預警級別，分別向企業自身、金融機構、其他政府部門及全社會進行通報。

 

納入企業信用預警體系的企業資訊包括侵犯消費者權益且不履行相關義務的資訊、消費者投訴未及時處理資訊、行政處罰逾期未執行資訊、查無下落企業資訊等23種資訊。可以動態配置預警資訊專案和相應預警等級，增強監測預警的全面性和靈活性。

企業信用監測預警服務平臺以資訊科技為支撐，以信用監管為手段，全面提高信用監管資訊共享程度，及時預警影響社會交易安全和社會公共安全的不良信用資訊，遵循“對外警示社會和企業;對內明確重點，積極採取應對措施”的原則，強化企業信用監管防範機制，有力推進“信用保稅區”建設，加強企業信用監督管理的主動性、前瞻性，更好地服務經濟發展，減少交易風險，促進企業信用監管到位，實現企業信用的社會化監督。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙： 957205962， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴
 

3、投資專案資訊管理平臺

 

建設投資專案(特別是一些大型專案)具有管理上的複雜性特點，主要是建設週期長、參建方多。投資專案資訊管理平臺的建立和應用，可有效解決投資建設專案管理動態過程的資訊分析、資訊構建，達到各參建方資訊共享的目的。

 

投資專案資訊管理平臺，支援重大專案推介，建立規範的專案審批流程和專案資訊庫，管理專案啟動、計劃、執行、監控和收尾的整個生命週期，覆蓋進度、質量、成本、資源、風險等專案管理的各個要素，構建整合專案、流程、知識的資訊化平臺。

逐步實現與相關部門業務系統的接入，形成全覆蓋的投資專案管理統一工作平臺，真正做好資源共享，為專案的後期評價、領導決策提供支援服務。圍繞設計、招標、監理、質量、安全、進度、施工、資金、變更、合同管理“十大環節”，建立起對投資專案進行事前計劃、事中控制、事後評估、全程管理的有效管控模式，促進投資專案管理體系發揮全方位、全過程的計劃、組織、協調與控制作用。

 

投資專案資訊管理平臺，以現代專案管理方法論為基礎;以專案管理為主線，全面組織、全程貫穿各個業務環節;以專案計劃為依據，科學協調各個部門的工作;以成本、進度、質量為最終控制目標;以完整、及時、準確的專案資訊和科學的分析模型為專案管理、決策提供依據;遵循“以計劃為龍頭，以合同為中心，以投資控制為目的”的現代專案管理理念，構建高效、實用的專案協同管理綜合平臺。

 

4、政務資料共享交換平臺

 

政務資料共享交換平臺是各個平臺中的基礎性和綜合性平臺，是解決“資訊孤島”、實現資料互連互通的基礎設施，有利於提高各類資訊資源整合共享，以及資訊資源的綜合利用。

 

建設政務資料共享交換平臺的首要目標就是要創造一個資訊交換、資訊共享的方式和環境，按照統一標準和規範，建立資訊資源整合機制，規範資料採集口徑、採集方式，規範資料的服務方式，建立統一的資源資訊整合與交換機制。

 

我們按照統一、集約、高效的資料開發利用理念，通過研究建立多級交換管理體系，形成政務資訊資源物理分散、邏輯集中的資訊共享模式，通過以應用為抓手，進一步打通資料流，滿足政府部門多方位、多層次的資料需求，為跨地域、跨部門、跨平臺不同應用系統、不同資料庫之間的互連互通提供包含提取、轉換、傳輸和加密等操作的資料交換服務。通過分散式部署和集中式管理架構，有效解決各節點間資料的及時、高效上傳下達，在安全、快捷、方便的進行資訊交換的同時精準的保證資料的一致性和準確性。

 

政務資料共享交換平臺的全域性目標是建立“一個系統”，解決“兩個問題”，支援“三個應用”，面向“四個服務”。建立“一個系統”，即建立一個可擴充套件、可整合、有統一資料模型、可交換和安全可靠的分散式系統，對各類政務資源進行組織和管理。解決“兩個問題”，即解決政務資訊資源的發現與定位問題，解決政務資訊資源規劃與整理問題。支援“三個應用”，即支援資訊整合整合應用、各業務部門辦公應用和政府職能決策應用。面向“四個服務”，即面向政務協作、巨集觀決策、市場監管和社會管理服務。

 

六、技術支援與平臺效能

 

1、系統架構

 

結合該專案以大資料平臺為核心，多業務子系統並存的業務需求，以及存在不同種類作業系統、應用軟體、系統軟體的現狀，我們採用面向服務的體系結構，即SOA架構。

 

SOA是一個元件模型，它將應用程式的不同功能單元(稱為服務)通過這些服務之間定義良好的介面和契約聯絡起來。介面是採用中立的方式進行定義的，它獨立於實現服務的硬體平臺、作業系統和程式語言。這使得構建在這樣系統中的服務可以以一種統一和通用的方式進行互動。它的本質是實現服務和技術的完全分離，從而最大程度上實現服務的整合和重組。

 

SOA實施是以業務服務為導向的，業務服務獨立於技術之上，技術處於從屬地位，採用SOA架構的主要優勢有：

 

1、SOA與平臺無關，減少了業務應用及業務子系統整合的限制。

2、SOA具有低耦合的特點，各個業務子系統對整個業務系統的影響較低，在各個系統不斷變化情況下，節省的費用會越來越多。

3、SOA具有可按模組分階段進行實施的優勢。可以成功一步再做下一步，將實施造成的衝擊減少到最小。

 

SOA服務互動示意圖如下：

2、技術支援

 

1、技術領先的J2EE框架。

 

Java2平臺企業版(Java 2 Platform Enterprise Edition， J2EE)是一種利用Java2平臺來簡化且規範應用系統的開發與部署，進而提高可移植性、安全與再用價值。基核心是一組技術規範與指南，其中包含的各類元件、服務架構及技術層次，均有共同的標準及規格，讓各種依循J2EE架構的不同平臺之間，存在良好的相容性，解決過去企業後端使用的資訊產品彼此之間無法相容，企業內部或外部難以互通的窘境。

 

基主要的技術規範有JDBC、EJB、JSP、Java Servlet、XML等。JDBC為訪問不同資料庫提供了統一的路徑，使對資料庫的訪問具有平臺無關性。EJB提供了一個框架來開發和實施分散式商務邏輯，簡化了具有可伸縮性和高度複雜的企業級應用程式的開發。JSP頁面由HTML程式碼和嵌入其中的Java程式碼組成，簡化了頁面的輸出，保留了指令碼語言易於使用的優點。Servlet是一種小型Java程式，擴充套件了Web伺服器的功能。XML提供了一種描述結構資料的格式，簡化了網路中資料交換和表示，使得程式碼、資料和表示分離，作為資料交換的標準格式。

 

2、強大靈活的SSM整合框架。

 

SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC屬於SpringFarmeWork的後續產品，它提供了構建Web應用程式的全功能MVC模組，分離了控制器、模型物件、過濾器以及處理程式物件的角色，這種分離讓它們更容易進行定製。Spring是一個輕量級開源框架，它的主要特點是方便解耦、簡化開發、面向切面(AOP)的程式設計支援和宣告式事務支援，其主要優點有低侵入式設計、獨立於應用伺服器、允許將一些通用任務如日誌等進行集中處理。Mybatis是輕量級ORM框架，它消除了幾乎所有的JDBC程式碼和引數的手工設定以及結果集的檢索，使用簡單的XML或註解用於配置和原始對映，將介面和Java的POJOs對映成資料庫中的記錄。其框架架構圖如下：

 

 

相比於傳統SSH整合，SpringMVC相比Struts更輕量級，註解的使用減少開發消耗，資料庫操作層採用Mybatis，統一管理SQL甚是方便。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙： 957205962， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份2018最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴
 

3、平臺效能

 

1、先進性、開放性。

基於B/S結構的Java應用技術和SOA開放式的體系框架，結構化設計，靈活可拆分，具有靈活的可擴充介面，易於修改調整、二次開發和擴充，最大限度降低因上游技術升級帶來的系統實施風險，保證投資的有效性和延續性。

 

2、可擴充套件性。

由於採用了平臺化構建思想，整個系統可做到與底層多種硬體環境、作業系統、資料庫的自由適配，保證系統在軟體、硬體環境方面的靈活配置以及未來的拓展應用。

採用基於SOA思想的模組化設計，可根據需要進行靈活動態的模組擴充，並保證原系統環境不受影響。

 

系統提供開放的標準介面，可實現與外圍業務系統的無縫整合應用，靈活擴充套件系統的業務應用範圍。

 

3、穩定性、可靠性。

系統採用B/S結構應用模式，集中安裝部署，客戶端零安裝，所以系統的執行不受任何客戶端單點故障的影響。技術框架的支撐，可以實現資料庫的持久、穩定連線，確保事務處理的連續和完整，保證業務資料準確完全。

 

4、其他優勢。