1. 程式人生 > >建設大資料平臺,從“治理”資料談起

建設大資料平臺,從“治理”資料談起

隨處可見的資料問題

大資料不是憑空而來,1981年第一個資料倉庫誕生,到現在已經有了近40年的歷史,而國內企業資料平臺的建設大概從90年代末就開始了,從第一代架構出現到現在已經經歷了近20年的時間。

在這20年的時間裡,國內資料平臺實施者可以說是受盡折磨,資料專案一直不受待見,是出了名的髒活累活。

可以說,忽視資料治理給資料平臺建設帶來了不少問題。隨處可見的資料不統一,難以提升的資料質量,難以完成的資料模型梳理等源源不斷的基礎性資料問題,限制了資料平臺發展,導致資料應用不能在商業上快速展示效果。

大資料時代下需要新一代的資料治理能力

資料不可知

使用者不知道大資料平臺中有哪些資料,也不知道這些資料和業務的關係是什麼,雖然意識到了大資料的重要性,但平臺中有沒有能解決自己所面臨業務問題的關鍵資料?該到哪裡尋找這些資料?

資料不可控

資料不可控是從傳統資料平臺開始就一直存在的問題,在大資料時代表現得更為明顯。沒有統一的資料標準導致資料難以整合和統一,沒有質量控制導致海量資料因質量過低而難以被利用,沒有能有效管理整個大資料平臺的管理流程。

資料不可取

使用者即使知道自己業務所需要的是哪些資料,也不能便捷自助地拿到資料,相反,獲取資料需要很長的開發過程,導致業務分析的需求難以被快速滿足,而在大資料時代,業務追求的是針對某個業務問題的快速分析,這樣漫長的需求響應時間是難以滿足業務需求的。

資料不可聯

大資料時代,企業擁有著海量資料,但企業資料知識之間的關聯還比較弱,沒有把資料和知識體系關聯起來,企業員工難以做到資料與知識之間的快速轉換,不能對資料進行自助的的探索和挖掘,資料的深層價值難以體現。

通過分析以上四類問題,我們發現傳統資料平臺面臨的問題,在大資料時代不僅沒有消失,還不斷湧現出新的問題,傳統的資料治理需要提升能力,來解決大資料平臺建設過程中的這些問題

巨龍龍騰大資料平臺介紹

巨龍自主研發的龍騰大資料平臺,融合公安行業特色的資料管理工具建設成果,以元資料為基礎,實現了貫穿資料設計、產生、儲存、遷移、使用、歸檔等環節的資料全生命週期管理,以及資料從源端到資料中心,再到應用端的全過程的管理,做到了以使用者為中心,通過大資料治理,為使用者提供更便捷、更靈活、更準確地獲得企業大資料資產的能力。

平臺的特點

1.全面適配主流大資料基礎平臺技術體系的行業一站式資料中心整合、管理及服務。

2.快速構建以共享資料資源平臺為中心的資料工程服務能力。

3.以“造城”方式打造公安及行業大資料綜合平臺的新型業務生態。

平臺的產品

大資料整合系統

構建統一的資料整合&交換能力,打破各技術 平臺間壁壘,提供多樣化的抽取&整合外掛、實時監控元件,作業流程模型、第三方ETL定製外掛,依據公安資料元規範,實現海量異構資料的標準化抽取、整合、清洗、入庫等整合業務

大資料管家

全面管理大資料資源池的各類異構資產,並依據《公安資料資源目錄技術規範2.0》開展資料標準化管理、資源統計、質量評估、公安資料編目及資料監控等工作。

大資料服務匯流排

引入全新服務容器,增強公安雲服務中心能力,構建扁平化的公安雲架構,提供安全可靠的資源共享互動通道,全面支撐跨平臺、跨網路、跨地域的專項資源服務、大資料服務及第三方應用服務

龍騰大資料平臺通過資料整合、資料管理、資料服務,形成了一整套以使用者為中心的大資料治理能力,從而使資料治理完成了從以管控為中心到以業務為中心的轉變。

相關推薦

建設資料平臺治理資料

一隨處可見的資料問題大資料不是憑空而來,1981年第一個資料倉庫誕生,到現在已經有了近40年的歷史,而國內企業資料平臺的建設大概從90年代末就開始了,從第一代架構出現到現在已經經歷了近20年的時間。在這20年的時間裡,國內資料平臺實施者可以說是受盡折磨,資料專案一直不受待見,

雙11奇蹟背後的資料平臺不喧譁自有聲!

00:02:05 成交額超100億00:57:56 成交額超666億01:47:26 成交額超1000億15:49:39 成交額超1682億22:28:37 成交額超2000億 2018年雙11新紀錄2135億 高速跳轉的數字,不斷重新整理的狀態,光纜中狂奔的程式碼,鍵盤上飛舞的手指…

學習資料技術優秀的書籍開始

AI時代全面來臨,大資料、人工智慧引領科技創新潮流,獲得國家政策大力支援,前景廣闊。乘風破浪、逐夢前行,成功就在腳下。學習大資料技術,除了必要的大資料學習路線圖的指引之外,想要進一步提升至自己的技術,就要從優秀的書籍開始讀起,書讀百遍其義自見! 對於大資料技術的學習,小編為你甄選了以下學習大資料的優秀

Java實現簡單的資料遷移單庫單表到單庫單表(2)

這個文章是對我上一篇文章Java實現簡單的資料遷移,從單庫單表到單庫單表的簡單擴充套件因為我上一篇文章那種方法只能把資料進行簡單的遷移,但是這裡我需要對資料庫的內容進行重新的編排,所以很顯然,我上一篇文章的寫法是沒法完成我的需求的。 重申一下需求: 從一張資料表

探碼DYSON資料系統助力企業資料資產化解析!

近日美國公佈了一份《2016-2045年新興科技趨勢報告》,該報告是在過去五年內由政府機構、諮詢機構、智囊團、科研機構等發表的32份科技趨勢相關研究調查報告的基礎上提煉形成的。詞報告是通過對近700項科技趨勢的綜合比對分析,最終明確了20項最值得關注的科技發展趨勢。 該報告

資料搬遷GCP Storage 遷移到阿里雲儲存(OSS) « 關於網路那些事...

通常在建構系統中,擴充新服務,在遷移過程,有時會需要將雲端資料進行搬移 最近剛好一個系統需要將GCP上面的Storage資料遷移到阿里雲OSS 在這裡做一個紀錄

用 Hadoop 進行分散式資料處理 入門、進階到應用開發

[email protected]:~# hadoop-0.20 fs -ls output Found 2 items drwxr-xr-x - root supergroup 0 2010-05-12 19:04 /user/root/output/_logs -rw-r

資料時代揭露個人資料洩漏和祕密跟蹤內幕

網聯網、社交網路技術的發展給人們的生活帶了很多方便,例如網上聊天、網上購物、視訊和社交等成了我們生活的新常態,據最新統計資料顯示,我國網民總數已達7.1億。但是,網際網路在給我們生活帶來便利的同時,也存在個人隱私和資訊保安的風險,這就要求我們在享受便利生活的同時,提高網路安全和個人網路資訊的保護意識。今天我們

java實現k-means演算法(用的鳶尾花iris的資料mysq資料庫中讀取資料

k-means演算法又稱k-均值演算法,是機器學習聚類演算法中的一種,是一種基於形心的劃分方法,其中每個簇的中心都用簇中所有物件的均值來表示。其思想如下: 輸入: k:簇的數目;D:包含n個物件的資料集。輸出:k個簇的集合。 方法: 從D中隨機選擇幾個物件作為起始質心

TCP/IP學習筆記(11) --TCP互動資料成塊資料

目前建立在TCP協議上的網路協議特別多,有telnet,ssh,有ftp,有http等等。這些協議又可以根據資料吞吐量來大致分成兩大類: (1)互動資料型別,例如telnet,ssh,這種型別的協議在大多數情況下只是做小流量的資料交換,比如說按一下鍵盤,回顯一些文字等等。 (2)資料成塊型別

IONIC處理資料產生的資料覆蓋問題(深拷貝)

        Ionic 在更改資料時,會連原本的資料也更改,所以可採用  深拷貝 的方法 ,避免這種問題      //深拷貝標識   bolCopy: boolean = true;

建立和測試觸發器:向SC表插入資料檢查插入資料的課程號是否存在於Course表中(建立之前刪除Cno的外來鍵約束比較外來鍵約束和觸發器之間的不同)

alter table SC Drop constraint FK_SC--刪除外來鍵約束 CREATE TRIGGER trig_insert ON SC--在SC表中建立trig_insert觸發器 AFTER INSERT--insert為觸發事件,after則為觸發的時機

hive不同格式資料大小無重複資料

-- 重點,目標表無重複資料 -- dbName.num_result 無重複記錄 -- 插入資料 CREATE TABLE dbName.test_textfile( `key` string, `value` string, `p_key` string, `p_ke

資料新人如何做出資料驅動增長方案

本文轉自知乎 作者:空白白白白 ————————————————————————————————————————————————————— 這位小夥伴發訊息給我,描述了他對於從事工作的迷茫。具體而言,這名小夥伴的領導要他做一份公司業務的“增長策略”,這名小夥伴於是立刻開始用pyth

TCP/IP學習筆記(11)-tcp互動資料成塊資料

        目前建立在TCP協議上的網路協議特別多,有telnet,ssh,有ftp,有http等等。這些協議又可以根據資料吞吐量來大致分成兩大類:      

你必須知道的React的知識點:單向資料高效能虛擬DOM元件間的資料互動事件與資料的雙向繫結生命週期鉤子fetch:資料請求等

1、React除錯工具:React Developer Tools 2、React開發工具:Atom 3、React UI庫:Material-UI / Ant Deaign 4、React適用場景:資料不斷變化的大型應用程式 5、前端UI構建方式:資料模型、UI介面

企業為什麼使用資料分析如何學習資料分析?

現在很多企業都開始重視資料分析了,這是因為資料分析能夠給企業帶來很大的幫助。也正因為如此,很多人也開始疑惑資料分析師是怎麼學習的,對於這個問題大家都是比較關心的,下面就給大傢俱體解答一下這個問題。 首先給大家數一下企業為什麼使用資料分析。現在很多的企業都是傳統的貿易和生產型的企業。

java 基本資料型別以及引用資料型別傳參問題

基本資料型別 基本資料型別作為引數傳遞的時候,只是將value賦值給形式引數,變數本身的值不會改變 儲存在棧區 引用型資料型別 引用型資料型別作為引數傳遞的時候,是將地址傳給形式引數,而地址指向的是堆區儲存的值,所以如果形式引數改變,本身的值也會改變

阿里重磅開源!4000臺伺服器真實資料揭祕世界級資料中心

阿里妹導讀:開啟一篇篇 IT 技術文章,你總能夠看到“大規模”、“海量請求”這些字眼。這些功能強大的網際網路應用,都執行在大規模資料中心上。資料中心每個機器的執行情況如何?執行著什麼樣的應用?應用有什麼特點?除了少數資深從業者之外,普通學生和企業的研究者很難了解其中細節。 今天,阿里巴巴再度開放一份計算機叢

《ServerSuperIO Designer IDE使用教程》-2.與硬體閘道器資料互動並進行資料級聯轉發直到雲端。釋出:v4.2.1版本

v4.2.1 更新內容:1.重新定義資料轉發文字協議,使閘道器與ServerSuperIO以及之間能夠相關互動資料。2.擴充套件ServerSuperIO動態資料類的方法,更靈活。3.修復Designer增加轉發任務的一個BUG。4.修改資料轉發客戶端和服務端。5.增加硬體閘道器驅動。 v4.2.1 下