大資料融合發展看貴州 ▏資料工廠：“建管”一體化 為資料靈活賦能
大資料時代，“大資料”既是一項技術也是一種資源。作為資源，研究機構Gartner給出的定義是：“大資料”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的資訊資產。而作為技術，大資料是採集、處理、儲存龐大資料並進行分析、應用的資訊科技手段。隨著新一代資訊科技的迅速發展與普及，全球資料以“井噴式”的速度生產，據IDC釋出的《資料時代2025》顯示，全球每年產生的資料將從2018年的33ZB（1ZB=10萬億億位元組）增長到175ZB，相當於每天產生491EB的資料。
相關資料顯示，我國擁有全球最多的移動網際網路使用者，無時無刻不在產生資料，積累沉澱了豐富的資料資源。但是，目前市場上大量的資料生產出來後停滯在資料庫，即使有使用，大多僅停留在淺度的應用中，於是出現了資訊源採集單一、資料不精準、難以排程等問題。
作為新時代的戰略性資源，資料若只能停留在資料庫中沒有得到更好的利用，那將是一大損失。那麼，該如何把這些資料合理利用起來呢？在貴州有這樣一個產品，或許是該痛點的一劑良藥，它就是由年華資料科技有限公司（以下簡稱“年華資料”）耗時多年研發出的資料工廠（SDAP）。
“建管”一體化 全面服務資料處理
基於資料價值無法得到充分發揮的痛點，SDAP將資料生產和資料管理合二為一，旨在實現企業大資料生產領域的“建管”一體化的服務產品。年華資料總經理姚滔告訴記者，SDAP中的建管一體化可以從兩個方面來理解，其中，“建”主要指大資料平臺數據生產線的建設；“管”主要是指資料治理運營。
據年華資料副總經理王剛介紹，SDAP在研發之初主要考慮到兩個方面的問題：一是資料生產，二是資料治理。在資料生產層面，主要是指SDAP與大資料平臺的資料資源和儲存介質進行融合的問題。目前該產品可支援實時/非實時資料資源接入，支援Hadoop、Vertica MPP、DB2、GBase等多種數倉跨平臺生產，同時還可以利用產品的開放能力進行二次開發，最終確保資料生產高效和透明，為各行業企業級客戶提供穩定和高效的資料生產能力。而資料治理方面，從元模型設計、元資料開發、生產排程、工程運維進行全流程治理，將治理辦法和管控手段100%落地在平臺，通過技術手段進行資料治理，確保治理的效果可量化、可評估、可追溯。
王剛介紹到，通過資料生產和資料治理兩層面的深度融合，目前，SDAP已實現資料生產與資料治理一體化管理，進而實現模型視覺化設計、配置化開發、視覺化排程、視覺化運維，進而為企業實現管理的降本增效願景。
資料的“加工廠”，讓資料實現“從有到用”
如果將資料比作原材料，那麼SDAP就是“加工廠”，SDAP通過建設資料生產線，讓資料個性化生產、資料工業化生產，將成品資料提供給運營分析決策，讓資料“說話”，讓資料創造價值。
往往很多未轉型的傳統企業沒有意識到資料加工的重要性，常以“手工”或“作坊式”的手段進行採集和處理資料，資料生產效率和資料質量過渡依賴於人工，無法滿足企業級使用者對資料生產的及時性、正確性的需求。此外，目前市場上很多資料存在被“裸放”的情況，很多公司或單位，即使收集到了大量的資料，但不知道如何高效利用，把資料資產放滯在資料庫，使其成為無效資產而造成資源浪費。但是，如果將這些資料收集起來，結合企業的業務場景，通過SDAP對資料進行“加工處理”，對底層儲存資源、計算資源的統一排程和管理，就能讓資料實現“從有到用”的轉變。
姚滔介紹道：“資料工業化生產，資料可管、可控、視覺化生產是SDAP最大的特色。”傳統的“作坊式”資料生產在現階段可以滿足大部分企業級客戶的需求，但隨著資料量的增加、模型量的增加、人員的更替，資料生產、資料管理、資料運營層面會有越來越多的問題困擾的企業管理人員、資料管理人員。對於企業而言，資料作為一種資產是存在生命週期的，企業需要對資料的規劃、資料生產、資料優化、資料退役進行全流程的管理，而在這個生命週期內，如何積極響應市場變化和業務需求、如何優化資料生成的質量和效率、怎樣及時清退落後的產能是企業級資料生產必須要考慮的內容，而SDAP正是解決企業級資料生產和管理的工具。
SDAP可打破資料加工過程的技術壁壘，實現大資料生產多源採集、跨平臺生產排程、加工過程視覺化，可有效節省時間、物力、財力，讓資料生產及時化、個性化、高效化。SDAP能靈活應用於各行各業，為其賦能，得益於其底層“資料物件”和“模型驅動”機制，滿足不同行業客戶使用SDAP做資料處理的需求，只要涉及到資料“輸入、處理、輸出”，SDAP就可以為使用者“加工”出滿意的成品。
大資料沃土中茁壯成長
談及貴州大資料，年華資料董事長趙定喜說到：“年華資料是貴州的本土企業，公司作為享受到貴州大資料發展紅利的一員，感到十分的榮幸。公司在2011年開始逐步轉型向發展大資料靠齊，與貴州的大資料發展戰略相得益彰，是一個明智的決定。”大資料時代的到來，給了貴陽一個千載難逢的“彎道取直、後發趕超”機遇，近年來，貴陽堅持高一格快一步深一層推動大資料戰略行動，培育了大批優秀的大資料企業，年華資料作為其中一員，在貴州大資料這片沃土中快速成長。
同時，對於貴州如何發展好大資料，趙定喜也提出了自己的看法：首先，人才是關鍵，他認為貴州有了好的大資料發展環境，對於大多數的企業來說人才問題亟待解決；其次，也是最重要的就是加強打造大資料產業生態圈，他認為貴州大資料的發展離不開融合開放的產業生態圈，提高產業鏈聚集度，共同探索多元化合作運營模式，促進整個產業生態圈繁榮，使其中每個個體都能在這片大資料土壤中受益。（朱靜 李蘭鬆）
責任編輯：李蘭鬆