大資料相關技術有哪些?
阿新 • • 發佈:2019-02-11
分析技術
資料處理:自然語言處理技術
統計和分析:關聯規則分析、分類、聚類
模型預測:預測模型、機器學習、建模模擬
大資料技術
資料採集:ETl工具
資料存取:關係資料;NoSQl; SQL等
基礎架構支援:雲端儲存;分散式檔案系統等
計算結果展現;支計算;關係圖等
儲存
結構化資料
海量的資料查詢、統計、更新等操作效率低
非結構化資料
圖片、視訊、Word、Pdf、PPT等檔案儲存
不利於檢索、查詢和儲存
半結構化資料
轉換為結構化儲存
按照非結構化儲存
儲存問題解決方案
在CAP理論指導下資料庫技術適當“退化”
NoSQL技術:HDFS、HBASE、OceanBase、MongoDB等
計算
因結構變化為導致計算模式變更
需求模式變化帶來的計算碰到瓶頸
解決方案
Hadoop(MapReduce技術)
流計算(Twitter的Storm和Yahoo!的S4)
資料來源
網際網路企業:SNS、微博、視訊網站、電子商務網站
物聯網、移動裝置、終端中的商品、個人位置、感測器採集的資料
聯通、移動、電信等通訊和網際網路運營商
天文望遠鏡拍攝的影象、視訊資料、氣象學裡面衛星雲圖資料等
感謝你的觀看,如果感覺寫的不錯,你可以關注一下我的微信公眾號,也可以加入我們的大數家庭群。
微信公眾號:程式設計師OfHome
程式設計師OfHomeQQ群:610535338