資料庫系統概論07-大資料管理
阿新 • • 發佈:2018-12-04
大資料定義
超大規模資料庫:(Very large database)管理的資料集有數百萬條記錄
大資料:無法在可容忍的時間內用現有的IT技術和軟硬體工具對其進行感知、獲取、管理、處理和服務的資料集合。
PB(1000TB)或EB(10^6TB)或更高的數量級資料,包括結構化、半結構化、非結構化的資料
特點
巨量(Volume)、多樣(Variety)、快變(Velocity)、價值(Value)
大資料管理系統
NoSQL資料管理系統
非關係資料庫(Non-Relational),為了提高儲存能力忽然併發讀寫能力採用簡單的資料模型,複雜操作留給應用層
支援的資料型別
包括key-value模型、BigTable模型、文字(document)模型、圖模型
key-value模型:按照key值來儲存和獲取Value值,Value值可以是無結構的二進位制嗎或純字串。需要應用層來解析相應的結構。
BigTable模型:Columns Oriented,支援結構化資料,包括列、列簇、時間戳、版本控制等元資料的儲存。按列儲存。
文字(document)模型:支援複雜的結構定義,轉換為JSON或類似格式的結構化文件。
圖模型:記為G(V,E),V為節點的集合,E為邊的集合。支援圖結構的各種演算法。
操作方式 | 一致性、併發控制 | 擴充套件性 | 資料量 | 成本 | 代表系統 | |
關係資料庫SQL | 易用SQL | ACID強一致性 | <1000結點 | TB | 高 | Oracle、DB2 |
NoSQL系統 | Get/Put等存放原語 | 弱一致性 最終一致性 |
>10000結點 | PB | 低 | BigTable、PNUTS、Clouders、Redis |
NewSQL系統 | SQL | ACID | >10000結點 | PB | 低 | VoltDB、Spanner。。。。nbm.l.l |