1. 程式人生 > >資料庫系統概論07-大資料管理

資料庫系統概論07-大資料管理

大資料定義

超大規模資料庫:(Very large database)管理的資料集有數百萬條記錄

大資料:無法在可容忍的時間內用現有的IT技術和軟硬體工具對其進行感知、獲取、管理、處理和服務的資料集合。

PB(1000TB)或EB(10^6TB)或更高的數量級資料,包括結構化、半結構化、非結構化的資料

特點

巨量(Volume)、多樣(Variety)、快變(Velocity)、價值(Value)

大資料管理系統

NoSQL資料管理系統

非關係資料庫(Non-Relational),為了提高儲存能力忽然併發讀寫能力採用簡單的資料模型,複雜操作留給應用層

實現

支援的資料型別

包括key-value模型、BigTable模型、文字(document)模型、圖模型

key-value模型:按照key值來儲存和獲取Value值,Value值可以是無結構的二進位制嗎或純字串。需要應用層來解析相應的結構。

BigTable模型:Columns Oriented,支援結構化資料,包括列、列簇、時間戳、版本控制等元資料的儲存。按列儲存。

文字(document)模型:支援複雜的結構定義,轉換為JSON或類似格式的結構化文件。

圖模型:記為G(V,E),V為節點的集合,E為邊的集合。支援圖結構的各種演算法。

 

 

  操作方式 一致性、併發控制 擴充套件性 資料量 成本 代表系統
關係資料庫SQL 易用SQL ACID強一致性 <1000結點 TB Oracle、DB2
NoSQL系統 Get/Put等存放原語

弱一致性

最終一致性

>10000結點 PB BigTable、PNUTS、Clouders、Redis
NewSQL系統 SQL ACID >10000結點 PB VoltDB、Spanner。。。。nbm.l.l