本博文主要介紹 GreenPlum 特點，核心元件以及底層架構

簡介

世界上第一個開源，大規模並行資料平臺。
GreenPlum 資料庫是一個高階的，功能齊全的開源資料平臺。它提供了PB級資料量上強大而快速的分析能力。GreenPlum 資料庫是專為大資料分析業務設計。在大資料量上提供高效能的查詢分析效能。

特點

底層基於PostgreSQL,但是GreenPlum資料庫增加了大量並行分析的創新設計。
（1）大規模並行處理架構
GreenPlum 資料庫架構提供了橫向擴充套件，無共享體系結構的資料和查詢並行化設計。
（2）PB規模資料載入
高效能載入使用MPP技術。載入速度隨著增加節點而增加，每個機架每小時10TB以上
（3）創新的查詢優化器
GreenPlum 資料庫提供的查詢優化器是業界首個針對大資料工作負載而設計的基於成本的查詢優化器。可以將互動式和批處理模式應用到PB級別的大型資料集上，但是不會降低查詢效能和吞吐量
（4）多型資料儲存和執行
表或者分割槽儲存，執行和壓縮設定可以按照資料訪問方式進行配置。使用者為每個表或者分割槽選擇面向行或者列的儲存和處理。
（5）高階的機器學習
由Apache MADlib提供，這是一個可擴充套件的資料庫內分析庫，通過使用者定義的函式擴充套件了Greenplum 資料庫的SQL功能
（6）外部資料訪問
通過外部表語法訪問和查詢所有資料， 支援傳統的內部部署和下一代公共資料湖。

GreenPlum資料庫是一個大規模並行處理（MPP）資料庫伺服器。其架構設計專門應用於管理大型分析資料倉庫和商業BI工作。

核心概念

（1）MPP, Greenplum and Postgresql MPP（也稱為無共享體系架構）是指具有兩個或者更多處理器的系統，它們協作執行操作，每個處理器都有各自的處理器，作業系統和磁碟。GreenPlum使用這種高效能系統架構來分配多TB資料倉庫的負載，並且可以並行使用系統資源來處理查詢操作。
GreenPlum資料庫基於PostgreSQL開源技術。基本上是有幾個PostgreSQL資料庫例項組合在一起作為一個數據庫管理系統。它基於PostgreSQL8.2.15，在大多數情況下，在SQL支援程度，功能和配置選項以及終端使用者功能方面和PostgreSQL相似。資料庫使用者與普通PostgreSQL資料庫管理系統互動和與GreenPlum資料庫互動方式一致。
GreenPlum資料庫底層的PostgreSQL內部已被修改或者補充來支援GreenPlum資料庫的並行結構。例如，系統目錄，優化器，查詢執行器以及書屋管理器元件已被修改和增強，以便能夠跨所有並行PostgreSQL資料庫例項來同時執行查詢操作。GreenPlum互聯（網路層）支援不同PostgreSQL資料庫例項之間的通訊，因為互聯層的存在，系統可以作為一個邏輯資料庫對外提供服務。
GreenPlum資料庫還包括一些專為BI工作提供的優化設計，例如，GreenPlum添加了並行資料載入（外部表），資源管理，查詢優化和儲存增強，然而這些設計在標準的PostgreSQL資料庫中並不存在。
（2）GreenPlum Architecture

GreenPlum資料庫通過在多臺伺服器或者主機上分發資料和處理工作負載來儲存和處理大量資料。GreenPlum由一組基於PostgreSQL8.2資料庫例項協同工作對外提供單個數據庫映象。Master是GreenPlum資料庫系統的入口，客戶端連線Master資料庫例項來提交SQL語句。Master節點協調系統中其他的資料庫例項（稱為段）來儲存和處理資料。

（3）GreenPlum Master GreenPlum 資料庫主節點是整個資料庫系統的入口，接受客戶端的連線和SQL查詢，並將工作分配給別的資料庫例項（這裡指段資料庫）

客戶端通過Master訪問GreenPlum資料庫系統和連線PostgreSQL資料庫一樣。可以使用客戶端程式（psql）或者應用程式程式設計介面（API）連線到資料庫，比如如JDBC或者ODBC。
Master節點儲存整個資料庫系統的系統目錄。系統目錄包含有關Greenp資料庫系統本身的元資料的系統表。Master節點不包含任何使用者資料，資料只儲存在段節點上。Master節點負責對客戶端連線進行身份驗證，處理接受的SQL命令，在段節點之間均衡負載，協調每個段節點返回的結果資料，並將最終結果呈現給客戶端程式。
（4）GreenPlum Segments GreenPlum 資料庫段例項是獨立的PostgreSQL資料庫，每個資料庫儲存一部分資料並執行大部分查詢處理。

當用戶通過GreenPlum主伺服器連線到資料庫併發出查詢時，每個段資料庫會建立程序並處理基於自己本身資料集上的查詢工作。

使用者定義的表格及其索引分佈在GreenPlum資料庫系統的可用段中。每個段都包含資料的一個特定部分。段資料服務程序在相應的段節點例項中執行，使用者通過Master與GreenPlum資料庫系統進行互動。

段資料庫服務執行在段主機上。一個段主機通常執行2-8個GreenPlum段，具體取決於CPU核心，RAM，儲存和網路介面以及工作負載。段主機最好是相同的配置。將資料和工作負載均勻的分發到大量同等能力的段上，使得它們可以同時開始工作並同時完成工作，可以使得GreenPlum資料庫系統的效能達到最佳狀態。
（5）GreenPlum Interconnect GreenPlum Interconnect是GreenPlum資料庫體系結構的網路層。
互聯是指段和網路基礎設施之間通訊依賴的程序間通訊，GreenPlum互聯使用標準的萬兆乙太網交換結構。

預設情況下，互聯使用UDP協議通過網路傳送訊息。GreenPlum提供的資料庫校驗超過了UDP預設提供的，這就意味著可靠性等同於TCP，效能和擴充套件性超過了TCP。如果互聯使用TCP，GreenPlum資料庫系統只能最大支援1000個分段例項。使用UDP作為互聯目前預設的協議，這樣段例項的數量不受限制。
（6）Pivotal查詢優化器 和其他查詢優化器不同的是，Pivotal查詢優化器為GreenPlum提供了比較高階的查詢優化框架。具體表現在以下幾個方面：
 模組化
Pivotal查詢優化器使用並不侷限於單個關係型資料庫中。目前在GreenPlum資料庫和Pivotal的HAWQ中都有使用，Pivotal的查詢優化器可以作為獨立的元件執行，在對應新的後端系統以及將優化器作為服務部署而言極具靈活性。這也使得我們可以繞過資料庫棧其他元件對優化器進行精確測試。
 可擴充套件性
Pivotal的查詢優化器被設計為獨立元件的集合，可以分別替換，配置和擴充套件。這顯著降低了新增新功能的開發成本，而且可以快速採用新興技術。在查詢優化器內部，查詢元素的表示和查詢優化的方式是分開的，這使得優化程式可以平等的對待所有元素，這樣可以避免在多優化任務中因為優化步驟的強制順序帶來的問題。

 效能
Pivotal查詢優化器利用多喝跳讀程式，可以將優化任務分配給多個核執行來加速優化過程。
這允許查詢優化器同時應用所有可能的優化，從而產生更多可以選擇的計劃以及更廣的優化查詢的範圍。比如，當Pivotal查詢優化器和TPC-H Query21一起使用的時候，它可以在250ms內產生12億個可能的計劃。這在大資料分析中尤為重要，極大提升了大資料處理的效能，不理想的優化選擇可能會導致一個查詢永遠被執行下去。