1. 程式人生 > >大資料原理筆記——雲資料庫(二)

大資料原理筆記——雲資料庫(二)

Amazon AWS及雲資料庫

                                    

                                                          總體架構圖

一、AWS Globle Infrastructure(全球基礎設施)

1、劃分為10個region,相互獨立,自成雲服務體系;

2、Availabilety Zone,每個region分為多個Availabilety Zone,即資料中心,使用光纖連線;

3、Edge Locations,全球50多個,作用是內容分發,即CDN,以降低內容分發延遲

二、Networking

三種方式:直連、VPN、私有云(從整體資源中劃分獨立區域形成私有云)、Route 53(雲域名解析)

三、compute

EC2,虛擬機器,支援API建立和銷燬;

ELB,負載均衡器,可跨Availabilety Zone,自動檢查例項健康情況等,保證高可用性。

四、Storage

S3,簡單儲存服務,以物件形式儲存,不限容量,單個物件大小可達5T,可用性極高;使用API存取檔案(二進位制物件)

EBS,彈性塊儲存服務(相關於虛擬磁碟),針對EC2設計,可掛載到EC2例項上,可替代EC2的例項本地儲存;與使用者賬戶繫結,不會隨EC2消亡而消亡

Glacier:儲存存檔檔案和備份檔案

五、Database

simpleDB:鍵值資料庫,適合小型、碎片化零散資料。10個G的資料上限,效能穩定性存在問題,最終一致性的設計存在缺陷。

DynamoDB:No SQL資料庫,鍵值+多屬性的資料模型。支援分散式。提供一致性讀功能;不可批量更新,保證可伸縮性和高效能;使用SSD儲存提升效能。

RDS:關係型資料庫,支援mysql、oracle、sql server、pg,MariaDB,Aurora(Amazon自研資料庫)。3TB資料及3萬DB例項上限。

Redshift:資料倉庫服務

ElastiCache:資料庫快取

六、APP Service

cloud search:彈性搜尋引擎,企業級搜尋;

SQS:佇列服務,儲存和分發訊息;

simple workflow:工作流框架

CloudFront:全球範圍內的CND

EMR:彈性MR,用於大資料處理