1. 程式人生 > >阿裏雲大數據架構專業術語

阿裏雲大數據架構專業術語

解析 核心概念 恢復 action 目標 and 少見 並且 dset

來自大神:http://pengoneeast.blog.163.com/blog/static/55045403201526111648857/

負載均衡(Server Load Balancer,簡稱SLB)是對多臺雲服務器進行流量分發的負載均衡服務。SLB可以通過流量分發擴展應用系統對外的服務能力,通過消除單點故障提升應用系統的可用性。

  • SLB服務主要由3個基本概念組成。
    1. LoadBalancer代表一個SLB實例
    2. Listener代表用戶定制的負載均衡策略和轉發規則
    3. BackendServer是後端的一組ECS。
    4. 來自外部的訪問請求,通過SLB實例並根據相關的策略和轉發規則分發到後端ECS進行處理。

slb核心概念如圖示

技術分享

術語全稱中文說明
SLB Server Load Balancer 負載均衡服務,簡稱SLB服務。 阿裏雲計算提供的一種網絡負載均衡服務,可以結合阿裏雲提供的ECS服務為用戶提供基於ECS實例的TCP與HTTP負載均衡服務。
LoadBalancer Load Balancer 負載均衡服務實例,簡稱SLB實例。 SLB實例可以理解為SLB服務的一個運行實例,用戶要使用SLB服務,就必須先創建一個SLB實例,LoadBalancerId是識別用戶SLB實例的唯一標識。
Listener Listener 負載均衡服務監聽。 負載均衡服務監聽,包括監聽端口、負載均衡策略和健康檢查配置等,每個監聽對應後端的一個應用服務,一個SLB實例最多支持10個監聽配置。
BackendServer Backend Server 後端服務器。 接受SLB分發請求的一組ECS,SLB服務將外部的訪問請求按照用戶設定的規則轉發到這一組後端ECS上進行處理。
Address Address 服務地址 系統分配的服務地址,當前為IP地址。用戶可以選擇該服務地址是否對外公開,來分別創建公網和私網類型的SLB服務。

雲服務器是什麽

雲服務器實例(簡稱ECS實例)是一個虛擬的計算環境,包含CPU、內存等最基礎的計算組件,是雲服務器呈獻給每個用戶的實際操作實體。

ECS實例是雲服務器最為核心的概念,下面描述的磁盤、IP等只有與ECS實例結合後才有使用意義的。

在使用雲服務器時,您會接觸到一些名詞,有的您已經很熟悉了,有的相對來說會少見一些。這些名詞所代表的產品概念組合起來,構成完整的雲服務器產品。下面是這些名詞及其代表的含義:

  • 地域(Region)指的是ECS實例所在的物理位置。您可以根據您的客戶群體分布的不同選擇不同地域的雲服務器服務。針對中國境內,目前可供選擇的地域有杭州、青島、北京、深圳;針對海外,目前可供選擇的地域有香港。地域內的ECS實例內網是可以互通的,不同地域之間的ECS實例內網不互通。

  • 可用區(Zone)是指在同一地域內,電力和網絡互相獨立的物理區域。同一可用區內的ECS實例網絡延時更小。在同一地域內可用區與可用區之間內網互通,可用區之間能做到故障隔離。如果您的應用需要較高的容災能力,建議您將ECS實例部署在同一地域的不同可用區內;如果您的應用在實例之間需要較低的網絡時延,則建議您將ECS實例創建在相同的可用區內。

  • ECS實例的規格定義了實例的CPU、內存的配置。

  • 鏡像(Image)是ECS實例運行環境的模板,一般包括操作系統和預裝的軟件。您可以選擇阿裏雲官方提供的鏡像(支持Linux和Windows的多個發行版本),也可以根據擁有的ECS實例創建自己的自定義鏡像,或者去鏡像市場選擇第三方服務商提供的鏡像。

  • 磁盤(Disk)有雲磁盤、獨立雲磁盤、本地磁盤、本地SSD盤等類型。存儲在雲磁盤上的數據安全性更高,獨立雲磁盤除了具有雲磁盤的優點外,還可以在同一可用區內的ECS實例間自由掛載和卸載;相對雲磁盤,本地磁盤則吞吐性能更好;本地SSD盤基於SSD存儲,相比現有的雲磁盤和本地磁盤有10倍~20倍的IO性能提升,能夠滿足IO密集型應用的高性能存儲需求。本地磁盤和本地SSD盤的數據安全性比雲磁盤低。

  • 快照(Snapshot)是磁盤上的數據在某一個時間點的拷貝,存儲在開放存儲服務(OSS)上。快照采用增量備份機制,只有磁盤上發生變化的數據塊才會被拷貝到快照中。

  • IP:包含內網IP地址和公網IP地址。每個ECS實例默認包含一個內網IP地址,公網IP地址只有在購買了公網帶寬之後才會分配。

  • 安全組(SecurityGroup)指定了一個或多個防火墻規則,規則包含容許訪問的網絡協議、端口、源IP等。防火墻規則對加入安全組的所有ECS實例生效,但加入同一個安全組的ECS實例相互之間的訪問是不受規則限制的。

  • VPC

  • EIP, Private IP

雲數據庫RDS

雲數據庫(Relational Database Service,即關系型數據庫服務,簡稱RDS)是阿裏雲提供的一種穩定可靠、可彈性伸縮的在線數據庫服務。RDS采用即開即用方式,兼容MySQL、SQL Server兩種關系型數據庫,並提供數據庫在線擴容、備份回滾、性能監控及分析等功能。

  • RDS的目標是將耗時費力的數據庫管理任務承擔下來,使用戶能夠專心於應用開發和業務發展。用戶可根據業務需求對RDS進行彈性伸縮,RDS承諾99.95%的服務可用性和99.9999%的數據可靠性。
  • RDS目前提供MySQL和SQL Server兩種關系型數據庫,訪問協議完全兼容。用戶現有的數據庫代碼、應用等可直接應用在RDS上,減小重新開發成本。
  • RDS采用主從備份架構,擁有3份以上數據存儲,具備高可用性和數據可靠性。
  • RDS架構圖

技術分享

  • 防DDoS攻擊:當RDS為公網訪問時,阿裏雲安全體系會自動判斷RDS是否正在遭受DDoS攻擊,並啟動流量清洗的功能,若攻擊達到黑洞閾值或清洗失效,將會進行黑洞處理。
  • SQL註入告警:RDS會通過解析SQL語句,判斷是否遭受SQL註入攻擊,並提示修改應用程序。
  • IP訪問白名單:白名單可以使RDS實例得到最高級的訪問安全保護;建議設置訪問源IP地址或者IP段,最多設置100個。
  • 將數據遷移至RDS:RDS for MySQL提供在線遷移數據的方式,可以不停止原有數據庫運行的情況下完成數據遷移操作;RDS for SQL Server提供上傳備份文件遷移至RDS的遷移方式,可便捷的完成數據的導入操作。
  • 實例在線升級:RDS提供的在線升級服務,包括實例配置的升級和數據庫版本的升級,升級過程無需用戶介入。
  • 系統性能監控:RDS提供近20個系統性能的監控視圖,如磁盤容量、IOPS、連接數、CPU利用率、網絡流量等,用戶可以輕松查看實例的負載。
  • 優化建議:RDS提供多種優化建議,如存儲引擎檢查、主鍵檢查、大表檢查、索引偏多、缺失索引等,用戶可以根據優化建議並結合自身的應用來對數據庫進行優化。
  • 備份管理:RDS自動提供多重備份,同時RDS支持用戶通過RDS管理控制臺或OPEN API靈活變更備份的時間。 數據回溯:RDS通過備份和日誌,用戶可以選擇7天內的任意時間點創建一個臨時實例,臨時實例生成後驗證數據無誤,即可將數據遷移到RDS實例,從而完成數據回溯操作。

開放緩存服務(OCS,Open Cache Service)

開放緩存服務( Open Cache Service,簡稱OCS)是基於內存的緩存服務,支持海量小數據的高速訪問。OCS可以極大緩解對後端存儲的壓力,提高網站或應用的響應速度。OCS支持Key-Value的數據結構,兼容Memcached協議的客戶端都可與OCS通信。

OCS 支持即開即用的方式快速部署;對於動態Web、APP應用,可通過緩存服務減輕對數據庫的壓力,從而提高網站整體的響應速度。

與本地MemCache相同之處在於OCS兼容Memcached協議,與用戶環境兼容,可直接用於OCS服務 不同之處在於硬件和數據部署在雲端,有完善的基礎設施、網絡安全保障、系統維護服務。所有的這些服務,都不需要投資,只需根據使用量進行付費即可。

OCS服務有如下特點:

  • 性能優越。緩存數據存儲在內存中,數據訪問迅速返回。
  • 服務可靠。當某臺服務器宕機時,集群將迅速恢復服務,用戶當前的客戶端自動重連後即可恢復服務。
  • 安全保障。OCS僅支持ECS訪問,並可以限制源服務器的IP地址,避免外部攻擊。
  • 彈性伸縮。當業務規模發生變化時,用戶可隨時根據需要修改OCS實例的配置,並且在配置變更過程中,OCS實例不會停止服務,您的客戶端程序也不必修改。
  • 管理透明。OCS是一個開箱即用的服務,阿雲的OCS團隊負責OCS產品的管理,包括日常維護、軟硬件故障處理、補丁更新等工作,讓您專註於保障服務的健康有效。
  • 兼容性。兼容memcache binary protocol,符合該協議的客戶端(binary SASL)都可使用OCS。

DRDS產品概要

單機數據庫能夠方便的滿足用戶對於關系查詢類的需求,是目前業務應用中最常使用的軟件。然而,對於很多應用而言,單機數據庫最終都會碰到單機性能上的天花板,在TPS/QPS/內存容量/磁盤容量等等一系列系統資源上會碰到各類限制。

DRDS的主要目標,就是幫您解決這方面的各類問題,他主要提供了兩個功能:讀寫分離和數據庫切分。

讀寫分離,能夠允許您實現一臺機器寫入,多臺機器讀取,這對於讀多寫少的應用,能夠以極低的成本解決系統的瓶頸

數據庫切分是一個解決系統存儲瓶頸的最終極解決方案,數據庫切分的核心思想其實很簡單,就是分而治之。將數據分散到多臺機器,並保證請求能夠平均的分發到這些機器上,就可以以極低的成本來解決業務的各類性能瓶頸。

當然,切分也是有代價的,最明顯的代價就是,分布式數據庫會對一些原有單機數據庫的場景進行限制,因為這些操作,在分布式環境下的延遲或效率非常低效,就算是能夠實現出來,也會因為性能問題而無法使用。

針對這類問題,阿裏的中間件團隊曾經成功的協助過近300個業務應用系統實現了數據庫的切分,因此,我們在這個領域內積累了大量的實戰經驗和成熟的產品,希望這類產品也能夠為您提供相同的服務,讓您的數據庫再也不必擔心性能問題。

阿裏雲鍵值存儲(Aliyun KVStore,Key-Value Store)

阿裏雲鍵值存儲(Aliyun Key-Value Store,簡稱KVStore)是兼容開源Redis協議的Key-Value類型在線存儲服務。KVStore支持字符串(String)、鏈表(List)、集合(Set)、有序集合(SortedSet)、哈希表(Hash)等多種數據類型,及事務(Transactions)、消息訂閱與發布(Pub/Sub)等高級功能。通過內存+硬盤的存儲方式,KVStore在提供高速數據讀寫能力的同時滿足數據持久化需求。

除此之外,KVStore作為雲計算服務,其硬件和數據部署在雲端,有完善的基礎設施規劃、網絡安全保障、系統維護服務。所有這些都無需用戶考慮,確保用戶專心致力於自身業務創新。

  • 簡單易用
    • 服務開箱即用:支持即開即用的方式,購買之後即刻可用,方便業務快速部署
    • 兼容開源Redis:兼容Redis命令,任何Redis客戶端都可以輕松與KVStore建立連接進行數據操作。
    • 可視化的管理監控面板:控制臺提供多項監控統計信息,並可以進行管理操作。
  • 彈性擴容
    • 存儲容量一鍵擴容:用戶可根據業務需求通過控制臺對實例存儲容量進行調整(公測期間需申請開通)
    • 在線擴容不中斷服務:調整實例存儲容量可在線進行,無需停止服務,不影響用戶自身業務
  • 高可用
    • 每個實例均有主從雙節點:避免單點故障引起的服務中斷
    • 硬件故障自動檢測與恢復:自動偵測硬件故障並在數秒內切換,恢復服務
  • 高可靠
    • 數據持久化存儲:內存+硬盤的存儲方式,在提供高速數據讀寫能力的同時滿足數據持久化需求。
    • 數據主從雙備份:所有數據在主從節點上進行雙備份。
  • 支持豐富的數據類型 兼容開源Redis協議中定義的所有數據類型,如String,Hash,List,Set,SortedSet等,支持多種數據操作,充分滿足業務需求

  • 持久化存儲 內存+硬盤的存儲方式,數據存儲到物理磁盤,滿足用戶數據持久化需求

  • 支持消息通知機制 基於事件通知機制解耦消息發布者和消息訂閱者之間的耦合,實現消息發布及訂閱(PUB/SUB)功能,滿足多個客戶端使用者之間的互聯互通。(參見示例)

  • 支持事務操作 支持Redis協議中定義的事務(Transaction)處理,實現單個客戶端發送的多個命令組成的原子性操作。

簡單日誌服務(Simple Log Service,簡稱SLS)是針對日誌收集、存儲、查詢平臺化服務。服務提供各種類型日誌的實時收集,平臺化存儲,海量日誌實時查詢,並可以將日誌歸檔至ODPS,以利用ODPS做大數據分析。具體來說,SLS提供如下功能:

  1. 多種方式(API、SDK及Logtail接入服務)的日誌寫入途徑
  2. 通過Logtail可以自由定義多種日誌格式的收集以及解析方式
  3. 可以定義機器組管理數以千計機器上的日誌收集
  4. 強大的日誌實時收集以及快速處理能力:GB/秒級別;從日誌收集到可查詢的延時基本在1分鐘內
  5. 針對海量日誌的集中存儲,且存儲期限可按需配置
  6. 提供實時、靈活(支持查詢語法)的日誌查詢能力
  7. 簡單易用的控制臺配置方式,所有操作都可以在Web端完成
  8. 後臺與ODPS無縫銜接,提供將日誌歸檔到用戶ODPS表的功能

SLS與阿裏雲其他產品關系如下:

  • ECS:用戶可以安裝Logtail(SLS Agent)收集用戶雲主機上的各種日誌數據。
  • 雲盾:用戶雲主機上如已安裝雲盾,可以在SLS 控制臺上直接點擊通過雲盾安裝Logtail。
  • ODPS:SLS中收集的日誌,可以自動歸檔到用戶的ODPS表中,滿足在線查詢與離線分析的雙重需求。

技術分享

阿裏雲大數據架構專業術語