1. 程式人生 > >阿裏雲發布國內首個大數據雙活容災服務

阿裏雲發布國內首個大數據雙活容災服務

要求 阿裏雲 如何 復雜 ado 集成 雙活 引入 操作

摘要: 在6月上旬舉行的雲棲大會上海峰會上,阿裏雲發布了國內首個大數據集群雙活容災產品-混合雲容災服務下的混合雲大數據容災服務(HDR for Big Data, 簡稱 HDR-BD),並已經在7月份開始邀測。

在6月上旬舉行的雲棲大會上海峰會上,阿裏雲發布了國內首個大數據集群雙活容災產品-混合雲容災服務下的混合雲大數據容災服務(HDR for Big Data, 簡稱 HDR-BD),並已經在7月份開始邀測。HDR-BD采用業界領先的數據雙向實時復制技術,可以實現Hadoop集群雙活和準0 RPO容災,為大數據災備制定了全新的標準。

常見Hadoop災備技術的挑戰

當前比較常見的Hadoop集群災備方式是用distcp將數據定期復制到一個備用集群做容災用途,或者將數據復制到只讀集群、二級存儲作為多恢復點的備份。這些方案都有明顯弱點。

RPO和RTO是衡量災備方案的兩個重要指標,RPO-恢復點目標,決定了丟失多少數據,RTO-恢復時間目標,決定了業務中斷了多長時間。由於傳統的Hadoop集群災備方式使用的是distcp來做容災,也就意味著數據復制不是實時的,因此用戶必須承受至少小時級到天級的RPO。並且主站宕機後,將只讀集群或二級存儲中的數據恢復出來會占用大量時間,而拉起standby集群重新啟動業務依然是一個耗時的操作。因此,傳統的Hadoop集群災備方式在RPO和RTO方面都有較大挑戰。

除此之外,由於災備集群平時處於備用狀態,不能用於運行業務,對於用戶來說也屬於資源浪費。

以上這些問題長期困擾著Hadoop集群的用戶和管理員們,如何突破RPO和RTO瓶頸,大數據集群的災備領域亟需一種全新的技術來徹底解決目前的困境。

HDR- BD此次帶來的雙向實時復制技術可以在兩個Hadoop集群之間建立雙活架構,RPO接近0;RTO因為數據隨時可讀寫而極大壓縮;雙活架構可以讓兩個集群運行不同的應用,避免資源浪費。這些特性將Hadoop災備標準提高到了一個全新的高度,為Hadoop用戶帶來了極高的價值。

HDR-BD引入大數據雙向復制技術,滿足高要求的大數據災備場景

阿裏雲此次推出的Hadoop雙活容災方案HDR-BD引入了業界領先的大數據雙向復制技術,結合強大的公共雲基礎設施,可以滿足極高要求的大數據災備場景,為企業Hadoop集群數據保護提供了全新的選擇。
HDR-BD的優勢在於:

極低RPO:數據的實施復制決定了每一個寫操作都會實時復制到配對集群,RPO幾乎為0

極高資源利用率:數據雙向復制確保兩個集群共享一份數據但運行不同應用,不會出現一個集群必須處於只讀會備用狀態的問題,計算資源可以充分利用
運維復雜度極低: HDR-BD實現了數據的全自動實時雙向復制,無需特定時間窗口,也無需擔心對業務的影響

技術分享圖片

在自建數據中心和阿裏雲之間部署HDR-BD服務器配對,用戶就可以將自建Hadoop集群與阿裏雲無縫集成,充分利用阿裏雲EMR和OSS建立極為高效的Hadoop災備,遷移系統。HDR-BD可以滿足的核心場景包括

1.近0 RPO Hadoop雲容災
將自建Hadoop集群的數據實時復制到阿裏雲EMR集群,實現接近0 RPO的Hadoop集群容災。
2.Hadoop集群與阿裏雲EMR集群雙活
在自建Hadoop集群和阿裏雲EMR集群之間建立數據雙向復制。兩個集群共享一份數據,但是運行不同的應用,實現集群雙活,達到資源的最大化利用。
3.Hadoop數據實時備份,遷移上雲
雲上HDR-BD服務器可以直連至阿裏雲對象存儲OSS。在無需EMR集群的情況下,HDR for Big Data可以將Hadoop數據實時復制到阿裏雲OSS,實現接近0 RPO的雲備份;同時這個機制也可以作為Hadoop數據遷移上雲的理想方案。利用這個機制做Hadoop集群遷移上雲,在遷移過程中無需啟動EMR集群;同時遷移過程無需復雜定制化腳本開發或者復雜的業務停機規劃。

原文鏈接請添加鏈接描述

本文為雲棲社區原創內容,未經允許不得轉載。

阿裏雲發布國內首個大數據雙活容災服務