1. 程式人生 > >gui扯:阿里雲專有云、超融合、AWS以及張北二期

gui扯:阿里雲專有云、超融合、AWS以及張北二期

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

十一過後,十九大之前,到杭州的雲棲大會上學習了幾天。資訊量有點大,不如隨意八卦一下以大會現場演示斷電而引發關注的阿里雲專有云。

這回八卦的主題是“規模”,從幾個關於規模的段子開始哈。

本世紀初,招商銀行已經頗具規模,但在儲存市場老大EMC那裡,卻還要屈身於“中小企業”的行列。據說EMC的邏輯很簡單——買了他家高階的Symmetrix,才算大型企業。以此標準衡量,當時夠格的使用者,無非四大行加三大運營商罷。

規模夠大的使用者必然是少數,由此引發了另一個段子:據曾經負責高階儲存市場工作的前EMC員工憶往昔,當年的客戶活動上,禮品可是全套高爾夫球具的哦。單個客戶對應的採購價值很高,you deserve IT。

上面兩個例子,或年代久遠,或道聽途說,不一定足信,進入呆鵝的惡魔城兄弟們不要來砍我。

不過,多即是少,少即是多,確是規模相對論。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

進入#企事錄#公眾號,點選頁面下方正中的“基建之美”,可以看到網際網路資料中心規模效應的組文

接著講兩個雲棲大會上耳聞目睹,還算新鮮的段子。

與一位在阿里的朋友閒聊,ta感慨:我們小部門,哪比得了阿里雲。

so問:你們部門多少人?答曰:才一千多。

這讓從未在千人級別規模的公司工作過的我等吃瓜群眾,情何以堪!

在上萬人大公司工作過的朋友們肯定不以為然,那就聽聽這樣的段子是否夠勁:乃們伺服器數量在10萬、20萬臺以下的小企業……

遺憾(唯恐天下不亂),沒人被惡魔(城)附體,這真的只是個段子,是我短暫“幻聽”的結果——當時,差點兒就起來high了。

真相是,為了進一步瞭解本屆雲棲大會上釋出的明星產品——“欲說還休”的神龍(X-Dragon)雲伺服器——我去彈性計算企業線峰會一探究竟。

原話是這麼說的:今天的標準伺服器效率很高,插在標準的機架、插上網線就可以工作,但這是對小企業,對10萬臺、20萬臺以下級別的企業,才會有用。但是未來我們整個資料中心,可能是百萬臺、甚至上千萬臺伺服器在一個數據中心,如果還使用這個標準,意義就不是很大。因為機房都是你的,裡面所有的基礎設施都可以自定義了,為什麼還要跟隨一個二三十年前定的標準呢?

這段話的中心思想,特別是網際網路巨頭定製化伺服器與大規模資料中心的關係,我是舉雙手贊成的,也陸陸續續寫過不少文章(點選文末“閱讀原文”檢視),為此大勢鼓與呼。

0?wx_fmt=jpeg

康寧對大型企業和中小型企業的劃分比較符合日常認知,伺服器數量超過10萬臺的雲端計算企業已經是全球前幾十大客戶之一啦。當然,做這些客戶的生意,供應商的單位利潤也會比較低

值得探究的是數字背後的含義,即使不那麼精確。

資料中心與伺服器

伺服器保有量在10萬、20萬臺級別的企業,全球範圍內都到不了三位數,在國內肯定是Tier 2網際網路公司中的翹楚了,可以說僅次於BAT(譬如京東、360)。就是整個阿里,目前的伺服器保有量“也才”五六十萬臺,還不至於鼻孔朝天。

因為,眼睛正要向前看呢。

就在雲棲大會召開前一個月,IDC公佈了2017年第二季度全球伺服器市場追蹤報告,有兩項資料值得拎出來說道說道:

首先,僅AWS一家就貢獻了超過10%的伺服器出貨量——也就是說,當季總的伺服器出貨量為245萬臺,而AWS的採購量即達25萬臺。大約兩年前,AWS每季度的採購量還“只有”15萬臺左右。

其次,在以AWS為首的超大型雲端計算/網際網路公司(Hyperscaler)的帶動下,多家ODM直銷(ODM Direct)的總和首次超過市場份額第一的廠商,達到22.6%,領先HPE/新華三達1.3個百分點。

0?wx_fmt=png

原本在IDC的2016年第二季度統計中,ODM直銷(ODM Direct)總的市場份額只有7.9%,但是今年IDC完成了對2013年的ODM直銷收入資料的歷史修正——結果是ODM們平均每個季度的收入平均增加超過10億美金,導致2016年第二季度的佔比躍升為16.2%,而2017年第二季度的增長率又接近50%,於是市場份額歷史性的躥升至第一位

ODM廠商直接向AWS(Amazon Web Services,亞馬遜網路服務)等超大型客戶提供定製的伺服器產品,而我們常說的白牌(white-box)伺服器仍以傳統標準化的通用產品為主,不可簡單的混為一談。

依靠著如此瘋狂“買買買”的節奏,亞馬遜的伺服器保有量飛速增長,保守的估計也得有三百萬臺了罷。據說,AWS在(美東區)弗吉尼亞州Ashburn的資料中心園區,就有50萬臺伺服器之多。

0?wx_fmt=png

AWS顯然是阿里雲追趕的目標——根據Gartner在9月底公佈的資料,阿里雲在2016年的IaaS(Infrastructure as a Service,基礎設施即服務)公有云服務市場的份額排名第三,相對於2015年的增長率達126.5%,是前五名中唯一年增長率超過100%的,兩倍於第二名微軟還多一點兒。阿里雲希望在高增長率的支撐下,於未來一兩年內超越微軟,坐二望一。

要達成上述目標,必然伴隨著資料中心的大幅擴張。阿里巴巴在張北的雲端計算資料中心專案眾所周知,去年投產的一期工程覆蓋小二臺和廟灘兩個點,共投資約40億元、佔地120畝,可容納8萬臺伺服器。今年緊接著開工的二期工程補上了中都草原,三點齊出。7月中旬,我專程去張北遙望了建設中的工地,看起來每個點的二期都比一期大很多,哪怕說二期每個點都有10萬臺(共30萬臺)伺服器,也是有可能的。

0?wx_fmt=jpeg

以小二臺鎮、廟灘、中都草原的三點式佈局開篇,這個宣傳材料的文字概括了整個阿里巴巴張北雲端計算資料中心專案的關鍵指標,其中的幾幅效果圖揭示了二期工程的佈局,在適宜的時機我會專門撰文詳細解讀

當然,從規劃來看,30萬臺伺服器應該是一二期工程相加的結果。即便如此,在國內也是非常大的資料中心叢集了。畢竟,不同於那些按照機房面積和機櫃數量來列出能容納伺服器數量理論值的“超大型資料中心園區”,張北這三個點建成後是真的可以容納30萬臺伺服器一同工作的。

分離與(超)融合

伺服器和資料中心之間的關係簡單直接,那麼,雲服務的技術架構又會對資料中心產生怎樣的影響呢?不妨看看阿里雲的分散式塊儲存技術。

雲棲大會最後一天下午舉行的塊儲存技術解析專場,據說是雲棲大會有史以來第一次講塊儲存技術,所以簡要回顧了一番發展史。

阿里雲的分散式塊儲存始於2010年,第一代產品主要基於SATA硬碟和千兆乙太網(GbE)。由於網路不行,資料需要本地化,於是採用了計算與儲存一體的融合架構——在企業級市場,這叫超融合架構(Hyper-Converged Infrastructure,HCI)。計算與儲存融合的好處是不用區分機型、機櫃和物理POD,把機器塞到機櫃功耗上限就行了,網路流量模型和IDC機房建設都相對簡單。

0?wx_fmt=png

超融合能簡化IT基礎架構的部署和運維,這點在傳統企業級市場和大型網際網路公司是一樣的。問題在於規模,特別是在大規模雲服務的場景下,超融合架構面臨很多挑戰,最典型的問題是——使用者把計算資源買光了怎麼辦?儲存資源可能還有大量剩餘。計算和儲存資源需求嚴重不匹配,而且計算和儲存耦合在一起也會相互制約,限制規模的進一步擴大,同時不利於各自的硬體專精發展——類似觀點,可參考《超融合架構的“逆流”?(儲存峰會演講實錄)》一文。

2012年,隨著SATA SSD(Solid State Drive,固態盤)和萬兆乙太網(10GbE)的普及,阿里雲的分散式塊儲存產品升級為第二代,從硬體到軟體,都實現了計算與儲存的分離部署。在隨後的幾年中,第二代分散式塊儲存產品支撐了ECS和容器等服務的發展。

0?wx_fmt=png

第二代分散式塊儲存採用Master/Cluster/Server三層架構,前端VM磁碟和後端Server一一對應,有效能上限,被稱為分離架構1.0。隨著NVMe和3D XPoint等新型儲存介質、100GbE/InfiniBand/RDMA等網路技術、SPDK/使用者態檔案系統等軟體方法逐漸湧現及擴散,阿里雲在2015年啟動了向第三代分散式塊儲存產品的演進,採用分離架構2.0,據說在12月的雲棲大會·北京峰會上將有新的釋出。

計算叢集與儲存叢集分離的架構對神龍雲伺服器尤為重要,因為從目前已知的神龍雲伺服器架構來看,每個節點上只有CPU和記憶體等計算資源,需要通過(虛擬)網路訪問(外部)儲存資源。

別忘了,還有阿里雲專有云。

專有云的玄機

基於阿里雲飛天架構的阿里雲專有云(Apsara Stack)並非新生事物,卻因為本屆杭州雲棲大會第二天主題演講上的斷電演示而收割大片關注,會議期間還讓大家體驗了好幾次。

由於整日流竄在偌大的展區趕場,我錯過了親自體驗給專有云拔電(其實主要是滿足破壞慾)的機會,倒不覺得特別遺憾。因為現場演示的系統分佈在8個機櫃上,只要規劃得當,隨便斷掉其中任何一個機櫃的供電,服務並不會因此而中斷,對雲端計算的這點信心我還是有的。

0?wx_fmt=jpeg

我關注的是Apsara Stack Enterprise的最小規模,部分原因是有江湖傳言說這個“基於阿里雲飛天架構的全量雲平臺”叢集規模不能小於60個(物理)節點,更詳細的說法是其中有10個作為管理節點,其他50個節點提供計算和儲存等服務。具體數字有待進一步考證,總體上我傾向於贊同公眾號“飛總聊IT”的觀點:類似“飛天”這樣的系統,本來就是為了大規模資料中心應用設計的。一個數據中心有成千上萬臺機器,為了能更好更自動化的執行,先弄出幾十臺機器專門做部署、監控、排程等管理工作,其實價效比很高。但如果伺服器總共就幾十臺,“管理層”們還是要吃掉很多,部署完可能就沒剩多少機器(可用資源)用於對外的服務了。也就是說,專為大規模部署而設計的系統,在規模很小的情況下利用率不高,甚至根本無法滿足部署要求,有點和前面提到的超融合架構各擅勝場的意思。

0?wx_fmt=png

這套系統看起來要用的機器就不會少

雲棲大會現場演示的阿里雲專有云系統由2個集裝箱資料中心組成,每個集裝箱裡有4個伺服器機櫃,8個機櫃共有62臺伺服器。

伺服器是一水兒的新華三(H3C)R4900 G2(激凸?),很主流的2U雙路至強E5-2600 v4伺服器。我們知道2U機架式伺服器各方面相對均衡,可計算可儲存,譬如前面板插滿盤就可以視為儲存型伺服器或計算儲存兼顧的超融合節點。不妨按照這種“以貌取機”的方法,把那62臺伺服器分為兩類:前面4個(少數有8個)2.5英寸10K(小容量)SAS盤的是計算型節點,前面12個3.5英寸7200轉6TB SATA硬碟的是儲存型節點——對演示系統而言效能也夠了,再說機器內部很可能有SSD作為快取。

0?wx_fmt=jpeg

粗略統計(因為不能保證完全沒看錯),共35個計算型節點,27個儲存型節點,相對均勻的混部於8個機櫃上。管理節點應該出自計算型節點,所以:

10×管理節點 + 25×計算節點 + 27×儲存節點

看起來是個比較合理的搭配,每個機櫃上的伺服器數量不超過8臺,整組掉電可以接受。

捕風捉影的胡亂分析一番,主要目的是拋磚引玉,激發更多思考。不過,有一點是基本可以確定的,即IaaS公有云市場上的前三名都有意願用自家的軟體堆疊去佔領私有云市場,但要麼很難搬得下來,要麼下來還是嫌大,只好通過合作或變通的手段:

AWS選擇了與VMware合作,推出VMware Cloud on AWS;

微軟專門開發了一套採用(超融合)一體機方式部署的軟體堆疊,實現與其Azure公有云相容的功能,叫做Azure Stack(可以視為Azure的功能精簡版),一個區域(Region)最少4臺伺服器,最多12臺伺服器(下一階段擴充套件至16臺)——這很超融合;

0?wx_fmt=jpeg

阿里雲專有云(指Apsara Stack Enterprise)60臺級別的起點對多數企業還是太高了,所以選擇了基於ZStack的輕量級雲平臺ZStack for Alibaba Cloud作為在私有云一端的補充,雙方圍繞神龍雲伺服器也有緊密的合作。

0?wx_fmt=png

嚴格來講,阿里雲專有云由一系列不同定位(和來源)的產品構成

哎,沒想到越扯越遠……八卦了一大圈,總算迴歸主題,可以告一段落啦。

0?wx_fmt=jpeg