更適合邊緣計算的基礎架構:超融合
(本文出自UIT創新科副總工程師陳雪菲在2018中國儲存與資料峰會上的主旨報告)
邊緣計算撲面而來
2018年即將過去,在年末我們回首IT行業的技術熱點時,在業界的眾多關注技術熱點之中,邊緣計算也是如此耀眼的那一個,令人難以錯過。假若數年後再次回首,你將不得不承認,2018就是邊緣計算廣泛進入公眾視野並快速發展的一年。
在這一年裡,諮詢和評論機構對邊緣計算可以說是不吝筆墨。其中IDC給出了一些精確描述性的資訊:“邊緣計算是微型資料中心的網狀網路,在本地處理或儲存關鍵資料,並將所有接收到的資料推送到中央資料中心或雲端儲存庫,其覆蓋範圍不到100平方英尺”,不僅定性圈定了邊緣計算所處的位置,還定量給出了離資料發生地的距離數字;相對IDC這段充滿術語的描述,Ganter的副總裁兼分析師Dave Russell的定義更加文藝範:“邊緣計算就是現實與數字的互動之處”。
通常評測機構對技術發展看得更早一些,而評判一個技術趨勢是否正在成為大潮,不妨去觀察業界廠商是否真正開始有所舉措。而當我們深入探究,令人驚訝地發現產業鏈上的頭部廠商們幾乎都有所動作,涉及廠商範圍之廣,以近年的一個流行詞彙“從芯到雲”正好可以描述這種情況。
晶片廠商的領頭羊Intel在2018年2月份推出的Xeon D-2100系列處理器,基於最新的Skylake架構,明確指明瞭面向邊緣計算和其他一些受限應用場景,這些場境對密度和能耗都更為敏感。ARM幾乎同時推出了“Trillium”專案,包括一系列特別設計優化的處理器,提高邊緣裝置的機器學習、人工智慧和目標檢測能力。AMD也在18年推出了兩款嵌入式處理器,分別是EPYC 3000以及Ryzen V1000,採用“ZEN架構”,依然是瞄準邊緣計算。
系統廠商介入邊緣計算大部分都是通過超融合產品,這類產品多針對缺乏IT技術支援的分散式邊緣環境,在一個統一解決方案中提供多種功能,包括計算、儲存和網路資源以及管理軟體和其他功能的一體化整合。設計上注重密集度,低能耗和低成本且易於管理。例如惠普宣佈接下來4年將在邊緣計算領域投資40億美元。該公司的Edgeline Converged Edge Systems系統正是一個面向邊緣計算的拳頭產品,目標客戶是那些希望獲得資料中心級計算能力,且通常在邊遠地區運營的工業合作伙伴。這個系統明確提出在不依賴於將資料傳送到雲或資料中心的情況下,為工業運營(比如石油鑽井平臺、工廠或銅礦)提供分析計算能力。
思科通過HyperFlex超融合系統來支援多種雲和邊緣環境,這個系統集合了之前的統一計算系統(UCS)、Nexus網路交換機以及去年該公司收購的Springpath的軟體,強調了敏捷性和適應能力。
VMware是另一家高調宣佈支援邊緣計算的公司,它主要是基於自己現有的技術,比如vSAN超融合儲存,vSphere和VMware的Pulse IoT Center,Pulse IoT Center為邊緣系統和閘道器提供管理、監控和安全,以及感測器等連線裝置。在今年上半年的MWC全球移動通訊大會發布了一系列三個邊緣計算解決方案,其中的首要方案正在努力將超融合基礎設施(HCI)引入邊緣位置,將使用VMware Pulse IoT Center和HCI工具,在邊緣對由物聯網裝置收集的感測器資料進行實時分析。
老牌的網際網路和雲廠商也都令人驚訝的大力推動邊緣計算,當然首先是雲端能力向編譯輻射。例如AWS推出的 Greengrass服務將AWS擴充套件到裝置上,這樣它們就可以“在本地處理它們所生成的資料,同時仍然可以使用雲來進行管理、資料分析和持久的儲存”。 而微軟在這一領域計劃在未來4年內大幅投入,在邊緣計算,物聯網領域將投入50億美元。同時他們已經發布了Azure IoT Edge解決方案,“將雲分析擴充套件到邊緣裝置”,支援離線使用。希望聚焦於邊緣的人工智慧應用。谷歌軟體硬體同步進行,包括硬體晶片Edge TPU和軟體堆疊Cloud IoT Edge。谷歌表示,“Cloud IoT Edge將谷歌雲強大的資料處理和機器學習功能擴充套件到數十億臺邊緣裝置,例如機器人手臂、風力渦輪機和石油鑽井平臺,如此它們就能夠就近對終端裝置的大量感測器返回的資料進行實時操作,並在本地直接進行結果預測。
邊緣計算把原本打算在雲中心進行的儲存、資料處理 / 預處理、簡單分析工作分擔給邊緣節點去做 ,這種方式,一方面能夠有效幫助雲中心緩解壓力,同時提高系統的容錯能力,在部分節點出現異常的時候仍保證其他部分功能可以正常使用,不再“牽一髮而動全身”。另一方面能夠提高響應使用者的速度,在一些關鍵應用上提供更好的使用者體驗。
邊緣計算和雲端計算在某種視角上看有點像蹺蹺板的兩端,一頭是集中,一頭是分佈。雲端計算進入主流視野已經有10年以上了,從本質上看還是大集中——將計算儲存能力都集中到雲端統一處理,使用者或者終端能做的事只剩下連上去使用。而 邊緣計算的主要思路還是把工作切分並分佈出去,能夠完成工作的部件或子系統直接放在網路的邊緣 , 就近處理 。實在無法就地完成的工作任務再拉回雲端統一處理。使用邊緣計算的系統設計的一個核心思想在於讓計算靠近資料;如果以物聯網應用為例,大量的物聯網裝置在把資料傳輸上傳到雲端之前,會經過一個由一定數量的邊緣節點組成的邊緣層。這些 邊緣節點 具有一定的資料儲存能力、計算能力和應用分析能力,會把位於邊緣區域網當中的裝置資訊經過篩選過濾、分析彙總之後再經由廣域網交給雲中心處理。而大量只需要在裝置之間通訊即可完成的工作,就不需要再傳輸給雲中心,只需要在邊緣層上處理即可。
為何我們需要邊緣計算?美國前總統克林頓,在1992年美國總統大選時曾有一句名言——“笨蛋,根本問題是經濟!” 有人認為他是因為這句話戰勝對手老布什而當選,可能有點誇大,但他的確一針見血找到了根本問題所在。在這裡我也想引用這個句式,“是的,根本問題是網路”。雲端計算之後再提邊緣計算的根本原因剖析到底還是網路,之所以雲端計算無法全盤通吃所有的IT系統,網路頻寬的限制,特別是網路時延的難以消除,是橫亙在前的巨大鴻溝。並非所有的應用都是所謂“雲原生”,大量的應用系統仍然分散部署在各處,離雲端資料中心很遠。尤其是一些需要實時響應的系統,例如自動駕駛,不可能每一個操作都等待千里之外的雲端資料中心發回的反饋,資料一個來回加上處理的時間,車子可能就已經錯過路口或發生事故了。
而邊緣計算的出現能夠大幅減少到雲端的資料傳輸量,減少了網路限制,而最關鍵的是提供了更好的實時響應能力。當然衍生開來闡述的話,由此還降低了時間成本和大量資料傳輸和儲存的資金成本。
超融合現狀
回到HCI超融合,這是一個已經出現了3年多的技術,經過這些年的發展,從Gartner的技術成熟曲線上看,超融合技術明顯已經越過了最受關注的頂點,將在2-5年內進入平穩期。
從我看來,而今年最大的新訊息是超融合技術分家,原本的定義裡是“整合系統:超融合(integrated systems:hyperconvergence)”分成兩個技術名詞
- 超融合系統HCIS(hyperconverged integrated systems)
- 超融合基礎設施HCI( hyperconverged infrastructure)。
主要區別在於產品技術形態,HCIS是以硬體為中心,使用專有的優化硬體,而HCI則以軟體為中心,硬體上採用通用裝置。大部分的廠商還都是兩者兼顧的,既有HCIS也有HCI產品,例如Nutanix/Dell EMC/HPE(SimpliVity)/Pivot3/華為/H3C/等。而只有HCI(軟體)的代表廠商相對少一些,例如VMware /Microsoft/ Stratoscale/SmartX。(我猜想這個拆分和老牌重量級軟體廠商MicroSoft的加入會不會有關係?不得而知。)
超融合發展已經有一些時間,曾經有些爭議和關注點現在業界也有了共識,例如資料路徑引發的關於真偽超融合的爭議,超融合最核心的和關鍵的難點技術在於SDS軟體定義儲存實現的優劣等等,甚至關於產品形態也出現了很多新東西。
最初關於產品的標準化業界是一致認可的,所有的節點硬體都是一個統一規格,2U或1U的X68相容硬體,多個多核CPU,大記憶體,SSD+HDD的內建儲存。但到三年後的今天,除了標準化裝置,漸漸很多廠商支援不同定位的節點,比如偏計算的節點和偏儲存的節點。
例如提供更大容量的“儲存型超融合產品”,單臺裝置提供0.5PB~1PB左右的容量,滿足一些海量資料要求的應用場合。再有基於ARM架構的超融合產品,在基本體系架構上有別於X86的硬體,然而實現的功能相差無幾,在能耗和計算核心提供數量上更有優勢。再就是精簡型的超融合產品,特殊定製更小體積,無風扇等機械部件,抗震可靠,甚至有額外增添的GPS定位等特殊功能。當然還有不少面向AI機器學習的超融合產品,支援GPU,TPU和TensorFlow/Caffe等AI典型計算框架的產品
而處於2018年底的今天,我們不僅要看現狀,超融合的未來發展方向更加值得關注。有典型的幾個發展方向如下:
首當其衝的是超融合和雲的相愛相殺,我們看到一些廠商就直接以超融合直面競爭私有云,甚至在專案裡也不做嚴格區分,但技術上講,更適合的未來應該是混合雲的場景;如何實現更強大的功能,如何適配於多雲環境,這是超融合下一步發展的重要方向。
另一個發展方向是處於風口浪尖AIOps,人工智慧化運維。超融合基礎架構上搭載的系統和工作負載越來越複雜,很多關鍵應用也載入上來,對複雜系統的適應能力和本身的高可靠甚至是自愈能力都顯得更加重要,如何匯入AI幫助更好的運維,以達成前述的能力,必然成為超融合系統是否能進入大型部署規模的一個關鍵點。
最後一個非常值得關注的方向無疑是邊緣計算,精簡型的超融合系統是非常適配的選擇。我們接下來將重點討論。
邊緣計算呼喚超融合
在前面我們已經討論了邊緣計算興起的根本原因,當由於網路限制和巨大數量導致的計算處理能力前移,我們會發現最迫切的需求是處理能力和儲存資源,而且需求量很大,當然還需要資料分析工具,將軟體和資料推送到邊緣的工具,以及跨邊緣與集中式雲聯合起來的方法,甚至需要在邊緣本身處的機器學習。
這一切的一切都清晰地指出,邊緣需要一些更加強大的基礎架構能力。
我們認為,超融合適合邊緣計算有以下三個理由
- 滿足新邊緣節點的定位,
- 邊緣計算讓計算靠近資料,資料處理應用,分析應用軟體都將部署到邊緣,超融合可以為邊緣節點提供更強大的效能和儲存空間。
- HCI完全虛擬化的廣泛相容應用軟體,擁有合理儲存能力、計算能力和彈性擴充套件能力,可以滿足更多系統搭載的需求。
- 滿足邊緣計算的受限環境
- 邊緣的工作環境條件低於IDC,空間,能耗,維護便利性都不樂觀。
- 精簡型HCI更小尺寸,佔用空間小,功耗更低,散熱要求更低,模組化快速部署能力,遠端管理能力。
- 大幅提升中的價效比
- 邊緣計算規模大,大批量的採購場景中,價效比必須考慮
- HCI的硬體正變得更強勁,價格同時也在下降
- 同時,超融合架構相比傳統系統,是一個“預處理”好的模組化基礎架構,省掉很多逐個專案設計部署的工作,而以最適合應用程式的標準化形式建立一致的範例和環境來執行工作負載。如今許多邊緣工作負載都在Linux或VM上執行,基本可以無縫遷移到超融合基礎架構。
而關於超融合產品在邊緣計算裡出現的形態,目前看和普通的超融合產品還是有所區別的。目前超融合集中部署的情況還是比較多,很多都部署在大型企業使用者IDC或者雲服務商IDC裡。而針對邊緣的使用場景,更合理的形態是精簡加固型硬體平臺,具有小尺寸,低能耗,高可維護性和安全性的特點,同時還具有其他附加特性,如GPS/加密/自毀等標準產品上不會出現的功能。同時它必須具有完整系統的相容性,具有相對完整的OS平臺,能夠搭載大多數的基礎資料分析平臺。
典型應用場景
最後我們來看一些實際出現的行業應用,在邊緣計算的很多場景都可以部署超融合,例如能源行業的石油鑽井平臺,安防監控行業的人臉識別比對,遠洋貨輪的綜合系統和各子系統,環保行業的水文資訊監測,氣象行業的遙感雲圖,交通行業的無人駕駛,大型客機機載系統和軌道交通的車載各類系統。
我們以火車的車輪平衡系統的工況監控系統為例,已經部署下去的大量感測器能夠不停收集資料,如果工程師想要了解最近三個月傳動系統,火車車輪和剎車系統執行得怎麼樣,最近工況如何,未來兩週內是否需要維修或者替換,他就得使用歷史累計的感測器資料,利用專業分析預測軟體來評估相關零部件是否需要維修。
現在資料有了,而在何處進行後續處理分析就是一個問題?這種情況下,使用超融合的架構在邊緣完成資料處理,就是一個非常適合的方案。短期分析可以就地進行並很快返回,而避免了每次從不同地點把大量取樣資料完全返回到一個千里之外的雲端資料中心處理,並等待返回結果。雖然這一應用場景並不要求秒級或是分鐘級響應,但系統仍然需要在一個限定的時間視窗(例如8小時/12小時/24小時)計算完成並做出相應反饋,這其實對計算還是有實時性的剛性需求。
使用邊緣計算超融合的方案,大資料的分析過程可以在給定的時間視窗內實現,精簡加固型的超融合系統也能夠適應部署的糟糕環境。
其實這一類的物聯網應用,感應器產生資料量其實非常巨大,例如龐巴迪的C系列飛機,在12小時的飛行過程中會產生844TB的資料量。
ofollow,noindex" target="_blank">http://smartsolution247.com/is-location-everything-how-the-edge-is-driving-digital-transformation/
如果不能就近處理,通常這樣的原始資料要麼丟棄,要麼得等待緩慢的資料傳輸轉移的過程和佔用雲端大量的儲存計算資源以完成相關分析。
如果最終的應用是一個大資料的分析,部署到邊緣的超融合節點至少可以完成第一步的資料清洗,節省大量的低資訊含量的原始資料傳輸成本。
總結一下,這類系統有幾個典型的需求特徵如下
- 無須分秒必爭,但確定時間視窗
- 資料種類多,數量大。
- 演算法不復雜,非計算密集型
- 利用精簡型超融合搭建邊緣計算平臺可以提供幾個明顯優勢點
- 更高可靠性硬體裝置
- 更強資料儲存能力,儲存更多原始資料
- 全虛擬化計算能力,部署分析應用,在給定時間點即可完成短期分析,不需完全返回中央雲
Gartner預測到2022年,所有企業將有75%全面展開邊緣計算戰略,而到2018年底,這個比例還不到10%。在未來三年邊緣計算大行其道的時刻,我們相信超融合基礎架構能夠幫助大家應對在這一全新領域要解決的許多新挑戰,一些剛性需求諸如小尺寸,低能耗,極簡部署,易於管理和維護性等能夠得到滿足,有力支援邊緣計算髮展。
【本文版權歸儲存線上所有,未經許可不得轉載。文章僅代表作者看法,如有不同觀點,歡迎新增儲存線上微信公眾號(微訊號:doitmedia)進行交流。】