1. 程式人生 > >為數據計算提供強力引擎,阿裏雲文件存儲HDFS v1.0公測發布

為數據計算提供強力引擎,阿裏雲文件存儲HDFS v1.0公測發布

不同的 強力 後端 雲存儲 彈性 view 生產 不同 -c

在2019年3月的北京雲棲峰會上,阿裏雲正式推出全球首個雲原生HDFS存儲服務—文件存儲HDFS,為數據分析業務在雲上提供可線性擴展的吞吐能力和免運維的快速彈性伸縮能力,降低用戶TCO。阿裏雲文件存儲HDFS的發布真正解決了HDFS文件系統不適應雲上場景的缺陷問題,用戶無須花費精力維護和優化底層存儲。
雲時代,通過借助虛擬化技術,大數據分析的計算框架在雲上逐漸實現了快速部署和彈性伸縮。但是作為數據底座的HDFS文件系統,它在設計之初並沒有考慮到上雲場景。其數據的擴縮容、故障硬件排除都依賴大量手工運維,因此其服務質量難以保證。在隨著其他計算引擎一起彈性部署時,HDFS會成為整個計算框架的短板,限制了業務的整體彈性伸縮能力,增加了規劃和運維難度。

技術分享圖片

為響應用戶在雲上使用HDFS的訴求,文件存儲HDFS應運而生。產品設計方面,得益於文件存儲HDFS兼容標準Hadoop文件接口,基於HDFS進行開發的分析服務無須進行改造即可直接連接文件存儲HDFS進行數據分析,可作為serverless計算架構的後端數據引擎。用戶無須花費精力維護和優化底層存儲,聚焦在計算和業務本身。
用戶場景方面,文件存儲HDFS的多租戶和權限控制能力可以有效支撐企業內部多業務數據管理的場景。用戶可以將生產集群的數據直接寫入文件存儲HDFS,也可以將存儲在自建HDFS、阿裏雲OSS、文件存儲NAS中的數據導入到文件存儲HDFS,再利用Spark/Mapreduce/Flink/Hive/Tensoflow等不同的分析框架對文件存儲HDFS上的數據進行處理,處理結果可以按需輸出到不同的系統中。廣泛用於實時統計與分析、離線用戶畫像、實時分析、機器學習等業務場景中。

技術分享圖片

技術能力方面,作為聚焦大數據分析場景的雲存儲產品,文件存儲HDFS針對計算中最關註的吞吐性能進行了軟硬一體的優化,提供遠超自建HDFS的吞吐能力。在模擬離線分析場景的Terasort測試中,在使用同等數量的CPU和內存的情況下,用文件存儲HDFS替代HDFS可以使整體的分析性能提升一倍。

技術分享圖片

了解更多關於文件存儲HDFS的產品信息和申請公測資格,歡迎訪問https://www.aliyun.com/product/alidfs



本文作者:luoming0439

原文鏈接

本文為雲棲社區原創內容,未經允許不得轉載。

為數據計算提供強力引擎,阿裏雲文件存儲HDFS v1.0公測發布