1. 程式人生 > >Hadoop發行版本之間的區別

Hadoop發行版本之間的區別

專業 集群配置 ack 除了 job 重新 兼容 hadoop發行版 mark

商業發行版主要是提供了更為專業的技術支持,這對於大型企業更為重要,不同發行版都有自己的一些特點,本文就各發行版做簡單對比介紹。對比版選擇:DKhadoop發行版、cloudera發行版、hortonworks發行版、MAPR發行版、華為hadoop發行版

Hadoop是一個能夠對大量數據進行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。Hadoop的發行版除了有Apache hadoop外cloudera,hortonworks,mapR,華為,DKhadoop等都提供了自己的商業版本。商業發行版主要是提供了更為專業的技術支持,這對於大型企業更為重要,不同發行版都有自己的一些特點,本文就各發行版做簡單對比介紹。

對比版選擇:DKhadoop發行版、cloudera發行版、hortonworks發行版、MAPR發行版、華為hadoop發行版

1、DKhadoop發行版:有效的集成了整個HADOOP生態系統的全部組件,並深度優化,重新編譯為一個完整的更高性能的大數據通用計算平臺,實現了各部件的有機協調。因此DKH相比開源的大數據平臺,在計算性能上有了高達5倍(最大)的性能提升。DKhadoop將復雜的大數據集群配置簡化至三種節點(主節點、管理節點、計算節點),極大的簡化了集群的管理運維,增強了集群的高可用性、高可維護性、高穩定性。

技術分享圖片

2、Cloudera發行版:CDH是Cloudera的hadoop發行版,完全開源,比Apache hadoop在兼容性,安全性,穩定性上有增強。

技術分享圖片

3、€?Hortonworks發行版:Hortonworks 的主打產品是Hortonworks Data Platform (HDP),也同樣是100%開源的產品,其版本特點:HDP包括穩定版本的Apache Hadoop的所有關鍵組件;安裝方便,HDP包括一個現代化的,直觀的用戶界面的安裝和配置工具。

技術分享圖片

4、MAPR發行版:mapR有免費和商業兩個版本,免費版本在功能上有所減少。

技術分享圖片

5、華為hadoop發行版:華為的hadoop版本基於自研的Hadoop HA平臺,構建NameNode、JobTracker、HiveServer的HA功能,進程故障後系統自動Failover,無需人工幹預,這個也是對hadoop的小修補,遠不如mapR解決的徹底。

技術分享圖片

Hadoop發行版本之間的區別