1. 程式人生 > >DKhadoop大數據系統架構設計方案

DKhadoop大數據系統架構設計方案

深度 穩定性 alt 自己 系統架構 穩定 得到 國產 style

大數據作為當下最為熱門的事件之一,其實已經不算是很新鮮的事情了。如果是三五年前在討論大數據,那可能會給人一種很新鮮的感覺。大數據作為當下最為重要的一項戰略資源,已經是越來越得到國家和企業的高度重視,我們從大數據被上升到國家戰略層面就可窺見一二!

現在關於大數據的知識分享可以說已經是鋪天蓋地了,作為新手入門想查詢的信息基本都可以通過網絡查詢到一些。我對的大數據的了解其實也不是特別豐富,畢竟學習的時間也不是特別長。僅以我熟悉的DKhadoop為例給大家分享一些小知識,往對初學者有點小幫助就可以了。

大數據平臺基礎框架是很多初學者必然要掌握的內容,大數據太過抽象,有時候寫分享的時候難免感覺寫的很多困難。還是通過具體的案例來寫會比較好理解。關於大數據平臺基礎框架我還是用自己熟悉的

DKhadoop為例。

在此之前還是對DKhadoop做一個簡單的說明:DKhadoop大快大數據平臺,由大快搜索開發的為了打通大數據生態系統與傳統非大數據公司之間的通道而設計的一站式搜索引擎級大數據通用計算平臺(寫的這麽專業,肯定是我從大快宣傳冊上搬運過來的啦)。對於有大量數據需要處理的傳統型企業而言,通過DKhadoop這樣的大數據處理平臺可以很輕松的跨越大數據技術鴻溝,實現搜索引擎級的大數據平臺性能。既然有如此大的優勢,那麽樣的大數據平臺的基礎框架又是如何的呢?

我們先來看一張圖片:這張圖是DKH標準平臺技術架構圖

技術分享圖片

DKhadoop大數據平臺基礎框架設計方案概述:

1、如果你對原生hadoop較為熟悉的,你就會發現

dkhadoop是集成了整個hadoop生態系統的全部組建,當然不僅僅是集成這麽簡單,而是做了深度的優化,重新編寫成的一個完整的更高性能的大數據通過計算平臺。這一點跟其他國產發行本大數據平臺還是有著非常的區別的,DKH是做的原生態開發,其他的國產發行版僅僅是簡單的二次開發。

2、DKhadoop通過中間件技術,將復雜的大數據集群配置簡化至三種節點(主節點、管理節點、計算節點),很大程度上簡化了集群的管理運維,增強了集群的高可用性、高可維護性、高穩定性。(數據中間件是大快DKH數據交換層的核心)

3DKH在原生態的基礎上開發,並且保持了開源系統的全部優點,與開源系統100%兼容。這樣,那些基於開源平臺開發的大數據應用就不要經過任何改動,就可以在

DKH上高效運行了。

DKhadoop大數據系統架構設計方案