hadoop大資料平臺架構之DKhadoop詳解
大資料的時代已經來了,資訊的爆炸式增長使得越來越多的行業面臨這大量資料需要儲存和分析的挑戰。Hadoop作為一個開源的分散式並行處理平臺,以其高拓展、高效率、高可靠等優點越來越受到歡迎。這同時也帶動了hadoop商業版的發行。這裡就通過大快DKhadoop為大家詳細介紹一下hadoop大資料平臺架構內容。
目前國內的商業發行版hadoop除了大快DKhadoop以外還有像華為雲等。雖然發行方不同,但在平臺架構上相似,這裡就以我比較熟悉的dkhadoop來介紹。
1、大快Dkhadoop,可以說是集成了整個HADOOP生態系統的全部元件,並對其進行了深度優化,重新編譯為一個完整的更高效能的大資料通用計算平臺,實現了各部件的有機協調。因此
2、大快DKhadoop中介軟體技術把大資料叢集配置簡化成三種節點,這樣不僅簡化了叢集的管理運維,還增強了叢集的可用性和穩定性。Dkhadoop中介軟體集成了apache的很多元件包含了從檔案、SQL、日誌、訊息到爬蟲和流資料以及異構資料的支援;集成了大快的壓縮演算法,和資料同步分發技術,實現了資料的匯入和減少調動的同時實現,對於有實時資料要求的專案具有不可替代的技術優勢。
3、大快DKhadoop商業發行版還是保持了開源系統的優點的,可以與開源系統100%相容。對於那些基於開源平臺開發的大資料應用並不需要經過改動同樣可以在dkhadoop上高效執行。
4、DKhadoop一體化開發框架提供了大資料、搜尋、自然語言處理和人工智慧開發中常用的二十多個類,總計一百餘種方法,實現了開發效率的大幅提升。DK.HADOOP整合集成了NOSQL資料庫,簡化了檔案系統與非關係資料庫之間的程式設計;DK.HADOOP改進了叢集同步系統,使得HADOOP的資料處理更加高效。
5、DKhadoop的SQL版本,還提供了分散式MySQL的整合,傳統的資訊系統,可無縫的實現面向大資料和分散式的跨越。
6、ES:大快DKhadoop的搜尋系統是在開源ES系統上二次開發的,支援完成的全文搜尋。整合了對中文搜尋的有效支援以及對大快資料同步技術的支援後的高效能版本,DK.ES是DKH的核心元件之一,僅隨DKH整合整合了對中文搜尋的有效支援以及對大快資料同步技術的支援後的高效能版本,DK.ES是DKhadoop的核心元件之一。
7、漢語言處理元件:大快的漢語言處理是目前國內使用率最高的開源自然語言處理開發包。
簡單的就介紹這些了吧,想要進一步瞭解的可以搜尋查詢下或者下載一下dkhadoop學習版本瞭解。以下是關於dkhadoop版本的問題:
DKH標準版 DKH-分散式SQL版 DK.HADOOP發行版
DKH標準版有三個不同的子版本:用於開發除錯的單機版;支援三節點的學習版;支援5節點以上的標準伺服器版
DKH-分散式SQL版有兩個子版本:學習版、伺服器版