1. 程式人生 > >資料分析的資料架構知識詳解(四)

資料分析的資料架構知識詳解(四)


在前面的文章中我們給大家介紹到了傳統大資料架構、流式架構、lambda架構,同時我們也給大家講了講這些結構的優缺點以及適用場景。除了這些架構,其實還有Kappa架構、Unifield架構。下面我們就給大家介紹一下這兩個架構,希望這篇文章能夠給大家帶來幫助。

首先給大家說一說Kappa架構。Kappa架構在Lambda的基礎上進行了優化,將實時和流部分進行了合併,將資料通道以訊息佇列進行替代。因此對於Kappa架構來說,依舊以流處理為主,但是資料卻在資料湖層面進行了儲存,當需要進行離線分析或者再次計算的時候,則將資料湖的資料再次經過訊息佇列重播一次則可。這個架構的有點就是Kappa架構解決了Lambda架構裡面的冗餘部分,以資料可重播的超凡脫俗的思想進行了設計,整個架構非常簡潔。雖然Kappa架構看起來簡潔,但是施難度相對較高,尤其是對於資料重播部分。適用場景:和Lambda類似,該架構是針對Lambda的優化。

然後給大家說說Unifield架構。我們在前面提到的所有架構都圍繞海量資料處理為主,Unifield架構則更激進,將機器學習和資料處理揉為一體,從核心上來說,Unifield依舊以Lambda為主,不過對其進行了改造,在流處理層新增了機器學習層。可以看到資料在經過資料通道進入資料湖後,新增了模型訓練部分,並且將其在流式層進行使用。同時流式層不單使用模型,也包含著對模型的持續訓練。這個架構的優點就是Unifield架構提供了一套資料分析和機器學習結合的架構方案,非常好的解決了機器學習如何與資料平臺進行結合的問題。缺點是Unifield架構實施複雜度更高,對於機器學習架構來說,從軟體包到硬體部署都和資料分析平臺有著非常大的差別,因此在實施過程中的難度係數更高。適用場景是有著大量資料需要分析,同時對機器學習方便又有著非常大的需求或者有規劃的情況。

上面提到的所有架構都是比較經典的,大家在進行資料分析的時候一定要掌握好資料分析的架構知識,這樣才能夠做好資料分析的工作,這些架構的優缺點大家一定要把握好,這樣才能夠物盡其用,如果您喜歡我們的內容,那麼快快關注我們的網站吧。