1. 程式人生 > >一文讀懂Spring Boot、微服務架構和大數據治理之間的故事

一文讀懂Spring Boot、微服務架構和大數據治理之間的故事

Springboot

微服務架構

微服務的誕生並非偶然,它是在互聯網高速發展,技術日新月異的變化以及傳統架構無法適應快速變化等多重因素的推動下誕生的產物。互聯網時代的產品通常有兩類特點:需求變化快和用戶群體龐大,在這種情況下,如何從系統架構的角度出發,構建靈活、易擴展的系統,快速應對需求的變化;同時,隨著用戶的增加,如何保證系統的可伸縮性、高可用性,成為系統架構面臨的挑戰。

如果還按照以前傳統開發模式,開發一個大型而全的系統已經很難滿足市場對技術的需求,這時候分而治之的思想被提了出來,於是我們從單獨架構發展到分布式架構,又從分布式架構發展到 SOA 架構,服務不斷的被拆分和分解,粒度也越來越小,直到微服務架構的誕生。

微服務架構是 SOA 架構的傳承,但一個最本質的區別就在於微服務是真正的分布式的、去中心化的。把所有的“思考”邏輯包括路由、消息解析等放在服務內部,去掉一個大一統的 ESB,服務間輕通信,是比 SOA 更徹底的拆分。微服務架構強調的重點是業務系統需要徹底的組件化和服務化,原有的單個業務系統會拆分為多個可以獨立開發,設計,運行和運維的小應用,這些小應用之間通過服務完成交互和集成。

大約 2009 年開始,Netflix 完全重新定義了它的應用程序開發和操作模型,拉開了微服務探索的第一步,直到2014年3月 Martin Fowler 寫的一篇文章 Microservices 以更加通俗易懂的形式為大家定義了什麽是微服務架構。Martin Fowler 在文中闡述了對微服務架構的設想,認為微服務架構是一種架構模式,它提倡將單一應用程序劃分成一組小的服務,服務之間互相協調、互相配合,為用戶提供最終價值。

每個服務運行在其獨立的進程中,服務和服務間采用輕量級的通信機制互相溝通(通常是基於 HTTP 的 RESTful API)。每個服務都圍繞著具體業務進行構建,並且能夠被獨立地部署到生產環境、類生產環境等。另外,應盡量避免統一的、集中式的服務管理機制,對具體的一個服務而言,應根據業務上下文,選擇合適的語言、工具對其進行構建。

微服務架構和數據治理

隨著微服務架構的落地,人們發現微服務架構雖然改進了開發模式,但同時也引入了一些問題,在這所有的問題中,最重要的也是馬上要面臨的一個問題就是數據的問題。在微服務架構中我們強調徹底的組件化和服務化,每個微服務都可以獨立的部署和投產,其實也就意味著很多的微服務有自己獨立的數據庫。

整個業務數據被分散在各個子服務之後會帶來兩個最明顯的問題:1、業務管理系統對數據完整的查詢,比如分頁查詢、多條件查詢等,數據被割裂後如何來整合?2、如何對數據進一步的分析挖掘?這些需求可能需要分析全量的數據,並且在分析時不能影響到當前業務。

從技術方案來講,我們一般有兩種選擇來處理這些問題,第一種是在線處理數據,第二種是離線處理數據。

在線處理數據的方案就是按照微服務的標準接口來進行,後端需要哪個系統的數據就去調用某個微服務提供的接口來獲取。後端管理平臺根據前端的需求去不同的微服務系統去獲取數據,然後將返回的數據進行處理後將數據返回。這種方案有兩個弊端:1)一方面微服務數據方需要提供數據接口,一方面數據的使用者需要去寫調用方法,並且調用者需要編寫大量的代碼進行數據處理;2)在對各個微服務進行調取數據時會影響微服務的正常業務處理性能。

離線處理數據方案,就是將業務數據準實時的同步到另外一個數據庫中,在同步的過程中進行數據整合處理,以滿足業務方對數據的需求,數據同步過來後,再提供另外一個服務接口專業負責對外輸出數據信息。這種方案有兩個特點:1)數據同步方案是關鍵,技術選型有很多,如何選擇切合公司業務的技術方案;2)離線數據處理對微服務正常業務處理沒有影響。

在我以往的工作中兩種方案都實施過,個人更傾向於使用第二種方案。

MongDB 和數據分析

MongoDB 稱之為對開發人員最友好的數據庫,不再強調傳統關系數據庫中的行和列,整個表可以看作一個 Json 文檔,MongoDB 也被認為在 Nosql 中最像關系數據庫的 Nosql 數據庫,保留了類似關系數據庫的數據庫(DataBase)、集合(Collection)、文檔對象(Document)。

MongoDB 是目前最熱門非關系數據庫的之一,在最新的數據庫排行榜中 MongoDB 排名第五,在所有的非關系數據庫中排名第一,非常廣泛的應用於國內外的互聯網公司。

MongoDB 最大的特點是支持的查詢語言非常強大,其語法有點類似於面向對象的查詢語言,幾乎可以實現類似關系數據庫單表查詢的絕大部分功能,而且還支持對數據建立索引。MongoDB 在高可用和讀寫負載均衡上的實現非常簡潔和友好,MongoDB 自帶了副本集的概念,通過設計恰當的副本集和驅動程序,可以非常便地實現高可用、讀寫負載均衡。

MongoDB 的這些特性非常方便對數據進行高性能查詢,MongoDB 支持 Aggregate 和 Mapreduce 利用分而治之的理念來處理大規模數據分析。Spring Boot 對 MongoDB 的支持非常友好,使用 Spring Boot 非常便利的處理對 MongoDB 查詢和操作,Spring Boot 也提供了組件包來支持對 MongoDB的使用。

MongoDB 4.0 宣布將正式支持 ACID 事務,未來 MongoDB 的想象空間更加巨大!因此 MongDB + Spring Boot 是微服務架構中數據分析的理想選擇之一。

再來聊聊 Spring Boot

Spring Boot 是由 Pivotal 團隊提供的全新框架,其設計目的是用來簡化新 Spring 應用的初始搭建以及開發過程。該框架使用了特定的方式來進行配置,從而使開發人員不再需要定義樣板化的配置。采用 Spring Boot 可以大大的簡化開發模式,所有你想集成的常用框架,它都有對應的組件支持。

Spring Boot 基於 Spring 開發,Spirng Boot 本身並不提供 Spring 框架的核心特性以及擴展功能,只是用於快速、敏捷地開發新一代基於 Spring 框架的應用程序。也就是說,它並不是用來替代 Spring 的解決方案,而是和 Spring 框架緊密結合用於提升 Spring 開發者體驗的工具。同時它集成了大量常用的第三方庫配置(例如 Redis、MongoDB、Jpa、RabbitMQ、Quartz 等等),Spring Boot 應用中這些第三方庫幾乎可以零配置的開箱即用,大部分的 Spring Boot 應用都只需要非常少量的配置代碼,開發者能夠更加專註於業務邏輯。

Spring Boot 一經推出就受到開源社區的追捧,Spring Boot 官方提供了很多 Starters 方便集成第三方產品,很多主流的框架也紛紛進行了主動的集成,比如 Mybatis。Spring 官方非常重視 Spring Boot 的發展,在 Spring 官網首頁進行重點推薦介紹,是目前 Spring 官方重點發展的項目之一。

技術分享圖片

Spring Boot 本身發展特別快,自從 2014 年 4 月發布 Spring Boot 1.0 之後,版本更新非常頻繁,我在 2016 年使用的時候是 1.3.X,到現在 Spring Boot 已經發布了 Spring Boot 2.0,Spring Boot 2.0 集成了很多最新優秀的技術和新特性,並且對 Spring Boot 1.0 的 API 進行了大幅優化。Spring Boot 一經推出就迅速的成為一門熱門的技術,從下圖也可以看出這個結論:

技術分享圖片

上圖為2014年到2018年 Spring Boot 的百度指數,可以看出 Spring Boot 2.0 的推出引發了搜索高峰。

Spring Boot 和 微服務架構

隨著 Spring 不斷的發展,涉及的領域越來越多,項目整合開發需要配合各種各樣的文件,慢慢變得不那麽易用簡單,違背了最初的理念,甚至人稱配置地獄。Spring Boot 正是在這樣的一個背景下被抽象出來的開發框架,目的為了讓大家更容易的使用 Spring 、更容易的集成各種常用的中間件、開源軟件;另一方面,Spring Boot 誕生時,正處於微服務概念在慢慢醞釀中,Spring Boot 的研發融合了微服務架構的理念,實現了在 Java 領域內微服務架構落地的技術支撐。

Spring Boot 作為一套全新的框架,來源於 Spring 大家族,因此 Spring 所有具備的功能它都有,而且更容易使用;Spring Boot 以約定大於配置的核心思想,默認幫我們進行了很多設置,多數 Spring Boot 應用只需要很少的 Spring 配置。Spring Boot 開發了很多的應用集成包,支持絕大多數開源軟件,讓我們以很低的成本去集成其他主流開源軟件。

Spring Boot 特性:

  • 使用 Spring 項目引導頁面可以在幾秒構建一個項目
  • 方便對外輸出各種形式的服務,如 REST API、WebSocket、Web、Streaming、Tasks
  • 非常簡潔的安全策略集成
  • 支持關系數據庫和非關系數據庫
  • 支持運行期內嵌容器,如 Tomcat、Jetty
  • 強大的開發包,支持熱啟動
  • 自動管理依賴
  • 自帶應用監控
  • 支持各種 IED,如 IntelliJ IDEA 、NetBeans

Spring Boot 的這些特性非常方便、快速構建獨立的微服務。所以我們使用 Spring Boot 開發項目,會給我們傳統開發帶來非常大的便利度,可以說如果你使用過 Spring Boot 開發過項目,就不會再願意以以前的方式去開發項目了。

總結一下,使用 Spring Boot 至少可以給我們帶來以下幾方面的改進:

  • Spring Boot 使編碼變簡單,Spring Boot 提供了豐富的解決方案,快速集成各種解決方案提升開發效率。
  • Spring Boot 使配置變簡單,Spring Boot 提供了豐富的 Starters,集成主流開源產品往往只需要簡單的配置即可。
  • Spring Boot 使部署變簡單,Spring Boot 本身內嵌啟動容器,僅僅需要一個命令即可啟動項目,結合 Jenkins 、Docker 自動化運維非常容易實現。
  • Spring Boot 使監控變簡單,Spring Boot 自帶監控組件,使用 Actuator 輕松監控服務各項狀態。

總結,Spring Boot 是 Java 領域最優秀的微服務架構落地技術,沒有之一。

微服務架構、Spring Boot 、大數據治理

了解完微服務架構、Spring Boot、大數據治理之後,我們就發現這樣一個有趣的事情:微服務架構是一種架構思想,是架構不斷發展的必然結果,具有構建靈活、易擴展、快速應用、可伸縮性、高可用等特點;微服務架構思想的推出對技術有了更高的要求,在這樣的背景下 Spring Boot 孕育而生,Spring Boot 出生名門,從一開始就站在一個比較高的起點,又經過這幾年的發展,生態足夠完善,Spring Boot 已經當之無愧成為 Java 領域最熱門的技術。

微服務架構下,數據被分隔到 N 個獨立的微服務中,如何應對市場、業務對大量數據的查詢、分析就變的非常急迫,利用 Spring Boot 和 MongoDB 可以輕松的解決這個問題,通過技術手段將分裂到 N 個微服務的數據同步到 MongoDB 集群中,在同步的過程中進行數據清洗,來滿足公司的各項業務需求。Spring Boot 對 MongoDB 的支持非常友好,一方面 Spring Data 技術預生成很多常用方法便於使用,另一方面 Spring Boot 封裝了分布式計算的相關函數,可以讓我們以較簡潔的方式來實現統計查詢。

Spring Boot 是 Java 領域微服務架構最優落地技術,Spring Boot+MongoDB 方案是在微服務架構下數據治理的最佳方案之一。

當然如果我們對微服務架構、Spring Boot 、MongoDB 不熟悉的話,可能需要走很多的彎路。錯誤的技術方案會對後期的微服務落地帶來非常大的困擾,增加額外的開發工作量,我自己深有體會,合適的技術方案可以節省60%以上的工作量。

為此我特意寫了一個專欄《微服務技術架構和大數據治理實戰》,講解微服務架構和大數據治理的技術落地。將工作中實踐過最具實戰代表性的一些內容整理出來,以 51CTO 專欄的形式來展現。課程內容將站在全局的角度去看待微服務實踐和數據分析,講解微服務架構、Spring Boot、MongoDB、同步方案、數據分析等內容,幫助廣大的技術朋友們少走彎路,掌握微服務和數據分析的技術。

本專欄共18節課程,圍繞四大塊內容:

  • 一、微服務架構和 Spring Boot;
  • 二、Spring Boot 和 MongoDB 實戰詳解,介紹實戰中遇到的典型問題;
  • 三、微服務架構下的數據治理,數據同步、實時變更;
  • 四、微服務架構實踐的經驗和教訓。

認真學完此專欄之後,會對微服務架構實踐、Spring Boot 和 MongoDB 使用、微服務架構下數據處理有進一步的了解,具備使用 Spring Boot 開發微服務項目、利用相關技術解決微服務架構中數據治理的疼點。

專欄地址:微服務技術架構和大數據治理實戰

技術分享圖片

一文讀懂Spring Boot、微服務架構和大數據治理之間的故事