1. 程式人生 > >系統架構設計之微服務(Microservice)

系統架構設計之微服務(Microservice)

看了這篇文章總體上會對微服務有個認識,如果不是分散式應用和採用雲部署模式,微服務基本上是一個技術概念,如果不能得以實踐,姑且聽之。

什麼是微服務架構?

  微服務是指開發一個單個 小型的但有業務功能的服務,每個服務都有自己的處理和輕量通訊機制,可以部署在單個或多個伺服器上。

  微服務也指一種種鬆耦合的、有一定的有界上下文的面向服務架構。也就是說,如果每個服務都要同時修改,那麼它們就不是微服務,因為它們緊耦合在一起;如果你需要掌握一個服務太多的上下文場景使用條件,那麼它就是一個有上下文邊界的服務,這個定義來自DDD領域驅動設計

微服務優點是什麼?

  • 每個微服務都很小,這樣能聚焦一個指定的業務功能或業務需求。
  • 微服務能夠被小團隊單獨開發,這個小團隊是2到5人的開發人員組成。
  • 微服務是鬆耦合的,是有功能意義的服務,無論是在開發階段或部署階段都是獨立的。
  • 微服務能使用不同的語言開發。
  • 微服務允許容易且靈活的方式整合自動部署,通過持續整合工具,如Jenkins, Hudson, bamboo 。
  • 一個團隊的新成員能夠更快投入生產。
  • 微服務易於被一個開發人員理解,修改和維護,這樣小團隊能夠更關注自己的工作成果。無需通過合作才能體現價值。
  • 微服務允許你利用融合最新技術。
  • 微服務只是業務邏輯的程式碼,不會和HTML,CSS 或其他介面元件混合。
  • 微服務能夠即時被要求擴充套件。
  • 微服務能部署中低端配置的伺服器上。
  • 易於和第三方整合。
  • 每個微服務都有自己的儲存能力,可以有自己的資料庫。也可以有統一資料庫。

微服務架構的缺點是什麼?

  • 微服務架構可能帶來過多的操作。
  • 需要DevOps技巧 (http://en.wikipedia.org/wiki/DevOps).
  • 可能雙倍的努力。
  • 分散式系統可能複雜難以管理。
  • 因為分佈部署跟蹤問題難。
  • 當服務數量增加,管理複雜性增加。


 微服務適合哪種情況?
  當你需要支援桌面 web 移動 智慧電視 可穿戴時都是可以的,甚至將來你可能不知道但需要支援的某種環境。


 哪個公司或產品使用微服務架構?
  大部分大型網站系統如Twitter, Netflix, Amazon 和 eBay都已經從傳統整體型架構monolithic architecture遷移到微服務架構


微服務之間是如何獨立通訊的?
  這依賴需求,通過使用HTTP/REST,資料格式使用JSON 或 Protobuf(Binary protocol),通訊協議是自由的。


 為什麼現在每個人都在談論微服務?
  自從SOA面試15年來,隨著RESTful web服務和JSON資料交換格式流行,簡單快速建立一個可連線的服務已經越來越方便了。

開發方式影響

  隨著持續交付概念推廣以及Docker容器普及,微服務將這兩種理念和技術結合起來,形成新的微服務+API + 平臺的開發模式,提出了容器化微服務的持續交付概念。

  下圖傳統Monolithic的DevOps開發隊伍方式:

  這種整體型架構要求產品隊伍橫跨產品管理 Dev開發 QA DBA 以及系統運營管理,而微服務架構引入以後,如下圖:

  微服務促進了DevOps方式的重組,將一個大臃腫的整體產品開發隊伍切分為根據不同微服務的劃分的產品隊伍,以及一個大的整體的平臺隊伍負責運營管理,兩者之間通過API互動,做到了鬆耦合隔絕。

  由於Docker引入,不同的微服務可以使用不同的技術架構,比如Node.js Java Ruby Python等等,這些單個的服務都可以獨立完成交付生命週期,如下:

微服務案例

  Netflix的微服務架構如下,著重全球分發 高可擴充套件性和可用性:

  Twitter的微服務架構,注重高效的可擴充套件的資料中心:

twiiter微服務

參考資料:

EDA

WHAT - 什麼是微服務

微服務簡介

這次參加JavaOne2015最大的困難就是聽Microservice相關的session,無論內容多麼水,只要題目帶microservice,必定報不上名,可見Microservice有多火。最喜歡其中一頁。關於這個典故,可以參考this,此圖適用於一切高大上的名字——技術有SOA,Agile,CLOUD,DevOps等等,古代有道,氣,八卦等等。此類名詞的最大特點就是一解釋就懂,一問就不知,一討論就打架。
screenshot

微服務的流行,Martin功不可沒,這老頭也是個奇人,特別擅長抽象歸納和製造概念,我覺的這就是最牛逼的markting啊,感覺這也是目前國人欠缺的能力。

Martin Fowler是國際著名的OO專家,敏捷開發方法的創始人之一,現為ThoughtWorks公司的首席科學家.福勒(Martin Fowler),在面向物件分析設計、UML、模式、軟體開發方法學、XP、重構等方面,都是世界頂級的專家,現為Thought Works公司的首席科學家。Thought Works是一家從事企業應用開發和整合的公司。早在20世紀80年代,Fowler就是使用物件技術構建多層企業應用的倡導者,他著有幾本經典書籍:《企業應用架構模式》、《UML精粹》和《重構》等。—— 百度百科

先來看看傳統的web開發方式,通過對比比較容易理解什麼是Microservice Architecture。和Microservice相對應的,這種方式一般被稱為Monolithic(比較難傳神的翻譯)。所有的功能打包在一個WAR包裡,基本沒有外部依賴(除了容器),部署在一個JEE容器(Tomcat,JBoss,WebLogic)裡,包含了DO/DAO,Service,UI等所有邏輯。
screenshot

Monolithic比較適合小專案,優點是:

  • 開發簡單直接,集中式管理

  • 基本不會重複開發

  • 功能都在本地,沒有分散式的管理開銷和呼叫開銷

它的缺點也非常明顯,特別對於網際網路公司來說(不一一列舉了):

  • 開發效率低:所有的開發在一個專案改程式碼,遞交程式碼相互等待,程式碼衝突不斷

  • 程式碼維護難:程式碼功能耦合在一起,新人不知道何從下手

  • 部署不靈活:構建時間長,任何小修改必須重新構建整個專案,這個過程往往很長

  • 穩定性不高:一個微不足道的小問題,可以導致整個應用掛掉

  • 擴充套件性不夠:無法滿足高併發情況下的業務需求

所以,現在主流的設計一般會採用Microservice Architecture,就是基於微服務的架構。簡單來說, 微服務的目的是有效的拆分應用,實現敏捷開發和部署
screenshot

用《The art of scalability》一書裡提到的scale cube比較容易理解如何拆分。你看,我們叫分庫分表,別人總結成了scale cube,這就是抽象的能力啊,把複雜的東西用最簡單的概念解釋和總結。X軸代表執行多個負載均衡器之後執行的例項,Y軸代表將應用進一步分解為微服務(分庫),資料量大時,還可以用Z軸將服務按資料分割槽(分表)
screenshot

微服務的具體特徵

先看看最官方的定義吧

The microservice architectural style is an approach to developing a single application asa suite of small services, eachrunning in its own process and communicating with lightweight mechanisms, often an HTTP resource API. These services are **built around business capabilities** and independently deployable by fully automated deployment machinery. There isa bare minimum of centralized management of these services , which may be written in different programming languages and use different data storage technologies.
-- James Lewis and Martin Fowler

把Martin老頭的定義大概的翻譯一下就是下面幾條,這個定義還是太抽象是不是,那就對了,就是要務虛,都說明白了誰還找他付費諮詢啊,這麼貴。
1. 一些列的獨立的服務共同組成系統
2. 單獨部署,跑在自己的程序裡
3. 每個服務為獨立的業務開發
4. 分散式的管理

Martin自己也說了,每個人對微服務都可以有自己的理解,不過大概的標準還是有一些的。

  • 分散式服務組成的系統

  • 按照業務而不是技術來劃分組織

  • 做有生命的產品而不是專案

  • Smart endpoints and dumb pipes(我的理解是強服務個體和弱通訊)

  • 自動化運維(DevOps)

  • 容錯

  • 快速演化

SOA vs Microservice

除了Smart endpoints and dumb pipes都很容易理解對嗎?相信很多人都會問一個問題,這是不是就是SOA換了個概念,掛羊頭賣狗肉啊,有說法把Microservice叫成Lightway SOA。也有很多傳統磚家跳出來說Microservice就是SOA。其實Martin也沒否認SOA和Microservice的關係。

我個人理解,Microservice是SOA的傳承,但一個最本質的區別就在於Smart endpoints and dumb pipes,或者說是真正的分散式的、去中心化的。Smart endpoints and dumb pipes本質就是去ESB,把所有的“思考”邏輯包括路由、訊息解析等放在服務內部(Smart endpoints),去掉一個大一統的ESB,服務間輕(dumb pipes)通訊,是比SOA更徹底的拆分。

HOW - 怎麼具體實踐微服務

聽上去好像都不錯,具體怎麼落地啊?這需要回答下面幾個問題:

  • 客戶端如何訪問這些服務?

  • 服務之間如何通訊?

  • 這麼多服務,怎麼找?

  • 服務掛了怎麼辦?

客戶端如何訪問這些服務?

原來的Monolithic方式開發,所有的服務都是本地的,UI可以直接呼叫,現在按功能拆分成獨立的服務,跑在獨立的一般都在獨立的虛擬機器上的Java程序了。客戶端UI如何訪問他的?後臺有N個服務,前臺就需要記住管理N個服務,一個服務下線/更新/升級,前臺就要重新部署,這明顯不服務我們拆分的理念,特別當前臺是移動應用的時候,通常業務變化的節奏更快。另外,N個小服務的呼叫也是一個不小的網路開銷。還有一般微服務在系統內部,通常是無狀態的,使用者登入資訊和許可權管理最好有一個統一的地方維護管理(OAuth)。

所以,一般在後臺N個服務和UI之間一般會一個代理或者叫API Gateway,他的作用包括

  • 提供統一服務入口,讓微服務對前臺透明

  • 聚合後臺的服務,節省流量,提升效能

  • 提供安全,過濾,流控等API管理功能

我的理解其實這個API Gateway可以有很多廣義的實現辦法,可以是一個軟硬一體的盒子,也可以是一個簡單的MVC框架,甚至是一個Node.js的服務端。他們最重要的作用是為前臺(通常是移動應用)提供後臺服務的聚合,提供一個統一的服務出口,解除他們之間的耦合,不過API Gateway也有可能成為單點故障點或者效能的瓶頸。

一般用過Taobao Open Platform的就能很容易的體會,TAO就是這個API Gateway。
screenshot

服務之間如何通訊?

因為所有的微服務都是獨立的Java程序跑在獨立的虛擬機器上,所以服務間的通行就是IPC(inter process communication),已經有很多成熟的方案。現在基本最通用的有兩種方式。這幾種方式,展開來講都可以寫本書,而且大家一般都比較熟悉細節了,就不展開講了。

  • 同步呼叫

    • REST(JAX-RS,Spring Boot)

    • RPC(Thrift, Dubbo)

  • 非同步訊息呼叫(Kafka, Notify, MetaQ)

screenshot

一般同步呼叫比較簡單,一致性強,但是容易出調用問題,效能體驗上也會差些,特別是呼叫層次多的時候。RESTful和RPC的比較也是一個很有意思的話題。一般REST基於HTTP,更容易實現,更容易被接受,服務端實現技術也更靈活些,各個語言都能支援,同時能跨客戶端,對客戶端沒有特殊的要求,只要封裝了HTTP的SDK就能呼叫,所以相對使用的廣一些。RPC也有自己的優點,傳輸協議更高效,安全更可控,特別在一個公司內部,如果有統一個的開發規範和統一的服務框架時,他的開發效率優勢更明顯些。就看各自的技術積累實際條件,自己的選擇了。

而非同步訊息的方式在分散式系統中有特別廣泛的應用,他既能減低呼叫服務之間的耦合,又能成為呼叫之間的緩衝,確保訊息積壓不會沖垮被呼叫方,同時能保證呼叫方的服務體驗,繼續幹自己該乾的活,不至於被後臺效能拖慢。不過需要付出的代價是一致性的減弱,需要接受資料最終一致性;還有就是後臺服務一般要實現冪等性,因為訊息傳送出於效能的考慮一般會有重複(保證訊息的被收到且僅收到一次對效能是很大的考驗);最後就是必須引入一個獨立的broker,如果公司內部沒有技術積累,對broker分散式管理也是一個很大的挑戰。

這麼多服務,怎麼找?

在微服務架構中,一般每一個服務都是有多個拷貝,來做負載均衡。一個服務隨時可能下線,也可能應對臨時訪問壓力增加新的服務節點。服務之間如何相互感知?服務如何管理?這就是服務發現的問題了。一般有兩類做法,也各有優缺點。基本都是通過zookeeper等類似技術做服務註冊資訊的分散式管理。當服務上線時,服務提供者將自己的服務資訊註冊到ZK(或類似框架),並通過心跳維持長連結,實時更新連結資訊。服務呼叫者通過ZK定址,根據可定製演算法,找到一個服務,還可以將服務資訊快取在本地以提高效能。當服務下線時,ZK會發通知給服務客戶端。

  • 客戶端做:優點是架構簡單,擴充套件靈活,只對服務註冊器依賴。缺點是客戶端要維護所有呼叫服務的地址,有技術難度,一般大公司都有成熟的內部框架支援,比如Dubbo。

  • 服務端做:優點是簡單,所有服務對於前臺呼叫方透明,一般在小公司在雲服務上部署的應用採用的比較多。

screenshot

這麼多服務,服務掛了怎麼辦?

前面提到,Monolithic方式開發一個很大的風險是,把所有雞蛋放在一個籃子裡,一榮俱榮,一損俱損。而分散式最大的特性就是網路是不可靠的。通過微服務拆分能降低這個風險,不過如果沒有特別的保障,結局肯定是噩夢。我們剛遇到一個線上故障就是一個很不起眼的SQL計數功能,在訪問量上升時,導致資料庫load彪高,影響了所在應用的效能,從而影響所有呼叫這個應用服務的前臺應用。所以當我們的系統是由一系列的服務呼叫鏈組成的時候,我們必須確保任一環節出問題都不至於影響整體鏈路。相應的手段有很多:

  • 重試機制

  • 限流

  • 熔斷機制

  • 負載均衡

  • 降級(本地快取)

WHY - 微服務的應用

這裡有一個圖非常好的總結微服務架構需要考慮的問題,包括

  • API Gateway

  • 服務間呼叫

  • 服務發現

  • 服務容錯

  • 服務部署

  • 資料呼叫

screenshot

微服務的優點和缺點(或者說挑戰)一樣明顯。

  • 優點

    • 開發簡單

    • 技術棧靈活

    • 服務獨立無依賴

    • 獨立按需擴充套件

    • 可用性高

  • 缺點(挑戰)

    • 多服務運維難度

    • 系統部署依賴

    • 服務間通訊成本

    • 資料一致性

    • 系統整合測試

    • 重複工作

    • 效能監控

沒有最好的,只有適合自己的。
screenshot

  • 對於大的網際網路公司,微服務架構是血液,是習慣,每家公司都有自己的套路和架構,細節有不同,但是核心理念是通的。

  • 對於一般的公司而言,實踐微服務有非常大的技術挑戰,於是乎才有了這麼多IT供應商考慮這裡的商機。微服務比較適合未來有一定的擴充套件複雜度,且有很大使用者增量預期的應用,說人話就是新興的網際網路公司。創業初期,不可能買大量的機器或者很貴的機器,但是又必須考慮應對成功後的巨量的使用者,微服務架構成了最好的選擇。screenshot

So What - 思考

看到上面的圖,不是不覺得特別的熟悉?其實我們N年前就用的滾瓜爛熟了好不好?褲子都拖了,你就給我看這個?

其實本來所謂的微服務就是對網際網路在應用技術的一個總結歸納,IT廠商鼓吹所有概念無非是為了生意(business),SOA是,Cloud是,Microservice也是。下面玩笑很有意思的概括了這個情況(我加了第一條線,原圖見這裡
screenshot

所以微服對我們的思考我覺得更多的是思維上的,對已微服務架構, 技術上不是問題,意識比工具重要。

  • 按照業務 或者客戶需求組織資源(這是最難的)

  • 做有生命的產品,而不是專案

  • 頭狼戰隊,全棧化

  • 後臺服務貫徹Single Responsibility Principle

  • VM->Docker (to PE)

  • DevOps (to PE)

同時,對於開發同學,有這麼多的中介軟體和強大的PE支援固然是好事,我們也需要深入去了解這些中介軟體背後的原理,知其然知其所以然,設想下,如果我們是一個小公司的CTO,離開的阿里的大環境,在有限的技術資源如何通過開源技術實施微服務?

最後,一般提到微服務都離不開DevOps和Docker,理解微服務架構是核心,devops和docker是工具,是手段。下次在抽時間再學習整理下。
screenshot

參考資料和推薦閱讀

文章來自阿里巴巴技術協會(ATA)精選集,原文首發於阿里雲棲社群:http://yq.aliyun.com/articles/2764雲棲社群是由阿里雲負責運營、阿里巴巴技術協會和阿里巴巴集團各技術團隊提供內容支援的開放式技術社群:http://yq.aliyun.com