1. 程式人生 > >架構師必須知道的架構設計原則

架構師必須知道的架構設計原則

不管你是新手程式設計師、職場老司機,還是資深架構師,這篇文章對你來說應該都有裨益。雖然仍是假期,但也建議你多花點時間讀一讀這些真言。

 

寫在前面

 

如果一個技術已經存在 2 年,比如現在很火的前端技術 react 和 vue 等,那麼我能預估這個技術大致還有 2 年的生命期,再久就不確定了;如果一個架構或設計原則已經存在 15 年,例如單一職責和依賴倒置原則,我可以預期它還有 15 年甚至更久的生命期。原則是比具體技術更抽象,更接近事物本質,也更經得起時間考驗的東西。這些原則沉澱在架構師的腦海中,最終內化成他的 mindset,以潛意識方式影響和指導他的架構和設計工作。

一晃我在軟體研發行業工作十多個年頭了,前面大部分時間做架構設計和開發,現在轉型做研發管理。隨著時間的推移,很多技戰術細節性的東西 (工具,框架,程式語言) 在我腦海中漸漸模糊,但是一些平時學習積累起來,並且在實踐中加深體會的軟體架構設計和組織原則,這些原則性的東西卻絲毫沒有被時間沖淡,反而愈加清新。現在即使我不在一線開發,但這些沉澱下來的原則仍然潛移默化地影響我的日常管理和部分架構設計指導工作。我想有必要總結一下那些業界知名,給我留下深刻印象的軟體架構設計和組織原則,和大家一起分享。

 

軟體設計原則

GRASP 通用職責分配軟體模式

 

來自 Craig Larman 的軟體設計書《UML 和模式應用》[附錄 1],Larman 在書中提出軟體設計的關鍵任務是職責分配,並提煉總結出 9 種 (5 種核心 +4 種擴充套件) 軟體職責分配模式,這些模式是比 GoF 設計模式更抽象的元模式。

1. 資訊專家 (Information Expert)

為物件分配職責的通用原則 – 把職責分配給擁有足夠資訊可以履行職責的專家

2. 建立者 (Creator)

將建立 A 的職責賦給 B,如果至少下面一種情況為真:

  • B“包含”或者聚合 A

  • B 記錄 A 的例項

  • B 密切地使用 A

  • B 擁有 A 的初始化資料

3. 低耦合 (Low Coupling)

賦予職責使得物件間的耦合度儘可能低,最小化物件間的依賴和變更影響,最大化重用。

4. 高內聚 (High Cohesion)

賦予職責使得每個物件的職責儘可能保持聚焦和單一,易於管理和理解。

5. 控制器 (Controller)

把職責賦予系統、裝置或者子系統的表示類 (門面控制器),或者某個用例的表示類 (用例控制器),讓控制器接收事件並協調整個系統的運作。

6. 多型 (Polymorphism)

將職責分配給多個具有同名方法的多型子類,執行時根據需要動態切換子類,讓系統行為變得可插拔。

7. 純虛構 (Pure Fabrication)

針對真實問題域中不存在,但是設計建模中有用的概念,設計虛構類並賦予職責。

8. 間接 (Indirection)

在兩個或者多個物件間有互動的情況下,為避免直接耦合,提高重用性,建立中間類並賦予職責,物件的互動交由中間類協調。

9. 受保護的變化 (Protected Variation)

簡單講就是封裝變化。識別系統中可能的不穩定或者變化,在不穩定元件上建立穩定的抽象介面,將可能的變化封裝在介面之後,使得系統內部的不穩定或者變化不會對系統的其它部分產生不良影響。

 

SOLID 面向物件設計原則

 

S.O.L.I.D 是面向物件設計和程式設計 (OOD&OOP) 中幾個重要原則的首字母縮寫,受 Robert Martin 推崇。

1. 單一職責原則 (The Single Responsibility Principle)

修改某個類的理由應該只有一個,如果超過一個,說明類承擔不止一個職責,要視情況拆分。

2. 開放封閉原則 (The Open Closed Principle)

軟體實體應該對擴充套件開放,對修改封閉。一般不要直接修改類庫原始碼(即使你有原始碼),通過繼承等方式擴充套件。

3. 里氏替代原則 (The Liskov Substitution Principle)

當一個子類的例項能夠被替換成任何超類的例項時,它們之間才是真正的 is-a 關係。

4. 依賴倒置原則 (The Dependency Inversion Principle)

高層模組不應該依賴於底層模組,二者都應該依賴於抽象。換句話說,依賴於抽象,不要依賴於具體實現。比方說,你不會把電器電源線焊死在室內電源介面處,而是用標準的插頭插在標準的插座 (抽象) 上。

5. 介面分離原則 (The Interface Segregation Principle)

不要強迫使用者去依賴它們不使用的介面。換句話說,使用多個專門的介面比使用單一的大而全介面要好。

 

我的解讀

 

  1. 我職業早年主要關注軟體設計和程式設計,所以花蠻多時間學習和消化 GRASP 和 SOLID 設計原則。這些原則對我影響很深,尤其是單一職責,資訊專家,關注分離,依賴倒置 / 封裝變化,分而治之等核心原則,現在日常研發中我時常用這些原則指導新手工程師。

  2. 高內聚 + 低耦合,就像道中的一陰一陽,是所有其它 OO 設計原則的原則 (元原則),其它設計原則都是在這兩個基礎上泛化衍生出來的。

  3. 上述原則雖然是針對 OO 設計和程式設計提出,但是對於大規模系統架構仍然適用。比如,微服務架構就體現了:

    • 單一職責:一個微服務儘可能要職責單一,提供的介面也儘可能單一 (介面分離原則),安全 / 路由 / 限流等跨橫切面的關注點 (Cross-Cutting Concerns) 由獨立閘道器負責,體現關注分離 (Separation of Concerns)。

    • 資訊專家:當不確定哪個團隊應該負責某個微服務時,一般原則也是誰擁有資料誰負責,基於有界上下文 Bounded Context(一般是邊界比較清晰的領域資料來源)構建微服務。

    • 鬆散耦合:服務之間通過 HTTP/JSON 等輕量機制通訊,服務之間不強耦合。

    • 受保護的變化和依賴倒置:服務之間只依賴抽象介面,實現可能隨時變化。

    • 間接:閘道器在外面的客戶端和內部的服務之間增加了一層間接,使兩者不強耦合,可以相互獨立演化。

  4. 作為架構師或者設計師,有兩個設計能力是需要重點培養的,也是最難和最能體現架構設計水平的:

    • 合理的職責分配能力,也就是每個類 / 元件 / 子系統應該承擔什麼職責,如何保證職責單一,它們之間如何協作;

    • 系統抽象和核心領域建模能力,需要深入一線業務域。

 

分散式系統架構設計原則和理論

AKF 架構原則

 

這 15 個架構原則來自《架構即未來 (The Art of Scalability)》[附錄 2] 一書,作者馬丁 L. 阿伯特和邁克爾 T. 費舍爾分別是 eBay 和 PayPal 的前 CTO,他們經歷過 eBay 和 PayPal 大規模分散式電商平臺的架構演進,在一線實戰經驗的基礎上總結並提煉出 15 條架構原則:

1.N + 1 設計

永遠不要少於兩個,通常為三個。比方說無狀態的 Web/API 一般部署至少>=2 個。

2. 回滾設計

確保系統可以回滾到以前釋出過的任何版本。可以通過釋出系統保留歷史版本,或者程式碼中引入動態開關切換機制 (Feature Switch)。

3. 禁用設計

能夠關閉任何釋出的功能。新功能隱藏在動態開關機制 (Feature Switch) 後面,可以按需一鍵開啟,如發現問題隨時關閉禁用。

4. 監控設計

在設計階段就必須考慮監控,而不是在實施完畢之後補充。例如在需求階段就要考慮關鍵指標監控項,這就是度量驅動開發 (Metrics Driven Development) 的理念。

5. 設計多活資料中心

不要被一個數據中心的解決方案把自己限制住。當然也要考慮成本和公司規模發展階段。

6. 使用成熟的技術

只用確實好用的技術。商業組織畢竟不是研究機構,技術要落地實用,成熟的技術一般坑都被踩平了,新技術在完全成熟前一般需要踩坑躺坑。

7. 非同步設計

能非同步儘量用非同步,只有當絕對必要或者無法非同步時,才使用同步呼叫。

8. 無狀態系統

儘可能無狀態,只有當業務確實需要,才使用狀態。無狀態系統易於擴充套件,有狀態系統不易擴充套件且狀態複雜時更易出錯。

9. 水平擴充套件而非垂直升級

永遠不要依賴更大、更快的系統。一般公司成長到一定階段普遍經歷過買更大、更快系統的階段,即使淘寶當年也買小型機扛流量,後來扛不住才體會這樣做不 scalable,所以才有後來的去 IOE 行動。

10. 設計時至少要有兩步前瞻性

在擴充套件性問題發生前考慮好下一步的行動計劃。架構師的價值就體現在這裡,架構設計對於流量的增長要有提前量。

11. 非核心則購買

如果不是你最擅長,也提供不了差異化的競爭優勢則直接購買。避免 Not Invented Here 症狀,避免凡事都要重造輪子,畢竟達成業務目標才是重點。

12. 使用商品化硬體

在大多數情況下,便宜的就是最好的。這點和第 9 點是一致的,通過商品化硬體水平擴充套件,而不是買更大、更快的系統。

13. 小構建、小發布和快試錯

全部研發要小構建,不斷迭代,讓系統不斷成長。這個和微服務理念一致。

14. 隔離故障

實現故障隔離設計,通過斷路保護避免故障傳播和交叉影響。通過艙壁泳道等機制隔離失敗單元 (Failure Unit),一個單元的失敗不至影響其它單元的正常工作。

15. 自動化

設計和構建自動化的過程。如果機器可以做,就不要依賴於人。自動化是 DevOps 的基礎。

 

我的解讀

 

  1. 這 15 條架構原則基本上是 eBay 在發展,經歷過流量數量級增長衝擊過程中,通過不斷踩坑踩出來的,是乾貨中的乾貨。消化吸收這 15 條原則,基本可保系統架構不會有原則性問題。

  2. 這 15 條原則同樣適用於現在的微服務架構。eBay 發展較早,它內部其實很早 (差不多 2010 年前) 就已形成完善的微服務生態,只是沒有提出微服務這個概念。

  3. 這 15 條原則可根據 TTM(Time To Market),可用性 / 可擴充套件性 / 質量,成本 / 效率分佈在三個環內,如下圖所示。

 

12 要素應用

 

Heroku[附錄 3] 是國外知名的雲應用平臺。基於上百萬應用的託管和運營經驗,創始人 Adam Wiggins 提出了 12 要素應用宣言 [附錄 4]。簡單講,滿足這 12 個要素的應用是比較容易雲化並居住在 Heroku 平臺上的。

1. 基準程式碼

一份基準程式碼,多份部署。如果用映象部署方式,則一個映象可以部署到多個環境 (測試,預發,生產),而不是給每個環境製作一個不同映象。

2. 依賴

顯式宣告依賴。如果用映象部署,則一般依賴被直接打在映象中,或者宣告在 docker file 中。

3. 配置

在環境中儲存配置。在 Heroku 或者類似的 PaaS 平臺上,配置一般是推薦注入到環境變數中的。現在採用集中式配置中心也是一種流行方式。

4. 後端服務

把後端服務 (例如快取,資料庫,MQ 等) 當作附加資源,相關配置和連線字串通過環境變數注入,或者採用配置中心。

5. 構建、釋出和執行

嚴格分離構建和執行。如果使用映象部署,則構建、釋出 / 執行是通過映象這種中間格式嚴格分離的。

6. 程序

一個或者多個無狀態的程序執行應用。容器執行時相當於程序,適用於無狀態 Web/API。

7. 埠繫結

通過埠繫結提供服務。容器也是通過埠繫結對外提供服務。

8. 併發

通過程序模型進行擴充套件。容器執行時相當於程序,通過起多個容器可以任意擴充套件併發數量。

9. 易處理

快速啟動和優雅終止可最大化健壯性。docker 容器支援秒級啟動和關閉。

10. 開發環境和線上環境等價

儘可能保持開發、測試、預發和線上環境相同。容器可以保證容器內執行時環境的一致性,還需要保證不同環境的一致性,例如不同環境內的作業系統,負載均衡,服務發現,後臺服務,監控告警等要儘可能一致。

11. 日誌

把日誌當作資料流。Heroku 不支援本地檔案,所以必須以流方式把日誌輸送到後臺日誌服務。除了日誌以外還要補充考慮 metrics 流的採集和輸送。

12. 管理程序

後臺管理任務當作一次性的程序。其實相當於在 Heroku 上以獨立程序方式執行任務 Job。

 

我的解讀

 

  1. 12 要素應用也是當前雲原生應用 (Cloud Native App) 的參考標準,我把這 12 要素也稱為雲應用遷移原則。滿足這 12 個要素的應用,可以比較順利遷移到各種雲平臺 (Kubernetes, Marathon, Cloud Foundry 等) 上。

  2. 對於面臨企業遺留應用改造和雲化遷移的架構師,可以重點參考這 12 條遷移原則。

  3. Docker 容器技術可以認為是為雲遷移量身定製的技術。容器化是後續雲遷移的捷徑,所以遺留應用改造可以先想辦法做到容器化。

 

CAP 定理

 

2000 年 7 月,加州大學伯克利分校的 Eric Brewer 教授在 ACM PODC 會議上提出 CAP 猜想。2 年後,麻省理工學院的 Seth Gilbert 和 Nancy Lynch 從理論上證明了 CAP。之後,CAP 理論正式成為分散式計算領域的公認定理。

CAP 認為:一個分散式系統最多同時滿足一致性 (Consistency),可用性 (Availability) 和分割槽容忍性 (Partition Tolerance) 這三項中的兩項。

1.一致性 (Consistency)

一致性指“all nodes see the same data at the same time”,即更新操作成功,所有節點在同一時間的資料完全一致。

2.可用性 (Availability)

可用性指“Reads and writes always succeed”,即服務一直可用,而且響應時間正常。

3.分割槽容忍性 (Partition tolerance)

分割槽容忍性指“the system continue to operate despite arbitrary message loss or failure of part of the system.”,即分散式系統在遇到某節點或網路分割槽故障時,仍然能夠對外提供滿足一致性和可用性的服務。

 

BASE 理論

 

eBay 架構師 Dan Pritchett 基於對大規模分散式系統的實踐總結,在 ACM 上發表文章提出了 BASE 理論,BASE 理論是對於 CAP 理論的延伸,核心思想是即使無法做到強一致性 (Strong Consistency,CAP 中的一致性指強一致性),但是可以採用適當的方式達到最終一致性 (Eventual Consistency)。

BASE 指基本可用 (Basically Available)、軟狀態 (Soft State) 和最終一致性 (Eventual Consistency)。

1.基本可用 (Basically Available)

基本可用是指分散式系統在出現故障時,允許損失部分可用性,即保證核心可用。比如服務降級。

2.軟狀態 (Soft State)

軟狀態是指允許系統存在中間狀態,而該中間狀態不會影響系統的整體可用性。分散式儲存中一般一份資料至少存三個副本,允許不同節點間副本同步的延遲就是軟狀態的體現。

3.最終一致性 (Eventual Consistency)

最終一致性是指系統中的所有資料副本經過一段時間後,最終能夠達成一致狀態。弱一致性和強一致性相反,最終一致性是弱一致性的一種特殊情況。

 

我的解讀

 

  1. CAP 和 BASE 理論可以摳得很深,背後甚至有很複雜的數學證明。我理解得相對簡單淺顯:效能、高可用、不丟資料和資料一致性對分散式系統來說一般是強需求,隨著流量的增長,複製和分割槽在所難免:

    • 複製 (replication):資料在多個節點上存多份保證不丟和高可用;

    • 分割槽 (partition):資料按某個緯度切分分佈在不同節點上分攤流量壓力保證高效能,同時也是為了降低每個節點的複雜性。例如資料庫的分庫分表,系統拆分微服務化也是一種分割槽。這兩者都會帶來一致性問題,一致性在時間上有一點妥協的餘地 - 即是最終一致性;時間上要求強一致的話,只有可用性可以適當折中。系統架構的遊戲很大部分是和狀態一致性作鬥爭的遊戲。

  2. 選擇使用分散式產品時,比如 NoSQL 資料庫,你需要了解它在 CAP 環中所在的位置,確保它滿足你的場景需要。

 

組織和系統改進原則

康威法則

 

Melvin Conway 在 1967 年提出所謂康威法則 [附錄 5],指出組織架構和系統架構之間有一種隱含的對映關係:

Organization which design system […] are constrained to produce designs which are copies of the communication structures of these organization. 設計系統的組織其產生的設計等價於組織間的溝通結構。

康威法則也可以倒過來闡述:

Conway’s law reversed:You won’t be able to successfully establish an efficient organization structure that is not supported by your system design(architecture)。  如果系統架構不支援,你無法建立一個高效的組織;同樣,如果你的組織架構不支援,你也無法建立一個高效的系統架構。

 

系統改進三原則

 

IT 運維管理暢銷書《鳳凰專案》[附錄 8] 的作者 Gene Kim 在調研了眾多高效能 IT 組織後總結出支撐 DevOps 運作的三個原理 (The Three Ways: The Principles Underpinning DevOps)[附錄 9],我認為也是系統改進提升的一般性原理 [附錄 7],見下圖:

原理一:系統思考 (System Thinking)

開發驅動的組織,其能力不是製作軟體,而是持續的交付客戶價值。價值從業務需求開始,經過研發測試,到部署運維,依次流動,並最終以服務形式交付到客戶手中。整個價值鏈流速並不依賴單個部分 (團隊或個人) 的傑出工作,而是受整個價值鏈最薄弱環節 (瓶頸) 的限制。所以區域性優化通常無效,反而招致全域性受損。

Gene Kim 特別指出:Any improvements made anywhere besides the bottleneck are an illusion. 在瓶頸之外的任何優化提升都只是幻象。

原理二:強化反饋環 (Amplify Feedback Loops)

過程改進常常通過加強反饋環來達成。原理二強調企業和客戶之間、組織團隊間、流程上和系統內的反饋環。沒有測量就沒有提升,反饋要以測量資料為準,通過反饋資料優化改進系統。

原理三:持續試驗和學習的文化 (Culture of Continual Experimentation And Learning)

在企業管理文化層面強調勇於試錯和持續試驗、學習和改進的文化。

 

我的解讀

 

  1. 康威法則給我們的啟示:系統架構和組織架構之間有隱含的對映關係,你不能單方面改變一方的結構,調整時必須兩邊聯動。系統架構如果是耦合的,就很難組織分散式的團隊結構,兩邊對映不起來,團隊之間容易摩擦導致生產率下降。所以一般先按業務邊界對單塊應用進行解耦拆分,同時做相應的團隊拆分,使兩邊可以對映,每個團隊可以獨立開發、測試和部署各自的微服務,進而提升生產率。這就是近年流行的微服務架構背後的組織原則。詳見我之前發表的文章《企業的組織架構是如何影響技術架構的》[附錄 6]。

  2. 系統思考要求我們加強團隊合作,培養流式思維和瓶頸約束思維,找出瓶頸並針對性地優化。在研發型組織中,常見的系統瓶頸如運維機器資源提供 (Provisioning) 緩慢,釋出流程繁瑣容易出錯,開發 / 測試/UAT 環境缺失或不完善,遺留系統耦合歷史負擔重,基礎研發平臺薄弱等等。這些瓶頸點特別需要關注優化。

  3. 反饋原理要求我們關注基於資料的反饋,技術上的手段包括大資料分析和系統各個層次的測量監控。沒有測量就沒有反饋,沒有反饋就沒有提升。

  4. 在管理文化層面:

    • 管理層要承認企業內部近 50% 的創新或流程改進專案是有可能失敗的,即使失敗,員工不會受到責罰,鼓勵持續的試驗和從中學習;

    • 管理層要有技術償債意識,勿追求 100% 員工利用率,要預留 20%~30% 的時間給員工做創新和系統改進提升專案。

 

寫在最後

 

上述原則是架構師必須深入理解和掌握的,但是不能盲從,實際工作中要根據業務、時間、資源和團隊情況隨機應變。原則有時甚至可以被違反,當然這樣做一定有成本,架構師要意識這一點,並適時變通補償。

上述原則僅是我個人視角總結,有些理解難免偏頗。如果你認為我忽略了哪些重要的原則,或理解有誤,請記得線下和我交流!

 

參考

 

  1. UML 和模式應用 (原書第 3 版)

    https://www.amazon.cn/UML%E5%92%8C%E6%A8%A1%E5%BC%8F%E5%BA%94%E7%94%A8-%E6%8B%89%E6%9B%BC/dp/B00116WMSU

  2. 架構即未來:現代企業可擴充套件的 Web 架構、流程和組織 (原書第 2 版)

    https://www.amazon.cn/%E5%9B%BE%E4%B9%A6/dp/B01DXW29IM

  3. Heroku 雲應用平臺

    https://www.heroku.com/

  4. The Twelve-Factor App

    https://12factor.net/zh_cn/

  5. 康威法則

    https://en.wikipedia.org/wiki/Conway%27s_law

  6. 企業的組織架構是如何影響技術架構的

    http://www.infoq.com/cn/articles/organization-arch-influence-technology-arch

  7. 痛定思痛,談成長型公司應該如何突破方輪子困局!

    http://www.sohu.com/a/123304174_467759

  8. 鳳凰專案:一個 IT 運維的傳奇故事

    https://www.amazon.cn/%E5%9B%BE%E4%B9%A6/dp/B016VW1I6U

  9. The Three Ways: The Principles Underpinning DevOps

    https://itrevolution.com/the-three-ways-principles-underpinning-devops/                                                                             PS:關注360linker公眾號,入官方社群取免費視訊教程、知名單位招聘資訊。交流分享IT圈學習經驗。