1. 程式人生 > >【研發管理】(轉)全面認識和理解 DevOps

【研發管理】(轉)全面認識和理解 DevOps

1 什麼是DevOps

當我們談到 DevOps 時,可能討論的是:流程和管理,運維和自動化,架構和服務,以及文化和組織等等概念。那麼,到底什麼是"DevOps"呢?

隨著軟體釋出迭代的頻率越來越高,傳統的「瀑布型」(開發—測試—釋出)模式已經不能滿足快速交付的需求。2009 年左右 DevOps 應運而生,簡單地來說,就是更好的優化開發(DEV)、測試(QA)、運維(OPS)的流程,開發運維一體化,通過高度自動化工具與流程來使得軟體構建、測試、釋出更加快捷、頻繁和可靠。 在這裡插入圖片描述 關於 DevOps 是什麼,DevOps 的合著者 John Willis 寫了一個非常好的帖子,在這裡.

2 Devops 的好處與價值

2016 DevOps 新趨勢調查報告顯示,74% 的公司在嘗試接受 DevOps,那麼 Devops 有哪些好處與價值呢?

  • 程式碼的提交直接觸發:消除等待時間,快速反饋
  • 每個變化對應一個交付管道:使問題定位和除錯變得簡單
  • 全開發流程高效自動化:穩定,快速,交付結果可預測
  • 持續進行自動化迴歸測試:提升交付質量
  • 設施共享並按需提供:資源利用最大化

以上可以看出,DevOps 的好處更多基於在於持續部署與交付,這是對於業務與產品而言。而 DevOps 始於接受 DevOps 文化與技術方法論,它是部門間溝通協作的一組流程和方法,有助於改善公司組織文化、提高員工的參與感。

3 Devops與持續整合

DevOps 是一個完整的面向IT運維的工作流,以 IT 自動化以及持續整合(CI)、持續部署(CD)為基礎,來優化程式開發、測試、系統運維等所有環節。

縱觀各個 DevOps 實踐公司的技術資料,最全面最經典的是 flickr 的10+ deploys per day最佳實踐提到的 DevOps Tools 的技術關鍵點:

  1. Automated infrastructure(自動化,系統之間的整合)
  2. shared version control(SVN共享原始碼)
  3. one step build and deploy(持續構建和部署)
  4. feature flags(主幹開發)
  5. Shared metrics
  6. IRC and IM robots(資訊整合)

以上的技術要點由持續整合/部署一線貫穿,主幹開發是進行持續整合的前提,自動化以及程式碼周邊集中管理是實施持續整合的必要條件。毫無疑問,DevOps 是持續整合思想的延伸,持續整合/部署是 DevOps 的技術核心,在沒有自動化測試、持續整合/部署之下,DevOps就是空中樓閣。 我們做了一款 Hosted 持續整合產品—— flow.ci ,它融入了 workflow 機制的持續整合(CI)服務,也可以理解為自動化流程平臺,除了整合程式碼、編譯、測試之外,還可以整合常用的工具、靈活自定義流程,幫助你們塑造一個更優秀智慧的 DevOps 環境。 在這裡插入圖片描述

4 DevOps 的技術棧與工具鏈

Everything is Code,DevOps 也同樣要通過技術工具鏈完成持續整合、持續交付、使用者反饋和系統優化的整合。Elasticbox 整理了 60+ 開源工具與分類,其中包括版本控制&協作開發工具、自動化構建和測試工具、持續整合&交付工具、部署工具、維護工具、監控,警告&分析工具等等,補充了一些國內的服務,可以讓你更好的執行實施 DevOps 工作流。

  • 版本控制&協作開發:GitHub、GitLab、BitBucket、SubVersion、Coding、Bazaar
  • 自動化構建和測試:Apache Ant、Maven 、Selenium、PyUnit、QUnit、- JMeter、Gradle、PHPUnit
  • 持續整合&交付:Jenkins、Capistrano、BuildBot、Fabric、Tinderbox、Travis CI、flow.ci Continuum、LuntBuild、CruiseControl、Integrity、Gump、Go
  • 容器平臺: Docker、Rocket、Ubuntu(LXC)、第三方廠商如(AWS/阿里雲)
  • 配置管理:Chef、Puppet、CFengine、Bash、Rudder、Powershell、RunDeck、Saltstack、Ansible
  • 微服務平臺:OpenShift、Cloud Foundry、Kubernetes、Mesosphere
  • 服務開通:Puppet、Docker Swarm、Vagrant、Powershell、OpenStack Heat
  • 日誌管理:Logstash、CollectD、StatsD
  • 監控,警告&分析:Nagios、Ganglia、Sensu、zabbix、ICINGA、Graphite、Kibana 在這裡插入圖片描述 順便再跟大家分享一個 DevOps BookMarks,這裡面涉及了DevOps方方面面的工具和內容,有興趣的同學可以前去學習。

5 DevOps 最佳實踐

自 2009 年提出 DevOps 的概念起,很多公司都開始實施 DevOps,國外比較著名的有Amazon 、Google、Facebook等,國內著名的有百度、華為、阿里等。Amazon 是 DevOps 最佳實踐的最有說服力的代表之一。這是 Amazon 在 Why We Need DevOps 一個月的 DevOps 快照:

11.6 seconds: 平均部署時長 (工作日)
1,079: 一小時的最大部署量
10,000: 主機平均併發接收部署量
30,000: 主機最高併發接收部署量

從早期的大型 SOA (Service Oriented Architecture)到 DevOps 文化的形成,Amazon 的每個工程師都可以完全獨立地編寫程式碼,測試程式碼,版本管理,部署上線,服務監測等任務。這套內部強大的 DevOps 文化最終形成核聚變, Amazon 一躍成為世界級別的雲服務領導者 —— Amazon Web Services (AWS)。 除了 Amazon 外還有一些國內外的 DevOps 實踐公司,一起來看看。

  • flickr:

最全面最經典的是 flickr 的10+ deploys per day,簡直是 DevOps 教科書般的存在。

  • 百度:

百度技術團隊是如何利用DevOps,來看看解密百度持續交付方法與實踐

  • Netflix:

解密Netflix 技術團隊在整個 DevOps 過程中使用的部署工具和服務. How We Build Code at Netflix.

  • Etsy:

2009年,Etsy建立自己的工具來更好更快地部署釋出,「Etsy 如何應用 DevOps」值得一讀。

  • LinkedIn:

2009年,LinkedIn 團隊就開始使用自動化部署工具,用於管理在1000+節點環境下發布上千個應用/服務的複雜性。這是 LinkedIn 自己造的輪子 >>Deployment and Monitoring Automation with glu.

  • Airbnb:

Airbnb 作為第三方平臺公司,需要迅速釋出多個小型部署。關於 Airbnb 的資料和基礎設施,可以參考這個slides

  • Starbucks:

Ancestry.com 是 DevOps 運動的早期採用者,是 Continuous Delivery 和 DevOps 運動的先鋒。想了解更多關於他們的過程、遷移和 DevOps 文化,不妨檢視一下他們的系列文章DevOps – Tech Roots

總結

DevOps = Culture + Tools 如果想整個業務部署 DevOps,不但需要軟性要求即從上而下的培養 DevOps 文化自上而下地進行探索,也有硬性工具鏈要求,才能獲得更高質量的軟體交付。 最後,不論你是技術Leader,還是一名Dev、QA 或 Ops,實現全面的 DevOps 非常理想化也十分有挑戰,希望這份 DevOps 初學者指南是一個好的開始:)