1. 程式人生 > >我的一點企業上雲經驗

我的一點企業上雲經驗

man 安全防護 組織 src img 因此 專註 ima 單體

作者按:日前,工信部印發《推動企業上雲實施指南(2018—2020年)》,其中指出:到2020年,力爭實現企業上雲環境進一步優化,行業企業上雲意識和積極性明顯提高,上雲比例和應用深度顯著提升,雲計算在企業生產、經營、管理中的應用廣泛普及,全國新增上雲企業100萬家,形成典型標桿應用案例100個以上,形成一批有影響力、帶動力的雲平臺和企業上雲體驗中心。統計數字表明,當前傳統企業用戶“上雲”的比例僅為20%,仍有高達70%以上的傳統企業沒有“上雲”。本文是作者在HH集團作為企業上雲項目技術負責人在項目完成後,對這次企業上雲歷程的一些總結以及思考。

技術分享圖片

當下,一場以IT技術為主角的科技革命浪潮正風起雲湧。雲計算、大數據、人工智能、物聯網、區塊鏈等新技術正加速應用落地。在這些新技術當中,雲計算作為基礎設施,它是這場科技革命的承載平臺,全面支撐著各類新技術和新應用。伴隨著這波浪潮的發展,數字經濟已經成為發展趨勢,各企業都在進行或準備進行數字化轉型,而上雲則是企業數字化轉型的起點。

什麽是企業上雲?

簡而言之,『企業上雲』就是把企業的一切遷到雲上,其主要內容包括下圖中的四大類:

技術分享圖片

  • 基礎設施上雲是指將企業原有IT基礎設施轉變或遷移到雲基礎設施上,主要是把計算、存儲、網絡、安全防護、辦公桌面等資源池放到雲基礎設施之中。
  • 業務應用上雲 是指推動企業辦公、管理、服務等應用上雲,快速提升企業數字化、網絡化水平。
  • 平臺系統上雲是指推動企業加快數據驅動進程,利用各種雲平臺系統,比如雲數據庫系統、物聯網平臺、區塊鏈平臺、大數據平臺等,全面提升企業數字化、網絡化、智能化能力和水平。
  • 數據協同創新是指推動企業內部、企業之間業務數據在雲上流動與共享,通過大數據挖掘、AI技術,實現企業運營管理的優化、企業之間的協同創新、商業模式創新等。

“企業上雲”是一個系統工程,它的步驟主要分為上雲前的規劃、設計,上雲的實施以及上雲後的驗證和維護。具體“企業上雲”流程如下:

技術分享圖片

總而言之,企業上雲,是企業順應數字經濟發展潮流,加快數字化、網絡化、智能化轉型,提高創新能力、業務實力和發展水平的重要路徑。

企業為什麽要上雲?

企業上雲是企業實現數字化轉型的第一步,它會給企業帶來多種好處,主要提現在以下幾個方面:

  • 加速企業IT設施發展。企業上雲有利於更好地促進各類信息技術在企業中的普及應用,從而加速企業IT基礎設施更新發展。
  • 降低總體IT成本。企業無需投入購買大量硬件和軟件費用,減少人員成本,降低運維費用。
  • 提升系統穩定性。應用系統不需要關註底層基礎設施運維,雲平臺提供專業的運維能力。
  • 以雲平臺為基礎,通過信息流帶動技術流、資金流、人才流、物資流,可以有效整合優化設計、生產和市場資源,實現產業鏈上下遊的高效對接與協同創新,重塑生產組織方式和創新機制。雲平臺有助於實現數據集中,企業可以存儲更多數據,方便數據共享,讓沈積的數據產生價值。
  • 提升應用開發部署敏捷性。雲平臺能促進軟件架構復用,架構和開發技術棧統一,提高研發效率,加快應用部署,縮短業務開發周期。幫助企業減少了時間與成本,方便他們更加專註於自身業務的拓展。

HH集團上雲之旅

搭建兩地三中心基礎雲平臺

YJ雲團隊利用一年左右時間,在HH集團分布在BJ和HK的三個數據中心內從零上線了一套新基礎雲平臺。它具有以下幾個特點:

  • 在多種開源技術基礎之上進行二次開發,包括OpenStack,Kubernetes,Ceph等,穩定,安全,自主可控。
  • 滿足雙態IT需求,支持雲物理機、雲虛擬機、容器。
  • 滿足數據庫應用需求,支持KVM和ESXi虛擬化技術。
  • 采用分布式存儲和集中式存儲混合技術,充分滿足各種不同存儲需求。
  • 利用統一雲管理平臺管理多個雲環境,與集團IAM對接,單點登錄,對用戶友好。

技術分享圖片

制定企業上雲總體目標

2017年下半年,HH集團下發了集團全部企業雲化總體目標,即到2018年6月30日前,實現HH集團兩地三中心運營的系統全面雲化。除明確無法雲化系統外,其余系統必須全部雲化。總體雲化比率不低於80%。

技術分享圖片

建立專門組織機構

YJ科技股份有限公司(以下簡稱『YJ科技』)是HH集團旗下的數字化基礎設施運營和智慧型信息服務商,它是HH集團上雲任務的組織和實施單位。為了實施企業上雲項目,YJ科技建立了專門的組織機構,如下圖所示:

技術分享圖片

  • 領導組:領導並負責整個項目,包括一名業務負責人和一名技術負責人。我作為技術負責人參與到領導組。
  • 系統摸排組:負責全部待遷移系統的摸排,包括信息收集、整理、統計等。
  • 工具研發組:負責遷移工具研發、方案驗證、方案文檔寫作等。
  • 應用遷移組:負責應用環境的遷移,從方案溝通、確定、實際遷移、測試、交付等所有環節。
  • 數據庫遷移組:負責數據庫環境的遷移,從方案溝通、確定、實際遷移、測試、交付等所有環節。

『自頂向下』跨集團成員單位溝通協調

因涉及到眾多集團成員單位,因此充分的溝通至關重要,這甚至決定項目成敗。總體上,我們采用了『自頂向下』溝通策略。在集團文件的指引下,公司領導親自與各業務單位IT負責人直接溝通,在達成原則一致後,再由具體工作組負責實際工作。

摸排業務系統

對當前不在雲上的所有業務系統進行摸排梳理,分類歸納整理。部分系統示例如下表:

技術分享圖片

每個業務系統需收集的重點信息包括:系統名稱、業務單位、托管方式、機器類型(虛擬機|物理機)、系統IP、機器IP、系統級別、操作系統、應用類型、IP能否變更、是否有開發商支持、當前所用資源、建議的雲上所需資源、變更窗口、是否依賴特定外部設備等。

待遷移業務系統雲化評估

針對所有收集到的業務系統,進行雲化評估,主要包括:

  • 能否雲化:我們列出了常用的不可雲化情形。主要包括:
    • 應用方面:應用廠商或業務單位明確表示其應用系統不支持虛擬化發布的;
    • 硬件方面:非X86平臺系統(如小型機),或依賴特殊的外設(EVDO卡,特殊的語音板卡、專業圖形顯卡、加密卡等)或專用設備(排隊機、LNS設備、工控機、圖形工作站等)的硬件系統;
    • 網絡方面:獨立於集團三大數據中心及雲平臺網絡環境架構的需求;
    • 技術方面:對性能有特殊要求的應用、並與雲平臺溝通確認無法滿足的;
    • 操作系統方面:操作系統不支持虛擬化(如UNIX系統);
    • 監管方面:根據相關監管制度要求,不適用集團提供的虛擬化發布服務的應用;
    • 專用系統:比如集團Active Directory 系統、郵件系統、視頻會議系統等,因為牽扯面非常廣,因此暫緩上雲。
    • 其它特定情況
  • 雲化方式評估:根據系統情況,初步確定雲化遷移方式,在新建遷移、克隆遷移、雙活遷移三種遷移方案中選擇最合適的一種。其主要目的是為了和業務系統用戶進行溝通,並且評估遷移工作量。
  • 雲化所需資源評估:包括CPU、內存、網絡、存儲等資源。其主要目的是評估遷移所需資源,做好設備補充計劃。

制定項目計劃

綜合考慮總體目標、系統摸排結果、雲化評估結果,與成員單位溝通結果、研發對遷移工作量的評估結果、能投入的人力資源、可用的雲資源、設備采購周期等多種因素,制定總體項目計劃。

技術分享圖片

研發遷移方案

針對待遷移應用系統情況,我們制定了三種雲化遷移方案,分別是新建遷移、克隆遷移和雙活遷移。

  • 新建遷移:對能夠重新搭建的業務系統,采用新建遷移方式,在雲平臺上重新搭建一套業務系統。在新系統運行後,將原有系統下線。

技術分享圖片

  • 克隆遷移:該方案首先將業務系統所在的原有物理機或虛擬機的系統,通過P2V V2V 工具轉換為雲鏡像,轉換完成後拷貝至雲平臺,然後再基於該鏡像創建新虛擬機。

技術分享圖片

  • 雙活遷移:針對無法停機的業務系統,我們知道制定了雙活遷移方案。業務系統流量在遷移期間由新舊兩套系統支撐,並逐步切換到新系統上,最後在將老系統下線。

技術分享圖片

針對數據庫系統遷移,需要考慮到Oracle、SQLServer 和 MySQL 等數據庫類型及其版本。以Oracle 為例,數據庫遷移小組準備了以下遷移方案:

技術分享圖片

針對集團存儲現狀,制定了存儲優化方案,以構建『分布式存儲+集中式存儲』混合存儲方案為目標。如下圖所示:

技術分享圖片

研發遷移工具

我們針對各種系統需求,研發了多種遷移工具。例如,基於 VMware Converter 研發物理機系統到虛擬機鏡像轉換工具。

技術分享圖片

實施系統上雲

應用遷移組和數據庫遷移組負責系統上雲遷移實施。以某重要OA系統為例,它是集團所有員工日常使用的辦公系統,使用人數多,重要性高,不可停機。下圖是其遷移過程示意圖:

技術分享圖片

這裏面有很關鍵的幾點:

  • 做實施的同學得給力,既要有技術能力,還要有溝通能力。有些業務系統的遷移只能在半夜進行,所以過程往往很辛苦。
  • 要主動解決發現的任何問題,必要的時候需要尋求研發團隊支持。
  • 溝通協調很關鍵,包括應用遷移組和數據庫遷移組之間的溝通,與業務單位之間的溝通,與研發組之間的溝通等。

經驗總結

需要一個合適的雲平臺

要根據企業現狀、需求以及將來發展要求,選擇一個合適的雲平臺。至少需要考慮如下幾點:

  • 在公有雲、私有雲還是混合雲等多種雲部署模式之間做出合理選擇。
  • 確定雲平臺地域分布,是單區域、國內多區域,還是全球分布。
  • 技術選型。私有雲的話,最好基於開源技術,做到自主可控。在計算、存儲、網絡、中間件服務等主要方向,要經過充分認證和測試。
  • 支持雙態IT需求。既要滿足傳統穩態業務需求,又能滿足新型敏態業務需求。
  • 可操作性和可維護性好,簡單易用,安全性高。

一個參考的雲平臺架構如下圖所示:

技術分享圖片

需要一個合適的雲服務商

一個有技術、有產品、懂業務、有經驗的雲服務商,能使企業的上雲之路更加平坦。企業在選擇雲服務供應商時從以下幾個方面考量:

  • 客戶至上:將客戶利益放在第一位。
  • 懂業務:既了解企業/行業的業務訴求,又懂企業傳統IT應用,能幫助企業實現面向未來的升級。
  • 有能力:有足夠的能力來確保企業的業務能夠在雲端安全運行。有強大的本地服務能力和線下支持團隊,能夠在漫長的雲化過程中時刻快速響應企業的各項需求,以及提供應用上雲評估、方案和工具研發與測試、遷移、運營維護等全流程服務。
  • 有經驗:具有企業上雲規劃、實施、後期維護等方面的豐富經驗。

需多個相關技術團隊參與

企業上雲不只是運維團隊和遷移團隊的事情。

  • 需要研發團隊參與,負責研發上雲方案和所需工具。需要綜合考慮企業上雲需求、成本、商務、團隊、風險等多種因素,制定最合適的遷移方案,以及高效易用的遷移工具。研發成果要系統化、文檔化、自動化。
  • 還需要業務系統運維甚至研發團隊的充分參與。要利用業務遷移過程,充分利用雲上各種服務和其它資源,在雲上構建優化了的部署架構,根據需求實現不同級別的高可用架構。

需充分評估上雲方案和工具研發

企業上雲需要全面的解決方案和各種工具。要根據業務系統需求,選擇最合理的遷移方案,比如新建遷移、克隆遷移、雙活遷移等。要有完整的遷移工具,包括應用遷移工具、數據庫遷移工具、存儲遷移工具等。這些工具還需滿足諸如操作系統(包括操作系統和版本)、系統配置(比如支持LVM 卷)、系統啟動方式(比如BIOS 和 UEFI)等需求。

要在開始系統遷移之前,對方案和工具進行充分測試。開始正式遷移後,還要首先進行低優先級系統遷移,對這些方案和工具進行再次驗證,然後再按需優化。

需穩妥有序推進

企業上雲不能一撮而就,而應該有序穩妥推進。

  • 有序推進上雲流程各環節。該流程包括需求分析、可行性評估、選擇確定雲平臺服務商、上雲方案設計、測試和部署、驗證和總結、運維保障、效果評估等步驟。企業可結合自身實際選擇合適步驟,適當簡化流程,有序實施上雲。
  • 合理規劃業務系統上雲順序。優先級較低、影響面較小、架構較簡單的系統第一批上雲;優先級高、影響面大、架構復雜的系統最後一批上雲。
  • 采用敏捷項目流程。以每個階段為一個叠代周期,在每個周期完成後及時總結經驗教訓,為後續周期的工作提供指導。要根據情況,不斷優化方案和工具,培養和鍛煉隊伍,確保雲上系統良好地運行。

需充分考量安全要求

企業上雲必須有充分的安全考量。將業務遷移至雲端,企業可能會面臨安全問題。雲服務商需根據企業用戶業務及系統數據特點,對整體系統的安全架構進行設計,將 DDoS 攻擊、安全入侵、數據泄漏等安全風險降至最低。業務系統在雲上的部署架構,要經過安全團隊的檢視,上線後要加強安全監控,及時發現和處理可能出現的各種問題。

需綜合考慮技術、成本、團隊、商務等多種因素

企業上雲不能單單考慮技術因素。企業上雲涉及面廣,需要考慮多種因素,其中很多是非技術因素。

  • 技術因素:要根據企業各業務系統的現狀和需求,進行合理的技術選型。要充分利用開源或免費的現存工具,然後進行充分測試,按需二次開發。方案和工具要做到自動化、使用文檔化、功能覆蓋全面、操作簡單高效。
  • 團隊因素:很多系統遷移只能在晚上進行,因此合理遷移實施安全團隊資源非常關鍵。需要協調好遷移研發、應用遷移、數據庫遷移、業務系統運維、業務系統研發等團隊的資源。
  • 商務因素:企業上雲涉及多種商務因素。比如原有老舊物理服務器、虛擬化平臺、雲平臺的資產如何處置;新雲平臺上針對遷移過來的系統如何收費,如何控制用戶費用沒有明顯增長;如果需要購買新資源的話,如何說服用戶進行投入等。
  • 成本因素:要嚴格控制遷移成本和業務系統運行成本。雲平臺團隊要做好資源需求預估,提前開始采購流程,確保按時擴容雲平臺。

企業上雲和雲團隊培養相結合

對很多企業特別是傳統企業來說,要在短事件內打造一只成熟的功能完整的雲團隊往往非常困難。但是,對雲平臺和業務上雲做到自主可控,又是很多企業的重要需求之一。因此,可以把兩者充分結合。

  • 在初期,可充分利用外部雲服務商的技術、產品和服務,快速構建雲IT架構。同時,開始組件企業自己的雲團隊,讓團隊成員與外部雲服務商人員一起工作,接受培訓,參與實戰,得到學習和鍛煉。因此,選擇開放開源的雲產品,往往是一個通常的選擇。這些產品技術資料豐富,代碼可直接獲取,而且人員招聘相對容易,學習門檻不是非常高。
  • 在中期,企業自己的雲團隊可介入日常運維,甚至部分新功能研發。通過實戰,繼續鍛煉隊伍;同時查缺補漏,繼續補充隊伍。
  • 在後期,企業自己的雲團隊可以自行開展雲相關工作,必要時再從外部獲取資源。此時,基本上可以實現自主可控了。

上雲只是起點,不是終點

上雲只是起點,而不是終點。企業實現雲轉型通常需要經過雲IT(信息技術)、雲 DT(數據技術) 和雲 DI(數據智能) 三個階段。

  • 在雲IT創建期,如水電煤一樣,雲即新商業基礎設施,在企業內部用雲計算替換傳統 IT 資源。
  • DT 運營期:在原有產業鏈範圍內利用雲 DT技術運營數據中臺。
  • DI 創新期:在多個產業範圍內利用雲DI數據智能技術開發智能商業,有多個智能產業平臺組成跨行業的數字經濟體。

技術分享圖片

上雲助力傳統企業數字化轉型

企業數字化轉型是一個系統性工程。如下圖所示,從底往上,分別是IT模式轉型、應用模式轉型和遷移、組織模式轉型和業務模式轉型。該層次也往往是發生的先後順序,同時也互為依賴條件。

作為第一步,企業傳統IT模式需要轉型到基礎雲模式,這也是企業上雲的第一階段。傳統IT模式往往采用虛擬化技術,以物理機和商業虛擬機提供計算資源;以商業SAN存儲提供存儲資源。在虛擬化平臺之上,運行著各種單體應用,這些應用往往采用Oracle、SQL Server 等大型商業數據庫。相對地,新型基礎雲IT模式,采用基礎雲平臺和大數據平臺,以開源虛擬機為主,輔以商業虛擬機;以分布式存儲為主,輔以SAN存儲;開源數據庫與商業數據庫相結合;傳統單體應用和新的雲應用並存。進一步發展到的雲原生IT模式中,以容器雲平臺、AI平臺、大數據平臺為支撐平臺,以容器為應用載體,以DevOps為應用開發模式。

伴隨著IT模式和應用模式的演進,企業會需要進行應用遷移和數據遷移,以及應用開發模式的革新。與此同時,企業的組織模式也需從傳統多層次打團隊模式,向互聯網扁平化模式轉型。

通過這一系列深層次的IT和組織架構轉型,企業的業務就具備了從傳統業務模式向數字化業務模式轉型的基礎。

技術分享圖片

謝謝閱讀,歡迎關註我的個人公眾號:

技術分享圖片

我的一點企業上雲經驗