1. 程式人生 > >借自動化實現資料庫的安全運維和跨界運維

借自動化實現資料庫的安全運維和跨界運維

關注嘉為科技,獲取運維新知

資料庫作為IT系統中重要的組成,承接著底層的基礎架構和上層的應用,重要性不言而喻。


那資料庫管理員(DBA)平時都做些啥呢?

以下是來自一名普通DBA的日常獨白:

8:30~9:00AM

日常:每天比普通使用者以及應用運維早半小時到公司,第一件事就是開始檢查資料庫的監控和資料庫的巡檢,確認沒有問題或者及時發現問題並在上班時間之前解決問題;

9:00~12:00AM

日常:忙於處理來自各專案的日常資料庫工單(包括部署資料庫例項、部署資料庫群集、資料庫賬號授權、 資料庫資料匯出等),電話、微信、郵件、ITSM,一單完成接著下一單;

12:30~13:30PM

日常:在完成一次資料庫的健康性巡檢後,似乎可以安靜的小憩一小會;

13:30~17:00PM

日常:繼續忙碌處理日常資料庫工單,偶爾也會被打斷,出現一些應用訪問效能問題或故障問題,需要緊急響應,從資料庫層面分析資料庫效能,導日誌、查SQL語句、測試效能等,甚至要做一些臨時的重啟資料庫例項或伺服器的操作;

17:00~18:30PM

日常:下班前,再次進行資料庫的巡檢和檢查資料庫監控,再對資料庫檔案進行匯出備份,確認沒有問題,下班回家吃飯。

平凡的一天,並沒有這麼簡單的結束!

21:30~23:30PM

日常:往往每週總會有那麼幾天,需要對生產環境的資料庫進行釋出變更,尤其現在的應用迭代頻繁,SQL的上線釋出也日益頻繁,而且為了避免一些人為的操作失誤以免變更對業務造成影響,同時也為不可控風險提供充足的緩衝時間,每次的變更釋出時間也只能安排晚上22:00左右,加夜班在所難免。

而要成為一名資深DBA,你以為每週就這樣忙碌日常工單、日常監控和巡檢、經常性的熬夜加班變更就可以了嗎?


一個資深DBA,還需要協助各專案組進行提供資料庫架構的設計與選型。

此時,某個專案組新起的一個專案用的是開源MySQL,“你對資料庫很熟悉吧,你去負責協助下?”

又一個專案組聽說用的是SQL Server,“你是DBA,你去負責協助下?”

又來了一個新的專案,好像是PGsql、Redis、MongoDB……


“不想當將軍的士兵不是好的戰士”、“不想當CIO的DBA不是好的運維”。在每天面臨如此多的來自工作量、運維安全、技術更新挑戰的同時,我們還需要不斷的成長與思考:

  • 如何正確規劃資料庫的生命週期管理?

  • 如何建設工具來幫助降低重複操作的工作量?

  • 如何通過技術規避運維中不可控的高風險?

  • 如何全域性應對多型別資料庫的選型和運維支撐?

 

此時,選擇一款好的平臺型產品,能夠綜合解決你面臨的跨界運維、安全運維、自動化運維挑戰,就非常非常非常重要。


這裡,給大家介紹的是一款基於藍鯨平臺打造的SaaS產品:嘉維藍鯨資料庫自動化運維中心(CW DBM Automation),融合了MySQL和Oracle日常運維場景的配置、部署、巡檢、監控、操作、SQL釋出的全生命週期管理,同時結合多場景的業務需求提供端到端的自動化交付,以及結合多年運維積累的SQL釋出規則過濾高危運維操作。

選擇嘉維藍鯨,讓資料庫自動化運維、安全運維、跨界運維×××!


產品架構設計

嘉維藍鯨資料庫自動化運維中心SaaS,是基於藍鯨PAAS平臺開發,囊括資料庫管理自動化、監控自動化及操作審計的運維中心。

依託SOA設計理念將資料庫自動化運維操作平臺以IaaS管控層、原子平臺層、PaaS層、運維場景層輸出服務,提供各層資源全生命週期的運維管理,實現對企業IT資源的集中化、視覺化、自動化管理。


IaaS管控層:

是指對IaaS的管理和控制,通過提供指令、檔案、資料下發的管道,適配型別主機(Linux、Windows、虛擬機器、容器等),相容私有云、公有云以及混合元的管理方式,管控各個主機上面的資料庫例項。


原子層:

是指為滿足通用運維場景的基礎能力平臺的封裝,有作業功能模組 、DB  CMDB模組、運維資料平臺模組組成。


PaaS層:

包含該支撐應用部署和執行的APaaS(Application Platform as a Service)以及企業內部SOA整合的IPaaS(Integration Platform as a Service),通過企業服務匯流排和API Gateway對接原子層各平臺的能力。


運維場景層:

是指基於PaaS層之上的運維SaaS,涵蓋資料庫管理自動化、資料庫監控自動化、操作審計等。


核心功能及優勢

資料庫自動化運維中心,是嘉為資料庫技術專家基於多年的資料庫運維經驗的沉澱,是深刻理解MySQL、Oracle資料庫日常運維中各種場景後的結晶。嘉維藍鯨資料庫自動化運維中心,能快速實現資料庫的日常管理、SQL變更、備份恢復、例項交付、健康檢查、狀態及效能監控等多種場景,總結起來為以下幾點:


1、實現資料庫的全生命週期管理

一個應用系統的建設,在配置、部署、監控、操作、分析各階段,嘉維藍鯨DBM提供全方位的功能:例項自動部署、例項升降級,MHA自動部署和管理,MGR自動部署和管理,Oracle RAC自動部署和管理的能力,使企業應用快速簡便地使用MySQL、Oracle資料庫資源。


2、實現端到端的全流程自動化執行

大部分企業的資料庫種類繁多,主要集中在MySQL、Oracle等常用資料庫。嘉維藍鯨DBM,支援MySQL、Oracle日常運維、備份恢復等基本的運維操作批量完成、自動化交付。


3、進行資料庫例項的狀態及效能監控,保證資料庫時間健康執行

嘉維藍鯨DBM可以進行全面的資料庫例項及叢集狀態監控、主機狀態監控。能實現效能指標收集,並進行綜合的分析,對超過告警閾值的狀態或效能指標通知干係人,對有效能問題的SQL語句×××能優化方案建議。


4、提供SQL一鍵釋出和回退,並實現高危SQL語句過濾

對於應用的變更,能提供SQL語句自動釋出,自定義SQL語句的過濾規則,規避高危SQL,可以批量執行到多個數據庫例項中。


5、配置集中管理和整合CMDB動態更新

嘉維藍鯨資料庫自動化運維中心是基於藍鯨PaaS平臺的開發一個SaaS服務,可以與藍鯨的CMDB(配置平臺)整合,在完成每一個數據庫的自動化交付後,都可以及時將交付物件的資料同步寫入CMDB,確保配置資料與真實環境的一致性。


6、支援個性化與定製化的資料庫巡檢

可以自定義巡檢項和自定義巡檢模板,對客戶關心的資料庫指標進行巡檢,可以批量巡檢、定時巡檢,巡檢報告自動傳送到干係人,隨時瞭解資料庫例項的執行狀態。



產品功能設計


1、例項管理

軟體部署自動化:自動化、標準化安裝MySQL、Oracle軟體,建立MySQL、Oracle 例項;

從庫搭建自動化:編寫標準的MySQL 主從庫建立指令碼,在平臺通過選擇伺服器進行一鍵從庫搭建

根據叢集的配置要求,自動搭建資料庫叢集,包括MySQL MHA叢集、MGR叢集,Oracle  RAC 叢集。


2、自動巡檢

檢查關鍵系統、資料庫例項的服務狀態、執行狀態,方便地根據需求配置和定義巡檢;

設定執行週期和時間,確保定期的觸發執行,也可以通過按鈕一鍵執行;

健康巡檢結果呈現到統一門戶中,方便一線監控人員檢視處理,可以匯出為可讀檔案以供歷史存檔;

對檢查出來對健康和效能有隱患的配置或服務,提出告警和整改建議。


3、應該變更與SQL釋出

預定義變更與SQL釋出模板:系統可根據模板批量執行配置變更指令碼,將以前手工執行的作業自動化;

變更與SQL釋出可以恢復或回滾;

變更與SQL發審批:任何變更均需通過審批後方可執行,變更申請和變更審批應在不同許可權使用者下進行;

變更與SQL發審計:對執行變更應該提供詳細的審計,審計資訊至少包括變更命令的執行使用者名稱,高危操作。


4、備份與恢復

自動備份:根據備份需求,自動備份資料庫,支援邏輯備份和物理備份,提供備份日誌,備份異常告警;

自動恢復:要求可基於基準備份對資料庫件進行自動恢復,可以指定恢復到某個恢復路徑,自動檢查能夠恢復到什麼時間點,由使用者確定恢復的時間點。


5、狀態與效能監控

主機資源監控:主機CPU、記憶體、網路使用狀態基本監控;

例項狀態監控:例項可用狀態,資料庫可以狀態、叢集狀態監控;

例項效能監控:頂級事件、慢SQL語句監控;

所有超過閾值的指標進行告警和通知。


其它擴充套件功能

基於藍鯨的作業平臺、流程平臺以及開放的開發框架,使用者還可以進行快速功能定製和二次開發。