1. 程式人生 > >借自動化實現數據庫的安全運維和跨界運維

借自動化實現數據庫的安全運維和跨界運維

重要 總結 頂級 定時 執行 行數據 監控 備份恢復 企業應用

???關註嘉為科技,獲取運維新知

數據庫作為IT系統中重要的組成,承接著底層的基礎架構和上層的應用,重要性不言而喻。

那數據庫管理員(DBA)平時都做些啥呢?

以下是來自一名普通DBA的日常獨白:

8:30~9:00AM

日常:每天比普通用戶以及應用運維早半小時到公司,第一件事就是開始檢查數據庫的監控和數據庫的巡檢,確認沒有問題或者及時發現問題並在上班時間之前解決問題;

9:00~12:00AM

日常:忙於處理來自各項目的日常數據庫工單(包括部署數據庫實例、部署數據庫群集、數據庫賬號授權、 數據庫數據導出等),電話、微信、郵件、ITSM,一單完成接著下一單;

12:30~13:30PM

日常:在完成一次數據庫的健康性巡檢後,似乎可以安靜的小憩一小會;

13:30~17:00PM

日常:繼續忙碌處理日常數據庫工單,偶爾也會被打斷,出現一些應用訪問性能問題或故障問題,需要緊急響應,從數據庫層面分析數據庫性能,導日誌、查SQL語句、測試性能等,甚至要做一些臨時的重啟數據庫實例或服務器的操作;

17:00~18:30PM

日常:下班前,再次進行數據庫的巡檢和檢查數據庫監控,再對數據庫文件進行導出備份,確認沒有問題,下班回家吃飯。

平凡的一天,並沒有這麽簡單的結束!

技術分享圖片

21:30~23:30PM

日常:往往每周總會有那麽幾天,需要對生產環境的數據庫進行發布變更,尤其現在的應用叠代頻繁,SQL的上線發布也日益頻繁,而且為了避免一些人為的操作失誤以免變更對業務造成影響,同時也為不可控風險提供充足的緩沖時間,每次的變更發布時間也只能安排晚上22:00左右,加夜班在所難免。

技術分享圖片

而要成為一名資深DBA,你以為每周就這樣忙碌日常工單、日常監控和巡檢、經常性的熬夜加班變更就可以了嗎?

技術分享圖片

?

一個資深DBA,還需要協助各項目組進行提供數據庫架構的設計與選型。

此時,某個項目組新起的一個項目用的是開源MySQL,“你對數據庫很熟悉吧,你去負責協助下?”

技術分享圖片

又一個項目組聽說用的是SQL Server,“你是DBA,你去負責協助下?”

技術分享圖片

?又來了一個新的項目,好像是PGsql、Redis、MongoDB……

技術分享圖片

?

“不想當將軍的士兵不是好的戰士”、“不想當CIO的DBA不是好的運維”。在每天面臨如此多的來自工作量、運維安全、技術更新挑戰的同時,我們還需要不斷的成長與思考:

  • 如何正確規劃數據庫的生命周期管理?
  • 如何建設工具來幫助降低重復操作的工作量?
  • 如何通過技術規避運維中不可控的高風險?
  • 如何全局應對多類型數據庫的選型和運維支撐?

此時,選擇一款好的平臺型產品,能夠綜合解決你面臨的跨界運維、安全運維、自動化運維挑戰,就非常非常非常重要。

這裏,給大家介紹的是一款基於藍鯨平臺打造的SaaS產品:嘉維藍鯨數據庫自動化運維中心(CW DBM Automation),融合了MySQL和Oracle日常運維場景的配置、部署、巡檢、監控、操作、SQL發布的全生命周期管理,同時結合多場景的業務需求提供端到端的自動化交付,以及結合多年運維積累的SQL發布規則過濾高危運維操作。

技術分享圖片

選擇嘉維藍鯨,讓數據庫自動化運維、安全運維、跨界運維觸手可及!

?

產品架構設計

嘉維藍鯨數據庫自動化運維中心SaaS,是基於藍鯨PAAS平臺開發,囊括數據庫管理自動化、監控自動化及操作審計的運維中心。

技術分享圖片

依托SOA設計理念將數據庫自動化運維操作平臺以IaaS管控層、原子平臺層、PaaS層、運維場景層輸出服務,提供各層資源全生命周期的運維管理,實現對企業IT資源的集中化、可視化、自動化管理。

IaaS管控層:

是指對IaaS的管理和控制,通過提供指令、文件、數據下發的管道,適配類型主機(Linux、Windows、虛擬機、容器等),兼容私有雲、公有雲以及混合元的管理方式,管控各個主機上面的數據庫實例。

原子層:

是指為滿足通用運維場景的基礎能力平臺的封裝,有作業功能模塊 、DB CMDB模塊、運維數據平臺模塊組成。

PaaS層:

包含該支撐應用部署和運行的APaaS(Application Platform as a Service)以及企業內部SOA集成的IPaaS(Integration Platform as a Service),通過企業服務總線和API Gateway對接原子層各平臺的能力。

運維場景層:

是指基於PaaS層之上的運維SaaS,涵蓋數據庫管理自動化、數據庫監控自動化、操作審計等。

核心功能及優勢

數據庫自動化運維中心,是嘉為數據庫技術專家基於多年的數據庫運維經驗的沈澱,是深刻理解MySQL、Oracle數據庫日常運維中各種場景後的結晶。嘉維藍鯨數據庫自動化運維中心,能快速實現數據庫的日常管理、SQL變更、備份恢復、實例交付、健康檢查、狀態及性能監控等多種場景,總結起來為以下幾點:

1、實現數據庫的全生命周期管理

一個應用系統的建設,在配置、部署、監控、操作、分析各階段,嘉維藍鯨DBM提供全方位的功能:實例自動部署、實例升降級,MHA自動部署和管理,MGR自動部署和管理,Oracle RAC自動部署和管理的能力,使企業應用快速簡便地使用MySQL、Oracle數據庫資源。

2、實現端到端的全流程自動化執行

大部分企業的數據庫種類繁多,主要集中在MySQL、Oracle等常用數據庫。嘉維藍鯨DBM,支持MySQL、Oracle日常運維、備份恢復等基本的運維操作批量完成、自動化交付。

3、進行數據庫實例的狀態及性能監控,保證數據庫時間健康運行

嘉維藍鯨DBM可以進行全面的數據庫實例及集群狀態監控、主機狀態監控。能實現性能指標收集,並進行綜合的分析,對超過告警閾值的狀態或性能指標通知幹系人,對有性能問題的SQL語句提供性能優化方案建議。

4、提供SQL一鍵發布和回退,並實現高危SQL語句過濾

對於應用的變更,能提供SQL語句自動發布,自定義SQL語句的過濾規則,規避高危SQL,可以批量執行到多個數據庫實例中。

5、配置集中管理和集成CMDB動態更新

嘉維藍鯨數據庫自動化運維中心是基於藍鯨PaaS平臺的開發一個SaaS服務,可以與藍鯨的CMDB(配置平臺)集成,在完成每一個數據庫的自動化交付後,都可以及時將交付對象的數據同步寫入CMDB,確保配置數據與真實環境的一致性。

6、支持個性化與定制化的數據庫巡檢

可以自定義巡檢項和自定義巡檢模板,對客戶關心的數據庫指標進行巡檢,可以批量巡檢、定時巡檢,巡檢報告自動發送到幹系人,隨時了解數據庫實例的運行狀態。

產品功能設計

技術分享圖片

?

1、實例管理

軟件部署自動化:自動化、標準化安裝MySQL、Oracle軟件,創建MySQL、Oracle 實例;

從庫搭建自動化:編寫標準的MySQL 主從庫創建腳本,在平臺通過選擇服務器進行一鍵從庫搭建

根據集群的配置要求,自動搭建數據庫集群,包括MySQL MHA集群、MGR集群,Oracle RAC 集群。

2、自動巡檢

檢查關鍵系統、數據庫實例的服務狀態、運行狀態,方便地根據需求配置和定義巡檢;

設定執行周期和時間,確保定期的觸發運行,也可以通過按鈕一鍵執行;

健康巡檢結果呈現到統一門戶中,方便一線監控人員查看處理,可以導出為可讀文件以供歷史存檔;

對檢查出來對健康和性能有隱患的配置或服務,提出告警和整改建議。

3、應該變更與SQL發布

預定義變更與SQL發布模板:系統可根據模板批量執行配置變更腳本,將以前手工執行的作業自動化;

變更與SQL發布可以恢復或回滾;

變更與SQL發審批:任何變更均需通過審批後方可執行,變更申請和變更審批應在不同權限用戶下進行;

變更與SQL發審計:對執行變更應該提供詳細的審計,審計信息至少包括變更命令的執行用戶名,高危操作。

4、備份與恢復

自動備份:根據備份需求,自動備份數據庫,支持邏輯備份和物理備份,提供備份日誌,備份異常告警;

自動恢復:要求可基於基準備份對數據庫件進行自動恢復,可以指定恢復到某個恢復路徑,自動檢查能夠恢復到什麽時間點,由用戶確定恢復的時間點。

5、狀態與性能監控

主機資源監控:主機CPU、內存、網絡使用狀態基本監控;

實例狀態監控:實例可用狀態,數據庫可以狀態、集群狀態監控;

實例性能監控:頂級事件、慢SQL語句監控;

所有超過閾值的指標進行告警和通知。

其它擴展功能

基於藍鯨的作業平臺、流程平臺以及開放的開發框架,用戶還可以進行快速功能定制和二次開發。

?


藍鯨智雲平臺試用Tips

藍鯨社區版

如果您想先簡單了解藍鯨研發運營一體化平臺,或者企業規模較小但想用更為先進的自動化運維管理方式進行IT運維管理,推薦您先試用藍鯨社區版。

藍鯨社區版已經開源,您可以登錄藍鯨智雲官網免費下載。網址:

http://bk.tencent.com/download

藍鯨企業版

當然,藍鯨企業版擁有更為豐富的功能,更適合企業級客戶使用。如您有需要試用或者測試,聯系嘉為吧!

借自動化實現數據庫的安全運維和跨界運維