1. 程式人生 > >5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

不小心刪除公司資料,會怎麼樣?

 

如果你經常關注知乎,就會發現,這個問題經常出現在你的feeds流裡面,時長都會有各式各樣的“刪庫到跑路”事件發生。不管是傳統資料庫或者是雲資料庫,總會遇到一些問題,比如資料遷移,比如資料風險安全,比如資料訂閱!

今天我將分享一篇文章,談談雲資料庫的優勢,談談騰訊雲在這方面的努力。看看騰訊雲怎麼通過技術手段來確保資料庫安全穩定,和快捷遷移,以及推動資料商業分析的。

傳統資料庫與雲資料庫

傳統資料庫

傳統企業在建設資料庫初期,不僅建設伺服器,還要保證資料庫能夠穩定和可靠的執行。當業務資料增長到一定大小的時候,就需要增加伺服器CPU及記憶體以及磁碟相關資源。為了保證伺服器的穩定性,還需要制定相關制度及體系,定製資料庫的架構,防止資料庫被攻擊,確保資料庫安全穩定。

雲資料庫

那麼雲資料庫有哪些優勢呢?首先雲資料庫提供PCI-e SSD硬碟,效能能達到245509 QPS。雲資料庫同時提供了MySQL、SQL server、Mariadb和PostgerSQL等資料庫引擎。企業可以根據不同的業務需求,使用不同的資料庫進行操作。同時,雲資料庫提供了統一的WEB管理工作臺,相對於傳統資料庫,更能容易部署和管理資料庫。為了保證資料庫的可用性,雲資料庫支援主從實時熱備,提供容災、備份、恢復、監控、遷移等功能。隨著業務的發展,業務需要更大和更強勁的資料庫時,只需要購買所需的資源,就能快速平滑擴容業務資料庫,滿足業務發展需要。

騰訊是開源資料庫白金級贊助商,騰訊對開源資料庫做了大量優化。這些資料庫支撐著騰訊大量交易系統的執行,騰訊雲資料庫有統一的管理平臺,不論選擇怎樣的資料庫,都能方便快捷的管理。

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

資料庫SaaS服務體系

資料SaaS服務涵蓋使用者從上雲,日常運維使用,資料安全審計,及訂閱商業分析。

騰訊雲資料庫讓您可以輕鬆在雲端部署、使用資料庫。通過雲資料庫MySQL,您在幾分鐘內即可部署可擴充套件的資料庫例項。不僅經濟實惠,而且可以彈性調整硬體容量的大小而無需停機。TencentDB for MySQL 提供備份回檔、監控、快速擴容、資料傳輸等資料庫運維全套解決方案,為您簡化 IT 運維工作,讓您能更加專注於業務發展。

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

資料庫遷移

資料傳輸服務(Data Transmission Serivce DTS)提供資料遷移、資料同步、資料訂閱於一體的資料庫資料傳輸服務,幫助您在業務不停服的前提下輕鬆完成資料庫遷移,利用實時同步通道輕鬆構建異地容災的高可用資料庫架構。資料傳輸服務DTS的目標是幫使用者將複雜的資料互動工作承擔下來,讓使用者可以專注於上層的業務開發。

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

資料遷移

支援不同環境及不同型別的資料庫遷移。支援遷移的源庫包括有公網IP的外網自建資料庫,通過VPN、專線等網路環境接入騰訊雲的自建資料庫,雲伺服器CVM自建資料庫;目標庫為TencentDB for MySQL例項。支援檢視所有遷移任務的狀態及多工批量操作。 DTS提供的資料遷移功能是您資料上雲的的最佳選擇。資料遷移僅需幾步設定,則可幫助您完成資料從本地遷移上雲的一系列繁瑣工作。遷移過程中並不影響源資料庫繼續對外提供服務,最小化上雲過程對您業務的影響。

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

提供自建 MySQL 資料庫到雲資料庫 TencentDB for MySQL 的連續資料複製,使用者可在不停服的情況下對資料進行線上熱遷移,支援具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 MySQL 資料庫遷移。例項有關聯災備例項暫不支援資料傳輸服務,請建工單進行遷移。(通過增量遷移的時間建議不超過15天,請確保主從追上之後單擊遷移完成按鈕。)

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

Redis 遷移

線上遷移工具暫不支援的遷移型別:主從版、叢集版、自研CKV+引擎 三者例項間的遷移。

遷移注意事項
  1. 目前僅支援遷移到騰訊雲 redis 的主從版本;
  2. 為保障遷移效率,CVM 自建例項遷移不支援跨地域遷移;
  3. 由於 rdb 協議限制,暫不支援自建例項 redis 3.2 版本的遷移;
  4. 外網例項遷移時,請確保源例項服務在外網環境下可訪問;
  5. 進行遷移任務時,只允許遷移正常執行狀態下的例項,且未初始化密碼或者有其他任務在執行中的例項,是不能夠遷移的;
  6. 目的例項必須是沒有資料的空例項,遷移過程中,會鎖住例項,不能對例項進行寫入操作;
  7. 遷移成功時,由業務側驗證資料後,可斷開源例項連線,將連線切換到目標例項。

PostgreSQL 資料庫遷移

資料傳輸服務 DTS 支援資料遷移功能,提供自建 PostgreSQL 資料庫到雲資料庫TencentDB for MySQL的連續資料複製,使用者可在不停服的情況下對資料進行線上熱遷移,支援具有公網 IP/Port 或專線接入騰訊雲的本地 IDC 或騰訊云云伺服器 CVM 上 PostgreSQL 資料庫遷移。資料遷移目前只支援 PostgreSQL 資料庫的版本是9.3.x,9.5.x,同時9.3.x 不支援增量同步,9.5.x 需要通過線上同步外掛才能支援。

資料庫審計

資料庫審計是騰訊云為瞭解決行業客戶遇到的諸如金融審計需求,以及實際執行中遇到的安全防護,SQL 延遲效能問題等多種綜合需求而提供的產品。

全面審計

  • 資料庫訪問的全部記錄,最大程度滿足使用者審計需求,可追溯對應用者的身份和行為;
  • 準確審計:使用者可設定規則,只保證規則匹配到的審計規則有資料儲存,規則也可以設定為全量審計;
  • 提供海量 TB 級資料儲存,可以後續根據使用者要求提供長期備份。

高效審計

  • 與目前其他通過旁路做審計檢查方式不同,騰訊雲資料庫 TencentDB for MySQL 通過核心外掛進行上報;
  • 後期還會逐步增加實時阻隔功能,另外在實際測試影響效能不到 2%;
  • 高效分析:提供使用者、IP、客戶端工具、訪問時間、操作物件、SQL 操作型別、成功與否、訪問時長、影響行數等多種檢索條件的快速分析與檢索,實測 30 多億級資料 6-8 秒內響應。

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

背景說明

管理風險

系統管理員存在的誤操作、違規操作、越權操作,損害業務系統安全執行;

多人公用一個帳號,責任難以分清;

第三方開發維護人員的誤操作,惡意操作和篡改;

超級管理員許可權過大,無法審計監控。

技術風險

應用系統開發商後門或漏洞;

離職員工留下後門。

政策風險

無法達到國家等級保護(三級)明確要求(7.1.3.3);

滿足不了行業資訊保安合規性檔案要求——如人行《金融行業資訊系統資訊保安等級保護實施指引》;

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

資料訂閱

資料傳輸服務 DTS 提供了基於 binlog 的增量資料訂閱功能,僅需幾步簡單操作,即可訂閱雲資料庫 TencentDB for MySQL 的增量更新資料:

  • 在騰訊雲 DTS 控制檯購買並建立 TencentDB for MySQL 例項的訂閱通道。
  • 使用 DTS 資料訂閱 SDK 連線這個訂閱通道,訂閱並消費增量資料。

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

原理

我們會通過模擬從庫向主庫獲取對應 binlog 內容進行分析,大概架構圖如下,我們會通過解析 binlog ,按照訂閱通道配置的庫表進行分析,所以幾乎對主庫沒有影響。

注意:

  • 目前我們對訂閱的訊息內容預設會保留最近 3 天。
  • 另外如果訂閱整庫的話,後續新增的表也是會在原有訂閱通道出現,不需要對原訂閱通道進行新增配置操作。
  • 目前只支援 TencentDB for MySQL5.6,後續會很快支援 TencentDB for MySQL5.7。
  • 資料訂閱暫不支援view,觸發器和外來鍵。
  • 資料訂閱初次配置需要對相關 binlog_row_image 引數做調整,會根據符合條件自動 kill 老的 session 使引數立即生效。
  • 資料訂閱目前支援的字符集包括 latin1,utf8,utf8mb4。

5分鐘學會如何玩轉雲資料庫元件(遷移,審計,訂閱)

總結

未來的雲資料庫將會成為企業IT架構的“水,電,煤”,可以按需快速啟動,支援各種型別的資料,滿足所有種類的業務,無限儲存,無伺服器,全智慧,自驅動,零運維,閒時免費,覆蓋全球並能自動擴充套件到近使用者端,提供穩定可靠自由擴充套件的服務,騰訊雲資料庫將不懈的努力將更多的產品能力普惠世界。