1. 程式人生 > >分散式資料庫架構--分庫、分表、排序、分頁、分組、實現

分散式資料庫架構--分庫、分表、排序、分頁、分組、實現

最近研究分散式資料庫架構,發現排序、分組及分頁讓著實人有點頭疼。現把問題及解決思路整理如下。

一、 多分片(水平切分)返回結果合併(排序)

1、Select + None Aggregate Function的有序記錄合併排序 

           解決思路:對各分片返回的有序記錄,進行排序去重合並。此處主要是編寫排序去重合

          並演算法。

          2、Select + None Aggregate Function的無序記錄合併

           解決思路:對各分片返回的無序記錄,進行去重合並。

           優點:實現比較簡單。

           缺點:資料量越大,欄位越多,去重處理就會越耗時。

          3、Select + Aggregate Function的記錄合併(排序)

          Oracle常用聚合函式:Count、Max、Min、Avg、Sum。

          AF:Max、Min

          思路:通過演算法對各分片返回結果再求max、min值。

          AF:Avg、Sum、Count

          思路:分片間無重複記錄或欄位時,通過演算法對各分片返回結果再求avg、sum、count值。分片間有重複記錄或欄位時,先對各分片記錄去重合並,再通過演算法求avg、sum、count值。

          比如:

          select count(*) from user

          select count(deptno) from user;

          select count(distinct deptno) from user;

二、多分片(水平切分)返回結果分頁

解決思路:合併各分片返回結果,邏輯分頁。

        優點:  實現簡單。

        缺點:  資料量越大,快取壓力就越大。

                     分片資料量越大,查詢也會越慢。

三、多分片(水平切分)查詢有分組語法的合併

         1、Group By Having + None Aggregate Function時

         Select + None Aggregate Function

         比如:select job user group by job;

        思路:直接去重(排序)合併。

        Select + Aggregate Function

         比如:select max(sal),job user group by job;

         思路:同Select + Aggregate Function的記錄合併(排序)。

         2、Group By Having + Aggregate Function時

         解決思路:去掉having AF條件查詢各分片,然後把資料放到一張表裡。再用group by having 聚合函式查詢。

四、分散式資料庫架構--排序分組分頁參考解決方案

         解決方案1:Hadoop + Hive。

         思路:使用Hadoop HDFS來儲存資料,通過Hdoop MapReduce完成資料計算,通過Hive HQL語言使用部分與RDBBS一樣的表格查詢特性和分散式儲存計算特性。

         優點: 可以解決問題

                       具有併發處理能力

                       可以離線處理

         缺點:  實時性不能保證

                       網路延遲會增加

                       異常捕獲難度增加

                       Web應用起來比較複雜

          解決方案2:總庫集中查詢。

          優點: 可以解決問題        

                       實現簡單

          缺點: 總庫資料不能太大

                        併發壓力大

五、小結

         對 於分散式資料庫架構來說,排序、分頁、分組一直就是一個比較複雜的問題。避免此問題需要好好地設計分庫、分表策略。同時根據特定的場景來解決問題。也可以 充分利用海量資料儲存(Hadoop-HDFS|Hive|HBse)、搜尋引擎(Lucene|Solr)及分散式計算(MapReduce)等技術來 解決問題。
別外,也可以用NoSQL技術替代關係性資料庫來解決問題,比如MogonDB\redis。