表格儲存打造億量級訂單系統

摘要： 一、方案背景 訂單系統存在於各行各業，如電商訂單、銀行流水、運營商話費賬單等，是一個非常廣泛、通用的系統。對於這類系統，在過去十幾年發展中已經形成了經典的做法。但是隨著網際網路的發展，以及各企業對資料的重視，需要儲存和持久化的訂單量越來越大。資料的重視程度與資料規模的膨脹帶來了新的挑...

一、方案背景

訂單系統存在於各行各業，如電商訂單、銀行流水、運營商話費賬單等，是一個非常廣泛、通用的系統。對於這類系統，在過去十幾年發展中已經形成了經典的做法。但是隨著網際網路的發展，以及各企業對資料的重視，需要儲存和持久化的訂單量越來越大。資料的重視程度與資料規模的膨脹帶來了新的挑戰。

需求場景

某電商平臺A，需要進行持久化所有平臺產生的訂單資料。同時，基於所有的訂單資料，系統又需要向外提供面向多種角色：消費者、店家、平臺三類人群的多元化的查詢服務。消費者可以查詢自己的歷史訂單，商家可以統計熱銷產品，平臺也可以分析使用者行為、平臺交易規模等。主要查詢方式涵蓋訂單的多維度檢索，以及訂單資料的分析、統計等，例如：

面向消費者：【A消費者】【近1年】 【賣出電腦】訂單查詢；

面向售貨員：【B售貨員】*【近1個月】銷售訂單；

......

技術點

二、方案演進

應對訂單場景，電商通常會採用SQL/">MySQL傳統方案。藉助關係型資料庫強大的查詢能力，使用者可直接通過SQL語句實現訂單資料的多維度查詢、資料統計等。所謂資料膨脹，分為橫向、縱向兩種，橫向即不斷迭代引入的新欄位維度，縱向即總的儲存資料量。在面對這兩種訂單資料膨脹上，單MySql方案逐漸變得吃力。 SQL + NoSQL的組合方案（以下稱：組合方案）便應運而生，藉助兩個資料庫各自的優勢分別解決不同場景各自的需求。但組合方案同樣也帶來了新的問題，組合方案犧牲空間成本，同時也增加了開發工作量與運維複雜度。在保證資料一致性上產生額外開銷。

下面讓我們看一下如下幾個常規方案：

常規方案

1、MySql分庫分表方案

MySql自身擁有強大的資料查詢、分析功能，基於MyQql建立訂單系統，可以應對訂單資料多維查詢、統計場景。伴隨著訂單資料量的增加，使用者會採取分庫、分表方案應對，通過這種偽分散式方案，解決資料膨脹帶來的問題。但資料一旦達到瓶頸，便需要重新建立更大規模的分庫+資料的全量遷移，麻煩就會不斷出現。資料迭代、膨脹帶來的困擾，是MySql方案難於逾越的。僅僅依靠MySql的傳統訂單方案短板凸顯。

1、資料縱向（資料規模）膨脹：採用分庫分表方案，MySql在部署時需要預估分庫規模，資料量一旦達到上限後，重新部署並做資料全量遷移；

2、資料橫向（欄位維度）膨脹：schema需預定義，迭代新增新欄位變更復雜。而維度到達一定量後影響資料庫效能；

2、MySql+HBase方案

3、MySql+Elasticsearch方案

組合方案還有MySql+Elasticsearch，該方案同樣是將資料分兩部分儲存，可以一定程度解決訂單索引維度增長問題。使用者自己維護資料同步服務，保證兩部分資料的一致性；

表格儲存（TableStore）方案

如果使用表格儲存（TableStore）研發的多元索引（SearchIndex）方案，則可以完美地解決億量級訂單系統問題。TableStore具有即開即用，按量收費等特點。多元索引隨時建立，是海量電商訂單元資料管理的優質方案。

TableStore作為阿里雲提供的一款全託管、分散式NoSql型資料儲存服務，具有【海量資料儲存】、【熱點資料自動分片】、【海量資料多維檢索】等功能，天然地解決了訂單資料大爆炸這一挑戰；

同時，SearchIndex功能在保證使用者資料高可用的基礎上，提供了資料多維度搜索、統計等能力。針對多種場景建立多種索引，實現多種模式的檢索。使用者可以僅在需要的時候建立、開通索引。由TableStore來保證資料同步的一致性，這極大的降低了使用者的方案設計、服務運維、程式碼開發等工作量。

基於表格儲存搭建的訂單系統頁面一覽

樣例內嵌在表格儲存控制檯中，使用者可登入控制檯體驗系統（若為表格儲存的新使用者，需要點選開通服務後體驗，開通免費，訂單資料儲存在公共例項中，體驗不消耗使用者儲存、流量、Cu）。

注：該樣例提供了【億量級】訂單資料。官網控制檯地址： ofollow,noindex">專案樣例

二、搭建準備

若您對於億量級訂單系統的體驗不錯，希望開始自己系統的搭建之旅，只需按照如下步驟便可以著手搭建了：

1、開通表格儲存

通過控制檯開通表格儲存服務，表格儲存即開即用（後付費），採用按量付費方式，已為使用者提供足夠功能測試的免費額度。表格儲存官網控制檯、免費額度說明 。

2、建立例項

建立例項後，提交工單申請多元索引功能邀測（商業化後預設開啟，不使用不收費）。

• 
  

• 邀測地址：提工單，選擇【表格儲存】>【產品功能、特性諮詢】>【建立工單】，申請內容如下：

• 問題描述:請填寫【申請SearchIndex邀測】

• 機密資訊:請填寫【地域+例項名】，例：上海+myInstanceName

3、SDK下載

使用具有多元索引（SearchIndex）的SDK，官網地址，暫時java、go、node.js三種SDK增加了新功能

java-SDK

<dependency>

<code><span class="token tag"><span class="token punctuation"><</span>groupId<span class="token punctuation">></span></span>com.aliyun.openservices<span class="token tag"><span class="token punctuation"></</span>groupId<span class="token punctuation">></span></span>
<span class="token tag"><span class="token punctuation"><</span>artifactId<span class="token punctuation">></span></span>tablestore<span class="token tag"><span class="token punctuation"></</span>artifactId<span class="token punctuation">></span></span>
<span class="token tag"><span class="token punctuation"><</span>version<span class="token punctuation">></span></span>4.7.1-SNAPSHOT<span class="token tag"><span class="token punctuation"></</span>version<span class="token punctuation">></span></span></code>

</dependency>


go-SDK

$ go get github.com/aliyun/aliyun-tablestore-go-sdk

4、表設計

訂單系統不僅僅是訂單一張資料表，它應包含：消費者表、售貨員表、產品表、供貨商表、交易訂單表、支付訂單表等。在本樣例中，豬腰使用最基本的四張表（消費者表、售貨員表、產品表、交易訂單表），僅以訂單表舉例如下：

表名：order_contract

三、開始搭建（核心程式碼）

1、建立資料表

四張表：訂單表、消費者表、售貨員表、產品表

使用者僅需維護一個例項，按如下方式建立：通過控制檯建立、管理資料表（使用者也可以通過SDK直接建立）：

2、建立資料表索引

TableStore自動做全量、增量的索引資料同步：使用者可以通過控制檯建立、管理SearchIndex（使用者也可通過SDK建立）：

3、資料匯入

插入部分測試資料（控制檯樣例中插入了1億條資料，使用者自己可以通過控制檯插入少量測試資料）；

4、資料讀取

資料讀取分為兩類：

主鍵讀取

基於原生表格儲存的主鍵列獲取：getRow, getRange, batchGetRow等。主鍵讀取用於索引（自動）反查，使用者也可以提供主鍵（訂單md5）的單條查詢的頁面，億量級下查詢速度極快。單主鍵查詢方式不支援多維度檢索；

索引讀取

基於新SearchIndex功能Query：search介面。使用者可以自由設計索引欄位的多維度條件組合查詢。通過設定選擇不同的查詢引數，構建不同的查詢條件、不同排序方式；目前支援：精確查詢、範圍查詢、字首查詢、匹配查詢、萬用字元查詢、短語匹配查詢、分詞字串查詢，並通過布林與、或組合。

如【c0001號消費者，且消費在99.99以上的訂單】組合方式如下：

List<Query> mustQueries = new ArrayList<Query>();

TermQuery termQuery = new TermQuery();
termQuery.setFieldName("cId");
termQuery.setTerm(ColumnValue.fromString("c0001"));
mustQueries.add(termQuery);

RangeQuery rangeQuery = new RangeQuery();
rangeQuery.setFieldName("totalPrice");
rangeQuery.setFrom(ColumnValue.fromDouble(99.99)）;
mustQueries.add(rangeQuery);

BoolQuery boolQuery = new BoolQuery();
boolQuery.setMustQueries(mustQueries);


四、

這樣，系統的核心程式碼已經完成，基於表格儲存搭建訂單系統，是不是很簡單？

對錶格儲存（TableStore）感興趣的使用者，歡迎加入【表格儲存公開交流群】，群號：11789671。