EOS 區塊鏈資料實時異構到 MongoDB
文/溫國兵
這是「區塊鏈技術指北」的第 38 篇文章。
如果對我感興趣，想和我交流，我的微信號： Wentasy ，加我時簡單介紹下自己，並註明來自「區塊鏈技術指北」，同時我會把你拉入微信群。
題圖來自: © ChainONE / Original / chainon.io
更新：從 EOSIO 1.1.0 開始，已經預設支援 MongoDB，所以本文提供的方法僅做參考。
0x00 背景
執行 eosio_build.sh 指令碼編譯 nodeos 會預設安裝 mongodb，但是從 Dawn 4.0 開始， mongo_db_plugin 外掛不再生效，詳情請參考 ofollow,noindex" target="_blank">#3030 。 #4304 PR 重新支援 MongoDB，本文講解如何將鏈上資料實時同步到 MongoDB。
0x01 部署
部署的思路如下：
- 編譯支援 mongo_db_plugin 的 nodeos
- 配置 MongoDB
- 啟動 MongoDB
- 建立資料庫
- 啟動 nodeos，同步主網資料
- 檢視 MongoDB，確認資料
接下來我們逐步講解。
由於 EOSIO 程式碼庫有 gh#3030-enable-mongodb 分支，所以可以使用 git 自動將支援 mongo_db_plugin 外掛的程式碼合併，詳細命令如下：
$ mkdir -p /data/mongodb && cd /data/mongodb $ git clone -b release/1.1 https://github.com/EOSIO/eos.git --recursive $ cd eos $ git fetch --all --tags --prune $ git merge --m "merge" --commit origin/gh#3030-enable-mongodb $ git submodule update --init --recursive $ ./eosio_build.sh
如果 nodeos 編譯成功，MongoDB 自動安裝，路徑在 $USER/opt/mongodb 。執行 /data/mongodb/eos/build/programs/nodeos/nodeos --help | grep mongo ，如果有如下的輸出，表示 MongoDB 外掛編譯成功。
Config Options for eosio::mongo_db_plugin: -q [ --mongodb-queue-size ] arg (=256) --mongodb-wipeRequired with --replay-blockchain, --delete-all-blocks to wipe mongo accidental wipe of mongo db. --mongodb-block-start arg (=0)If specified then only abi data pushed to mongodb until specified block is -m [ --mongodb-uri ] argMongoDB URI connection string, see: https://docs.mongodb.com/master/referen in URI. Example: mongodb://127.0.0.1:27
接下來我們配置 MongoDB。
$ mkdir -p /data/mongodb/db /data/mongodb/logs $ touch /data/mongodb/mongodb.conf
mongodb.conf 配置檔案內容如下：
systemLog: destination: file path: /data/mongodb/logs/mongo.log logAppend: true storage: dbPath: /data/mongodb/db journal: enabled: true net: bindIp: 127.0.0.1 port: 27017
接著啟動 MongoDB，並且建立 eos 資料庫。
$ /$USER/opt/mongodb/bin/mongod -f /data/mongodb/mongodb.conf --fork $ /$USER/opt/mongodb/bin/mongo --port 27017 $ use eos
然後配置 EOS 主網 fullnode。
$ mkdir /data/mainnet $ cd /data/mainnet $ git clone https://github.com/superoneio/eos-mainnet $ mkdir -p data logs config $ cp eos-mainnet/config.ini mainnet/config $ cp eos-mainnet/genesis.json mainnet $ cp eos-mainnet/*.sh mainnet $ chmod +x mainnet
修改 config.ini 相關配置，新增如下引數：
plugin = eosio::mongo_db_plugin mongodb-uri = mongodb://127.0.0.1:27017/eos
最後執行 start.sh，同步主網資料。
0x02 測試
我們執行 $ /$USER/opt/mongodb/bin/mongo --port 27017 登入到 MongoDB，可以對同步的資料進行校驗。
> use eos
> show dbs
admin0.000GB
config0.000GB
eos0.031GB
local0.000GB
> use eos
switched to db eos
> show tables;
accounts
actions
block_states
blocks
transaction_traces
transactions
> db.accounts.find({name:{$eq:'eosio.ram'}})
{ "_id" : ObjectId("5b4163f2992ecd51b4277f77"), "name" : "eosio.ram", "createdAt" : ISODate("2018-07-08T01:08:02.071Z") }
0x03 小結
之前介紹了將 EOS 主網資料同步到 SQL/">MySQL，本文講解了另一種同步到文件型資料庫的方法。MySQL 和 MongoDB 最大的區別在於，MySQL 是傳統的關係型資料庫，支援 SQL 標準，而 MongoDB 是文件型資料庫。MySQL 天生適用於結構化資料以及需要使用事務的場景，天生支援 SQL 標準，對開發者比較友好。
MongoDB 適合如下場景：[1]
- 表結構不明確且資料不斷變大，MongoDB 是非結構化文件資料庫，擴充套件欄位很容易且不會影響原有資料
- 更高的寫入負載，MongoDB 側重高資料寫入的效能，而非事務安全
- 資料量很大或者將來會變得很大，MongoDB 內建了 Sharding、資料分片的特性，容易水平擴充套件
- 高可用性，MongoDB 自帶高可用，自動主從切換（副本集）
而 MongoDB 不支援事務、不支援 JOIN，所以涉及事務和複雜查詢的場景不適合 MySQL。
關於 MongoDB 和 MySQL 的對比，可以點選 此處 檢視。
0x04 參考
- [1] 張家江 (2017-09-07). SOCI Installation. Retrieved from http://tech.lede.com/2017/09/07/rd/server/MongoDBvsMysql .
「區塊鏈技術指北」同名 知識星球 ，二維碼如下，歡迎加入。
「區塊鏈技術指北」相關資訊渠道：
- 「區塊鏈技術指北」同名知識星球， https://t.xiaomiquan.com/ZRbmaU3
- 官網， https://chainon.io
- 官方部落格， https://blog.chainon.io
- 官方社群， https://bbs.chainon.io
- Telegram Channel， BlockchainAge" rel="nofollow,noindex" target="_blank">https://t.me/BlockchainAge
- Telegram Group， https://t.me/bcage
- Twitter， https://twitter.com/bcageone
- Facebook， https://www.facebook.com/chainone.org
- 新浪微博， https://weibo.com/BlockchainAge
同時，本系列文章會在以下渠道同步更新，歡迎關注：
- 「區塊鏈技術指北」同名微信公眾號（微訊號：BlockchainAge）
- 個人部落格，https://dbarobin.com
- 知乎， https://zhuanlan.zhihu.com/robinwen
- 簡書， https://www.jianshu.com/c/a37698a12ba9
- Steemit， https://steemit.com/@robinwen
- Medium， https://medium.com/@robinwan
- 掘金， [email protected]
- EOS LIVE， https://eos.live/user/robin
- 幣乎， https://bihu.com/people/22207
原創不易，讀者可以通過如下途徑打賞，虛擬貨幣、美元、法幣均支援。
- BTC: 3QboL2k5HfKjKDrEYtQAKubWCjx9CX7i8f
- ERC20 Token: 0x8907B2ed72A1E2D283c04613536Fac4270C9F0b3
- PayPal: https://www.paypal.me/robinwen
- 微信打賞二維碼
–EOF–