EOS 區塊鏈資料實時異構到 MongoDB

MongoDB 區塊鏈開發 · 發表 2018-11-19 01:30:34

摘要：文/溫國兵這是「區塊鏈技術指北」的第 38 篇文章。如果對我感興趣，想和我交流，我的微信號： Wentasy ，加我時簡單介紹下自己，並註明來自「區塊鏈技術指北」，同時我會把你拉入微信群。題圖來自: © ChainONE / Original / chain...

文/溫國兵

這是「區塊鏈技術指北」的第 38 篇文章。

如果對我感興趣，想和我交流，我的微信號： Wentasy ，加我時簡單介紹下自己，並註明來自「區塊鏈技術指北」，同時我會把你拉入微信群。

題圖來自: © ChainONE / Original / chainon.io

更新：從 EOS IO 1.1.0 開始，已經預設支援 MongoDB，所以本文提供的方法僅做參考。

0x00 背景

執行 eosio_build.sh 指令碼編譯 nodeos 會預設安裝 mongodb，但是從 Dawn 4.0 開始， mongo_db_plugin 外掛不再生效，詳情請參考 ofollow,noindex" target="_blank">#3030 。 #4304 PR 重新支援 MongoDB，本文講解如何將鏈上資料實時同步到 MongoDB。

0x01 部署

部署的思路如下：

編譯支援 mongo_db_plugin 的 nodeos
配置 MongoDB
啟動 MongoDB
建立資料庫
啟動 nodeos，同步主網資料
檢視 MongoDB，確認資料

接下來我們逐步講解。

由於 EOSIO 程式碼庫有 gh#3030-enable-mongodb 分支，所以可以使用 git 自動將支援 mongo_db_plugin 外掛的程式碼合併，詳細命令如下：

$ mkdir -p /data/mongodb && cd /data/mongodb
$ git clone -b release/1.1 https://github.com/EOSIO/eos.git --recursive
$ cd eos
$ git fetch --all --tags --prune
$ git merge --m "merge" --commit origin/gh#3030-enable-mongodb
$ git submodule update --init --recursive
$ ./eosio_build.sh

如果 nodeos 編譯成功，MongoDB 自動安裝，路徑在 $USER/opt/mongodb 。執行 /data/mongodb/eos/build/programs/nodeos/nodeos --help | grep mongo ，如果有如下的輸出，表示 MongoDB 外掛編譯成功。

Config Options for eosio::mongo_db_plugin:
-q [ --mongodb-queue-size ] arg (=256)
--mongodb-wipeRequired with --replay-blockchain,
--delete-all-blocks to wipe mongo
accidental wipe of mongo db.
--mongodb-block-start arg (=0)If specified then only abi data pushed
to mongodb until specified block is
-m [ --mongodb-uri ] argMongoDB URI connection string, see:
https://docs.mongodb.com/master/referen
in URI. Example: mongodb://127.0.0.1:27

接下來我們配置 MongoDB。

$ mkdir -p /data/mongodb/db /data/mongodb/logs
$ touch /data/mongodb/mongodb.conf

mongodb.conf 配置檔案內容如下：

systemLog:
destination: file
path: /data/mongodb/logs/mongo.log
logAppend: true
storage:
dbPath: /data/mongodb/db
journal:
enabled: true
net:
bindIp: 127.0.0.1
port: 27017

接著啟動 MongoDB，並且建立 eos 資料庫。

$ /$USER/opt/mongodb/bin/mongod -f /data/mongodb/mongodb.conf --fork
$ /$USER/opt/mongodb/bin/mongo --port 27017
$ use eos

然後配置 EOS 主網 fullnode。

$ mkdir /data/mainnet
$ cd /data/mainnet
$ git clone https://github.com/superoneio/eos-mainnet
$ mkdir -p data logs config
$ cp eos-mainnet/config.ini mainnet/config
$ cp eos-mainnet/genesis.json mainnet
$ cp eos-mainnet/*.sh mainnet
$ chmod +x mainnet

修改 config.ini 相關配置，新增如下引數：

plugin = eosio::mongo_db_plugin
mongodb-uri = mongodb://127.0.0.1:27017/eos

最後執行 start.sh，同步主網資料。

0x02 測試

我們執行 $ /$USER/opt/mongodb/bin/mongo --port 27017 登入到 MongoDB，可以對同步的資料進行校驗。

> use eos
> show dbs
admin0.000GB
config0.000GB
eos0.031GB
local0.000GB
> use eos
switched to db eos
> show tables;
accounts
actions
block_states
blocks
transaction_traces
transactions
> db.accounts.find({name:{$eq:'eosio.ram'}})
{ "_id" : ObjectId("5b4163f2992ecd51b4277f77"), "name" : "eosio.ram", "createdAt" : ISODate("2018-07-08T01:08:02.071Z") }

0x03 小結

之前介紹了將 EOS 主網資料同步到 SQL/">MySQL，本文講解了另一種同步到文件型資料庫的方法。MySQL 和 MongoDB 最大的區別在於，MySQL 是傳統的關係型資料庫，支援 SQL 標準，而 MongoDB 是文件型資料庫。MySQL 天生適用於結構化資料以及需要使用事務的場景，天生支援 SQL 標準，對開發者比較友好。

MongoDB 適合如下場景：[1]

表結構不明確且資料不斷變大，MongoDB 是非結構化文件資料庫，擴充套件欄位很容易且不會影響原有資料
更高的寫入負載，MongoDB 側重高資料寫入的效能，而非事務安全
資料量很大或者將來會變得很大，MongoDB 內建了 Sharding、資料分片的特性，容易水平擴充套件
高可用性，MongoDB 自帶高可用，自動主從切換（副本集）

而 MongoDB 不支援事務、不支援 JOIN，所以涉及事務和複雜查詢的場景不適合 MySQL。

關於 MongoDB 和 MySQL 的對比，可以點選此處檢視。

0x04 參考

[1] 張家江 (2017-09-07). SOCI Installation. Retrieved from http://tech.lede.com/2017/09/07/rd/server/MongoDBvsMysql .

「區塊鏈技術指北」同名 知識星球 ，二維碼如下，歡迎加入。

「區塊鏈技術指北」相關資訊渠道：

「區塊鏈技術指北」同名知識星球， https://t.xiaomiquan.com/ZRbmaU3
官網， https://chainon.io
官方部落格， https://blog.chainon.io
官方社群， https://bbs.chainon.io
Telegram Channel， BlockchainAge" rel="nofollow,noindex" target="_blank">https://t.me/BlockchainAge
Telegram Group， https://t.me/bcage
Twitter， https://twitter.com/bcageone
Facebook， https://www.facebook.com/chainone.org
新浪微博， https://weibo.com/BlockchainAge

同時，本系列文章會在以下渠道同步更新，歡迎關注：

「區塊鏈技術指北」同名微信公眾號（微訊號：BlockchainAge）
個人部落格，https://dbarobin.com
知乎， https://zhuanlan.zhihu.com/robinwen
簡書， https://www.jianshu.com/c/a37698a12ba9
Steemit， https://steemit.com/@robinwen
Medium， https://medium.com/@robinwan
掘金， [email protected]
EOS LIVE， https://eos.live/user/robin
幣乎， https://bihu.com/people/22207

原創不易，讀者可以通過如下途徑打賞，虛擬貨幣、美元、法幣均支援。

BTC: 3QboL2k5HfKjKDrEYtQAKubWCjx9CX7i8f
ERC20 Token: 0x8907B2ed72A1E2D283c04613536Fac4270C9F0b3
PayPal: https://www.paypal.me/robinwen
微信打賞二維碼

–EOF–

版權宣告：自由轉載-非商用-非衍生-保持署名（創意共享4.0許可證）