.net hbase client--終於浮出水面的輪子
阿新 • • 發佈：2020-08-02
## 一、開篇
### 1.背景
在大資料時代，HBase 資料庫是個繞不開的熱門話題。 由於其使用 Java 作為主要開發語言，並且依賴大量的 Java 元件（如 Hadoop、zooKeep），使得其他技術棧想要有一個對應的 hbase 客戶端變得有一定難度。在 .net 的世界中，一直缺乏能夠直接訪問 hbase 的客戶端。
### 2.歷程
**Apache Thrift** 作為社群內比較有名的支援多語言的 Api 服務，可以解決跨語言訪問 HBase 資料庫的痛點。在以往的文章中業也介紹過 C#如何使用 thrift 訪問 hbase，但在真正的生產環境中，該方式的訪問效率和原生 Java 客戶端比起來真著實讓人心灰意冷。此外，thrift 也要求服務端和客戶端版本一致。
**Protocol Buffers** HBase 提供基於 Protocol 的資料訪問，這以一種相對高效緊湊的資料交換規則。基於此，我們能夠造出屬於 .net 的 hbase 客戶端。
這是一個造輪子的過程，中間雖有著許多難點就不再贅述。下面直接介紹該專案的使用。
## 二、HBaseNet 使用
### 1.HBase 資料庫準備
作為專案使用演示，我們就不討論如何搭建 HBase 叢集了，一切以簡單便捷為前提，直接使用別人構建好的 docker 映象就可以輕鬆獲取 HBase 資料庫的使用。
在 dockerhub 中搜索 hbase 或者命令列：`docker search hbase`。結果中找到`dajobe/hbase`，將其 pull 到本地就行。可以按照[作者教程](https://hub.docker.com/r/dajobe/hbase)進行部署。其核心操作也就幾個簡單命令，現作一簡單摘抄：
```bash
docker pull dajobe/hbase # 拉取映象到本地
mkdir data # 建立名為data的目錄
id=$(docker run --name=hbase-docker -h hbase-docker -d -v $PWD/data:/data dajobe/hbase) #將hbase-docker設定為主機名執行，並將docker容器id賦值給id
```
命令列`docker inspect hbase-docker|grep IPAddress`檢視 hbase 主機地址：
```bash
"SecondaryIPAddresses": null,
"IPAddress": "172.17.0.2",
"IPAddress": "172.17.0.2",
```
可以看到我的在 172.17.0.2 上，我們可以直接瀏覽器訪問http://172.17.0.2:16010/，看到habse的主頁說明部署成功。此外，最好將本地物理機的hosts修改以作對映，檔案中新增一行`172.17.0.2 hbase-docker`即可。
### 2.HBaseNet 簡單演示
#### 演示專案建立
首先建立控制檯專案`dotnet new console -o HBaseNetTest`，然後新增 HBaseNet 客戶端 nuget `dotnet add package HBaseNet --version 0.1.0-rc2-final`。
#### 使用 AdminClient 建立 HBase 表
直接在主函式中寫下如下程式碼:
```csharp
static async Task Main(string[] args)
{
// 注意在hosts中新增地址對映
var ZkQuorum = "hbase-docker";
var admin = await new AdminClient(ZkQuorum).Build();
if (admin == null) return;
var table = "products";
var cols = new[] { new ColumnFamily("info") };//名為info的列簇
var create = new CreateTableCall(table, cols)
{
SplitKeys = new[] { "8" }// 預分割槽
};
//簡單判斷表是否存在
var tables = await admin.ListTableNames(new ListTableNamesCall { Regex = table });
if (true != tables?.Any())
{
//使用高階客戶端建立products表
var createResult = await admin.CreateTable(create);
Console.WriteLine($"建立表{table}的結果:{createResult}.");
}
else
{
Console.WriteLine($"表{table}已經存在");
}
}
```
執行後控制檯輸出`建立表products的結果:True.`。我們再檢視主頁`http://hbase-docker:16010/`，找到`Tables`，可以看到 products 表已經被建立：
```php
default products ENABLED 2 0 0 0 0 0 0 0 'products', {NAME => 'info', VERSIONS => '3', DATA_BLOCK_ENCODING => 'FAST_DIFF', BLOCKCACHE => 'False', METADATA => {'TTl' => '2147483647'}}
```
#### 使用 StandardClient 進行資料的寫入和查詢
```csharp
var client = await new StandardClient(ZkQuorum).Build();
if (client == null) return;
var rowKey = "123";
var values = new Dictionary