2. 程式人生 > >Apache Thrift系列詳解(一)

Apache Thrift系列詳解(一)

阿新 • • 發佈：2018-12-11

前言

Thrift是一個輕量級、跨語言的遠端服務呼叫框架，最初由Facebook開發，後面進入Apache開源專案。它通過自身的IDL中間語言, 並藉助程式碼生成引擎生成各種主流語言的RPC服務端/客戶端模板程式碼。

Thrift支援多種不同的程式語言，包括C++、Java、Python、PHP、Ruby等，本系列主要講述基於Java語言的Thrift的配置方式和具體使用。

正文

Thrift的技術棧

Thrift對軟體棧的定義非常的清晰, 使得各個元件能夠鬆散的耦合, 針對不同的應用場景, 選擇不同是方式去搭建服務。

Thrift軟體棧分層從下向上分別為：傳輸層(Transport Layer

)、協議層(Protocol Layer)、處理層(Processor Layer)和服務層(Server Layer)。

  • 傳輸層(Transport Layer)：傳輸層負責直接從網路中讀取和寫入資料，它定義了具體的網路傳輸協議；比如說TCP/IP傳輸等。

  • 協議層(Protocol Layer)：協議層定義了資料傳輸格式，負責網路傳輸資料的序列化和反序列化；比如說JSON、XML、二進位制資料等。

  • 處理層(Processor Layer)：處理層是由具體的IDL（介面描述語言）生成的，封裝了具體的底層網路傳輸和序列化方式，並委託給使用者實現的Handler進行處理。

  • 服務層(Server Layer

    )：整合上述元件，提供具體的網路執行緒/IO服務模型，形成最終的服務。

Thrift的特性

(一) 開發速度快

通過編寫RPC介面Thrift IDL檔案，利用編譯生成器自動生成服務端骨架(Skeletons)和客戶端樁(Stubs)。從而省去開發者自定義和維護介面編解碼、訊息傳輸、伺服器多執行緒模型等基礎工作。

  • 服務端：只需要按照服務骨架即介面，編寫好具體的業務處理程式(Handler)即實現類即可。
  • 客戶端：只需要拷貝IDL定義好的客戶端樁和服務物件，然後就像呼叫本地物件的方法一樣呼叫遠端服務。

(二) 介面維護簡單

通過維護Thrift格式的IDL（介面描述語言）檔案（注意寫好註釋），即可作為給Client

使用的介面文件使用，也自動生成介面程式碼，始終保持程式碼和文件的一致性。且Thrift協議可靈活支援介面的可擴充套件性。

(三) 學習成本低

因為其來自Google Protobuf開發團隊，所以其IDL檔案風格類似Google Protobuf，且更加易讀易懂；特別是RPC服務介面的風格就像寫一個面向物件的Class一樣簡單。

(四) 多語言/跨語言支援

Thrift支援C++、 Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C#、Cocoa、JavaScript、Node.js、Smalltalk等多種語言，即可生成上述語言的伺服器端和客戶端程式。

對於我們經常使用的Java、PHP、Python、C++支援良好，雖然對iOS環境的Objective-C(Cocoa)支援稍遜，但也完全滿足我們的使用要求。

(五) 穩定/廣泛使用

Thrift在很多開源專案中已經被驗證是穩定和高效的，例如Cassandra、Hadoop、HBase等；國外在Facebook中有廣泛使用，國內包括百度、美團小米、和餓了麼等公司。

Thrift的資料型別

Thrift 指令碼可定義的資料型別包括以下幾種型別：

  1. 基本型別： 　　bool: 布林值 　　byte: 8位有符號整數 　　i16: 16位有符號整數 　　i32: 32位有符號整數 　　i64: 64位有符號整數 　　double: 64位浮點數 　　string: UTF-8編碼的字串 　　binary: 二進位制串
  2. 結構體型別： 　　struct: 定義的結構體物件
  3. 容器型別： 　　list: 有序元素列表 　　set: 無序無重複元素集合 　　map: 有序的key/value集合
  4. 異常型別： 　　exception: 異常型別
  5. 服務型別： 　　service: 具體對應服務的類

Thrift的協議

Thrift可以讓使用者選擇客戶端與服務端之間傳輸通訊協議的類別，在傳輸協議上總體劃分為文字(text)和二進位制(binary)傳輸協議。為節約頻寬，提高傳輸效率，一般情況下使用二進位制型別的傳輸協議為多數，有時還會使用基於文字型別的協議，這需要根據專案/產品中的實際需求。常用協議有以下幾種：

  • TBinaryProtocol：二進位制編碼格式進行資料傳輸
  • TCompactProtocol：高效率的、密集的二進位制編碼格式進行資料傳輸
  • TJSONProtocol： 使用JSON文字的資料編碼協議進行資料傳輸
  • TSimpleJSONProtocol：只提供JSON只寫的協議，適用於通過指令碼語言解析

Thrift的傳輸層

常用的傳輸層有以下幾種：

  • TSocket：使用阻塞式I/O進行傳輸，是最常見的模式
  • TNonblockingTransport：使用非阻塞方式，用於構建非同步客戶端
  • TFramedTransport：使用非阻塞方式，按塊的大小進行傳輸，類似於Java中的NIO

Thrift的服務端型別

  • TSimpleServer：單執行緒伺服器端，使用標準的阻塞式I/O
  • TThreadPoolServer：多執行緒伺服器端，使用標準的阻塞式I/O
  • TNonblockingServer：單執行緒伺服器端，使用非阻塞式I/O
  • THsHaServer：半同步半非同步伺服器端，基於非阻塞式IO讀寫和多執行緒工作任務處理
  • TThreadedSelectorServer：多執行緒選擇器伺服器端，對THsHaServer在非同步IO模型上進行增強

Thrift入門示例

(一) 編寫Thrift IDL檔案

b). 下載Windows安裝環境的.exe檔案，將thrift.exe的路徑加入環境變數中。在Idea上安裝Thrift編輯外掛。

c). 編寫hello.thrift的IDL檔案：

service HelloWorldService {
  string say(1: string username)
}

d). 使用程式碼生成工具生成程式碼，執行以下命令：

thrift -gen java hello.thrift

e). 由於未指定程式碼生成的目標目錄，生成的類檔案預設存放在gen-java目錄下。這裡生成一個HelloWorldService.java類檔案，檔案大小超過數千行，下面擷取一部分核心程式碼。

public class HelloWorldService {
    public interface Iface {
        public String say(String username) throws org.apache.thrift.TException;
    }

    public interface AsyncIface {
        public void say(String username, org.apache.thrift.async.AsyncMethodCallback<String> resultHandler) throws org.apache.thrift.TException;
    }

    public static class Client extends org.apache.thrift.TServiceClient implements Iface {
        public static class Factory implements org.apache.thrift.TServiceClientFactory<Client> {
            public Factory() {
            }

            public Client getClient(org.apache.thrift.protocol.TProtocol prot) {
                return new Client(prot);
            }

            public Client getClient(org.apache.thrift.protocol.TProtocol iprot, org.apache.thrift.protocol.TProtocol oprot) {
                return new Client(iprot, oprot);
            }
        }

        public Client(org.apache.thrift.protocol.TProtocol prot) {
            super(prot, prot);
        }

        public Client(org.apache.thrift.protocol.TProtocol iprot, org.apache.thrift.protocol.TProtocol oprot) {
            super(iprot, oprot);
        }

        public String say(String username) throws org.apache.thrift.TException {
            send_say(username);
            return recv_say();
        }
        // 省略.....
    }

    public static class AsyncClient extends org.apache.thrift.async.TAsyncClient implements AsyncIface {
        public static class Factory implements org.apache.thrift.async.TAsyncClientFactory<AsyncClient> {
            private org.apache.thrift.async.TAsyncClientManager clientManager;
            private org.apache.thrift.protocol.TProtocolFactory protocolFactory;

            public Factory(org.apache.thrift.async.TAsyncClientManager clientManager, org.apache.thrift.protocol.TProtocolFactory protocolFactory) {
                this.clientManager = clientManager;
                this.protocolFactory = protocolFactory;
            }

            public AsyncClient getAsyncClient(org.apache.thrift.transport.TNonblockingTransport transport) {
                return new AsyncClient(protocolFactory, clientManager, transport);
            }
        }

        public AsyncClient(org.apache.thrift.protocol.TProtocolFactory protocolFactory, org.apache.thrift.async.TAsyncClientManager clientManager, org.apache.thrift.transport.TNonblockingTransport transport) {
            super(protocolFactory, clientManager, transport);
        }

        public void say(String username, org.apache.thrift.async.AsyncMethodCallback<String> resultHandler) throws org.apache.thrift.TException {
            checkReady();
            say_call method_call = new say_call(username, resultHandler, this, ___protocolFactory, ___transport);
            this.___currentMethod = method_call;
            ___manager.call(method_call);
        }
        // 省略.....
    }
    // 省略.....
}

對於開發人員而言，使用原生的Thrift框架，僅需要關注以下四個核心內部介面/類：Iface, AsyncIface, Client和AsyncClient。

  • Iface：服務端通過實現HelloWorldService.Iface介面，向客戶端的提供具體的同步業務邏輯。
  • AsyncIface：服務端通過實現HelloWorldService.Iface介面，向客戶端的提供具體的非同步業務邏輯。
  • Client：客戶端通過HelloWorldService.Client的例項物件，以同步的方式訪問服務端提供的服務方法。
  • AsyncClient：客戶端通過HelloWorldService.AsyncClient的例項物件，以非同步的方式訪問服務端提供的服務方法。

(二) 新建Maven工程

a). 新建maven工程，引入thrift的依賴，這裡使用的是版本0.10.0。

  <dependency>
      <groupId>org.apache.thrift</groupId>
      <artifactId>libthrift</artifactId>
      <version>0.10.0</version>
  </dependency>

b). 將生成類的HelloWorldService.java原始檔拷貝進專案原始檔目錄中，並實現HelloWorldService.Iface的定義的say()方法。

HelloWorldServiceImpl.java

public class HelloWorldServiceImpl implements HelloWorldService.Iface {
    @Override
    public String say(String username) throws TException {
        return "Hello " + username;
    }
}

c). 伺服器端程式編寫：

SimpleServer.java

public class SimpleServer {
    public static void main(String[] args) throws Exception {
        ServerSocket serverSocket = new ServerSocket(ServerConfig.SERVER_PORT);
        TServerSocket serverTransport = new TServerSocket(serverSocket);
        HelloWorldService.Processor processor =
                new HelloWorldService.Processor<HelloWorldService.Iface>(new HelloWorldServiceImpl());

        TBinaryProtocol.Factory protocolFactory = new TBinaryProtocol.Factory();
        TSimpleServer.Args tArgs = new TSimpleServer.Args(serverTransport);
        tArgs.processor(processor);
        tArgs.protocolFactory(protocolFactory);

        // 簡單的單執行緒服務模型 一般用於測試
        TServer tServer = new TSimpleServer(tArgs);
        System.out.println("Running Simple Server");
        tServer.serve();
    }
}

d). 客戶端程式編寫：

SimpleClient.java

public class SimpleClient {
    public static void main(String[] args) {
        TTransport transport = null;
        try {
            transport = new TSocket(ServerConfig.SERVER_IP, ServerConfig.SERVER_PORT, ServerConfig.TIMEOUT);
            TProtocol protocol = new TBinaryProtocol(transport);
            HelloWorldService.Client client = new HelloWorldService.Client(protocol);
            transport.open();

            String result = client.say("Leo");
            System.out.println("Result =: " + result);
        } catch (TException e) {
            e.printStackTrace();
        } finally {
            if (null != transport) {
                transport.close();
            }
        }
    }
}

e). 執行服務端程式，服務端在指定埠監聽客戶端的連線請求，控制檯輸出啟動日誌：

f). 執行客戶端程式，客戶端通過網路請求HelloWorldService的say()方法的具體實現，控制檯輸出返回結果：

這裡使用的一個基於單執行緒同步的簡單服務模型，一般僅用於入門學習和測試！

總結

本文對Thrift的概念做了相關介紹，體驗了一番thrift程式如何編寫！

歡迎關注技術公眾號： 零壹技術棧

image

本帳號將持續分享後端技術乾貨，包括虛擬機器基礎，多執行緒程式設計，高效能框架，非同步、快取和訊息中介軟體，分散式和微服務，架構學習和進階等學習資料和文章。

相關推薦

Apache Thrift系列詳解(一)

前言 Thrift是一個輕量級、跨語言的遠端服務呼叫框架，最初由Facebook開發，後面進入Apache開源專案。它通過自身的IDL中間語言, 並藉助程式碼生成引擎生成各種主流語言的RPC服務端/客戶端模板程式碼。 Thrift支援多種不同的程式語言，包括C

Apache Thrift系列詳解(二)

前言 Thrift提供的網路服務模型：單執行緒、多執行緒、事件驅動，從另一個角度劃分為：阻塞服務模型、非阻塞服務模型。 阻塞服務模型：TSimpleServer、TThreadPoolServer。 非阻塞服務模型：TNonblockingServer

Apache Thrift系列詳解(三)

前言 Thrift支援二進位制，壓縮格式，以及json格式資料的序列化和反序列化。開發人員可以更加靈活的選擇協議的具體形式。協議是可自由擴充套件的，新版本的協議，完全相容老的版本！ 正文 資料交換格式簡介 當前流行的資料交換格式可以分為如下幾類： (一) 自解

docker系列詳解<一>之docker安裝

1、Docker 要求 CentOS 系統的核心版本高於 3.10 ，檢視本頁面的前提條件來驗證你的CentOS 版本是否支援 Docker 。 通過 uname -r 命令檢視你當前的核心版本 $ uname -r 2、使用 root 許可權登入 Centos。確保 yum 包更新到最新。 $ su

Centos 6 apache httpd 2.2 主要配置詳解( 一 )

apache 2.2 httpd2.2 centos 6 實驗環境：VMware Workstation Pro 14（試用版） 系統平臺： CentOS release 6.9 (Final) 內核 2.6.32-696.el6.x86_64 Server versio

【深度學習系列】卷積神經網路CNN原理詳解(一)——基本原理

轉自：https://www.cnblogs.com/charlotte77/p/7759802.html 上篇文章我們給出了用paddlepaddle來做手寫數字識別的示例，並對網路結構進行到了調整，提高了識別的精度。有的同學表示不是很理解原理，為什麼傳統的機

三維深度學習之pointnet系列詳解（一）

三維深度學習之pointnet系列詳解（一） 置頂 2018年05月09日 23:25:06 痛並快樂著呦西 閱讀數：4429 標籤： pointnet 三維深度學習 更多 個人分類： 3D Deep Learning

Thrift使用文件詳解(一步一步跟著做就可以)

Linux下使用Thrift詳細步驟 一、下載 下載 boost（c++靜態庫，必須），官方網址  下載thrift 0.8.0版本（由於版本較老官方沒有，可以自行下載） 下載thrift-0.8.0.exe （大部分是編譯產生，但是由於0.8.0版本無法產生有效的可行

Sql注入系列詳解（一）---基於時間差的盲注

Sql 基於時間的盲注 基於的原理是，當對資料庫進行查詢操作，如果查詢的條件不存在，語句執行的時間便是0.但往往語句執行的速度非常快，執行緒資訊一閃而過，得到的執行時間基本為0. 例如： 於是sleep（N）這個語句在這種情況下起到了非常大的作用。  Select s

Canny邊緣檢測算法原理及其VC實現詳解(一)

常用 差分 實現圖 還需要 鏈接 傳感器 出了 關系 位置 轉自：http://blog.csdn.net/likezhaobin/article/details/6892176 圖象的邊緣是指圖象局部區域亮度變化顯著的部分，該區域的灰度剖面一般可以看作是一個階躍，既從

Java線程詳解(一)

線程 thread runnable 程序、進程、線程的概念 程序(program)：是為完成特定任務、用某種語言編寫的一組指令的集合。即指一段靜態的代碼，靜態對象。 進程(process)：是程序的一次執行過程，或是正在運行的一個程序。動態過程：有它自身的產生、存在和消亡的過程。 如

Java反射機制詳解一

java 反射 反射機制 工廠模式 1反射機制是什麽反射機制是在運行狀態中，對於任意一個類，都能夠知道這個類的所有屬性和方法；對於任意一個對象，都能夠調用它的任意一個方法和屬性；這種動態獲取的信息以及動態調用對象的方法的功能稱為java語言的反射機制。在面向對象的世界裏，萬事萬物皆對象.在ja

WebSocket安卓客戶端實現詳解(一)–連接建立與重連

ask 應該 header oid mha 主動推送 未收到 compile tde http://blog.csdn.net/zly921112/article/details/72973054 前言 這裏特別說明下因為WebSocket服務端是公司線上項目所以這裏ur

Apache的配置詳解

詳解 ken 規則 符號連接 start 安裝 format str 訪問 Apache的配置由httpd.conf文件配置，因此下面的配置指令都是在httpd.conf文件中修改。 主站點的配置(基本配置) (1) 基本配置: ServerRoot "/mnt/soft

Redis 詳解 (一) StackExchange.Redis Client

pack 線程 ttr 使用場景 sdk ins get http arc 這期我們來看StackExchange.Redis,這是redis 的.net客戶端之一。Redis是一個開源的內存數據存儲,可以用來做數據庫,緩存或者消息代理服務。目前有不少人在使用Service

[數據庫事務與鎖]詳解一: 徹底理解數據庫事務

存儲 數量 情況 一個數 就是 可能 發生 http 舉例 註明: 本文轉載自http://www.hollischuang.com/archives/898 事務 事務(Transaction)，一般是指要做的或所做的事情。在計算機術語中是指訪問並可能更新數據庫中各種

Tkprof工具詳解一（轉載）

depth ber 官方 Go ble 不可 _id sys 避免 在數據庫生成的oracle trace文件中，可讀性是比較差的，此時可使用tkprof工具來格式化trace文件，tkprof是一個命令行工具，作用就是把原始的跟蹤trace文件作為輸入，然後格式化一個可讀

4.Apache POI使用詳解

sele 中文大寫 文本 vertical HA model 例如 ndb mode 一.POI結構與常用類 1.POI介紹 Apache POI是Apache軟件基金會的開源項目，POI提供API給Java程序對Microsoft Office格式檔案讀和寫的功能。 .N

三：python 對象類型詳解一：數字（上）

結果 dom 運行 精度 升級 方法 函數 般的 代碼 一：python 的數字類型： a)整數和浮點數 b)復數 c)固定精度的十進制數 d)有理分數 e)集合 f)布爾類型 g)無窮的整數精度 h)各種數字內置函數和模塊 二：各種數字類型的詳解 　　1，數字常量：pyt

PHP7 學習筆記（十三）composer詳解一

導出 php開發 HR build osi oschina sni 區別 優秀 摘要 　　從拷貝第三方代碼到項目中(1994)，到PEAR安裝依賴包(1999)，再到Composer興起(2012)，PHP社區經歷了將近20年的探索。PHP這門古老的語言，也在不斷的發展更新