背景

  最近在做的一個專案，兩個java程序之間會涉及一個大資料量的傳遞過程，基本都是圖片檔案，(做了壓縮後還是會比較大，最大的有超過600MB)。其次這兩個java程序是在跨機房，比如中國和美國機房，網路待框也就幾百kB。

  這就是本文的專案背景

分析

1.  600MB的檔案，都是A程序執行時根據需要生成的(下載需要的圖片檔案)。所以無法預先處理，而且公司總圖片檔案都是以TB計算，所以全量同步的方案也不靠譜

2.  從A程序到B程序的資料傳遞，首先想到用socket進行傳遞，但單socket的資料同步無法滿足需求，多執行緒資料傳遞會涉及資料的切片和資料的合併等，程式碼相對會比較複雜

老的專案實現：

• A先臨時儲存檔案到一指定目錄
• A程序機器上啟動一個http服務(比如nginx,lighttpd)
• B程序外部呼叫一個多執行緒下載客戶端，下載資料到一臨時目錄
• B程序等下載完成後，再操縱臨時目錄的資料

專案的工程程式碼都是以java，引入了多執行緒服務和下載客戶端之後，增加了專案的部署和維護成本。所以在專案重構時，想的一個辦法是用嵌入式的jetty，去替換nginx提供http服務。

過程

涉及到多執行緒下載和斷點續載，首先得了解一個Http協議的內容。

大致的內容，可以在Http的Header頭中進行新增，可以指定檔案下載byte的start和end的位置，幾個例子：

Java程式碼  

1. bytes=100-499    
2. bytes=-300  
3. bytes=100-  
4. bytes=1-2,2-3,6-,-2  

最後，通過tcpdump進行資料抓包分析，多執行緒下載客戶端的Http協議的內容。基本的思路是根據執行緒數，計算出每個執行緒的bytes-range，然後每個執行緒發起一個獨立的請求。後端每個處理執行緒單獨處理bytes-range的資料下載。

至於斷點續傳，其實也相對比較簡單了。就是記錄好分出去的每個bytes-range成功與否，失敗的重新再做，已經做完的可以直接跳過。

抓取的Http協議內容：

Java程式碼  

1. GET /source.tar.gz HTTP/1.1
     
2. User-Agent: aria2/1.13.0  
3. Accept: */*  
4. Host: 10.20.156.49:8080  
5. Pragma: no-cache  
6. Cache-Control: no-cache  
7. Range: bytes=258998272-387973119  

java版的多執行緒下載支援

一提到做java版的多執行緒下載，首先就會想到jetty和tomcat。tomcat只能以外部server的方式進行啟動，和nginx沒有太多的區別。

最後我選擇了jetty，並在專案中做為嵌入式進行啟動，提供http多執行緒下載服務。

按照前面的分析，要做多執行緒下載，無非就是要實現一個bytes-range的處理。還好我用的jetty版本(7.0.1)已經解析了bytes-range，具體解析類：InclusiveByteRange

再仔細翻了下它的程式碼，發現jetty已經預設提供了一個servlet支援多執行緒下載，就是DefaultServlet，甚喜。

最後，按照我專案的需求適當的裁剪了一些程式碼，最後完成了：DownloadServlet，具體程式碼見附件。

將jetty引入做為嵌入式啟動的步驟

1. 引入相關的jar

Xml程式碼  

1. <dependency>  
2.   <groupId>com.alibaba.external</groupId>  
3.   <artifactId>server.jetty.jetty-servlet</artifactId>  
4.   <version>${jetty_verion}</version>  
5. </dependency>  
6. <dependency>  
7.   <groupId>com.alibaba.external</groupId>  
8.   <artifactId>server.jetty.jetty-xml</artifactId>  
9.   <version>${jetty_verion}</version>  
10. </dependency>  
11. <dependency>  
12.   <groupId>com.alibaba.external</groupId>  
13.   <artifactId>server.jetty.jetty-server</artifactId>  
14.   <version>${jetty_verion}</version>  
15. </dependency>  

2.  配置jetty.xml (我選擇了xml的配置方式，但沒有使用war包，我只需要一個Http服務功能即可)

Java程式碼  

1. <Configure id="Server" class="org.eclipse.jetty.server.Server">  
2.     <!-- =========================================================== -->  
3.     <!-- Server Thread Pool                                          -->  
4.     <!-- =========================================================== -->  
5.     <Set name="ThreadPool">  
6.       <!-- Default queued blocking threadpool -->  
7.       <New class="org.eclipse.jetty.util.thread.QueuedThreadPool">  
8.         <Set name="minThreads">10</Set>  
9.         <Set name="maxThreads">250</Set>  
10.       </New>  
11.     </Set>  
12.     <!-- =========================================================== -->  
13.     <!-- Set connectors                                              -->  
14.     <!-- =========================================================== -->  
15.     <!-- -->  
16.     <Call name="addConnector">  
17.       <Arg>  
18.           <New class="org.eclipse.jetty.server.bio.SocketConnector">  
19.             <Set name="port"><Property name="jetty.bio.port" default="8080"/></Set>  
20.             <Set name="forwarded">true</Set>  
21.             <Set name="forwardedHostHeader">ignore</Set>  
22.             <Set name="forwardedServerHeader">ignore</Set>  
23.             <Set name="acceptQueueSize">256</Set>  
24.             <Set name="statsOn">false</Set>  
25.             <Set name="maxIdleTime">600000</Set>  
26.             <Set name="lowResourcesMaxIdleTime">5000</Set>  
27.             <Set name="requestHeaderSize">8192</Set>  
28.         <Set name="responseHeaderSize">8192</Set>  
29.           </New>  
30.       </Arg>  
31.     </Call>  
32.     <!--   
33.     <Call name="addConnector">  
34.       <Arg>  
35.           <New class="org.eclipse.jetty.server.nio.SelectChannelConnector">  
36.             <Set name="host"><Property name="jetty.host" /></Set>  
37.             <Set name="port"><Property name="jetty.port" default="8080"/></Set>  
38.             <Set name="forwarded">true</Set>  
39.             <Set name="forwardedHostHeader">ignore</Set>  
40.             <Set name="forwardedServerHeader">ignore</Set>  
41.             <Set name="maxIdleTime">600000</Set>  
42.             <Set name="Acceptors">2</Set>  
43.             <Set name="acceptQueueSize">256</Set>  
44.             <Set name="statsOn">false</Set>  
45.             <Set name="confidentialPort">8443</Set>  
46.             <Set name="lowResourcesConnections">2000</Set>  
47.             <Set name="lowResourcesMaxIdleTime">5000</Set>  
48.             <Set name="requestHeaderSize">8192</Set>  
49.             <Set name="responseHeaderSize">8192</Set>  
50.           </New>  
51.       </Arg>  
52.     </Call>  
53.      -->  
54.     <!-- =========================================================== -->  
55.     <!-- Set handler Collection Structure                            -->  
56.     <!-- =========================================================== -->  
57.     <Set name="handler">  
58.       <New id="Handlers" class="org.eclipse.jetty.server.handler.HandlerCollection">  
59.         <Set name="handlers">  
60.          <Array type="org.eclipse.jetty.server.Handler">  
61.            <Item>  
62.              <New id="ServletHandler" class="org.eclipse.jetty.servlet.ServletContextHandler">  
63.                 <Set name="contextPath">/</Set>  
64.                 <Call name="addServlet">  
65.                     <Arg>com.alibaba.otter.task.biz.common.jetty.DownloadServlet</Arg>  
66.                     <Arg>/*</Arg>  
67.                 </Call>  
68.                 <Get name="initParams">  
69.                     <Put name="org.eclipse.jetty.servlet.Default.resourceBase">/tmp/</Put>  
70.                     <Put name="org.eclipse.jetty.servlet.Default.gzip">false</Put>  
71.                 </Get>  
72.              </New>  
73.            </Item>  
74.          </Array>  
75.         </Set>  
76.       </New>  
77.     </Set>  
78.     <!-- =========================================================== -->  
79.     <!-- extra options                                               -->  
80.     <!-- =========================================================== -->  
81.     <Set name="stopAtShutdown">true</Set>  
82.     <Set name="sendServerVersion">false</Set>  
83.     <Set name="sendDateHeader">true</Set>  
84.     <Set name="gracefulShutdown">1000</Set>  
85. </Configure>  

說明： 主要的配置見handler，配置了對應的DownloadServlet

3. 啟動入口 (使用了xml配置後就灰常的簡潔了)

Java程式碼  

1. Resource jetty_xml = Resource.newSystemResource("jetty/jetty.xml");  
2. XmlConfiguration configuration = new XmlConfiguration(jetty_xml.getInputStream());  
3. Server server = (Server) configuration.configure();  
4. server.start();  

測試

aria2c測試

引數：

Java程式碼  

1. --no-conf -x 10 -s 10 -j 10 --timeout=600 --max-tries=5 --stop=1800 --allow-overwrite=true --enable-http-keep-alive=true --log-level=warn  

下載1.1GB的檔案:

   apache : 28s

   nginx  : 27s

   jetty   : 27s

axel測試 引數： Java程式碼  

1. -n 10 -a -v <span style="white-space: normal;"> </span>  

下載1.1GB的檔案: 

   apache : 87s
   nginx  : 87s

   jetty : 88s

總結

並沒有做非常詳盡的效能測試，不過從幾次跑的結果來看，基本上也有數了。

1. jetty實現的servlet效能基本和nginx,apache下載接近。而且測試過程中瓶頸已經不在應用本身，基本都在網路頻寬上了，我是百MB網絡卡，基本可以滿負荷運轉。
2. jetty的nio和bio版本，nio在context switch切換上會相對比較多(因為有大量的READ/WRITE事件響應，執行緒切換反而不如bio來得少)，建議部署bio模式
3. 多執行緒下載aria2c工具的確不錯，推薦使用

後續，會嘗試使用java寫一個多執行緒的客戶端，如果效能還ok的話，可以直接替換aria2c，到時候就是一些jar包，沒有了外部軟體的依賴，部署和維護也會相對比較簡單。