1. 程式人生 > >Java NIO與IO的區別和比較,NIO與IO執行緒池效能比較

Java NIO與IO的區別和比較,NIO與IO執行緒池效能比較

     傳統的socket IO中,需要為每個連線建立一個執行緒,當併發的連線數量非常巨大時,執行緒所佔用的棧記憶體和CPU執行緒切換的開銷將非常巨大。使用NIO,不再需要為每個執行緒建立單獨的執行緒,可以用一個含有限數量執行緒的執行緒池,甚至一個執行緒來為任意數量的連線服務。由於執行緒數量小於連線數量,所以每個執行緒進行IO操作時就不能阻塞,如果阻塞的話,有些連線就得不到處理,NIO提供了這種非阻塞的能力。

     小量的執行緒如何同時為大量連線服務呢,答案就是就緒選擇。這就好比到餐廳吃飯,每來一桌客人,都有一個服務員專門為你服務,從你到餐廳到結帳走人,這樣方式的好處是服務質量好,一對一的服務,VIP啊,可是缺點也很明顯,成本高,如果餐廳生意好,同時來100桌客人,就需要100個服務員,那老闆發工資的時候得心痛死了,這就是傳統的一個連線一個執行緒的方式。

     老闆是什麼人啊,精著呢。這老闆就得捉摸怎麼能用10個服務員同時為100桌客人服務呢,老闆就發現,服務員在為客人服務的過程中並不是一直都忙著,客人點完菜,上完菜,吃著的這段時間,服務員就閒下來了,可是這個服務員還是被這桌客人佔用著,不能為別的客人服務,用華為領導的話說,就是工作不飽滿。那怎麼把這段閒著的時間利用起來呢。這餐廳老闆就想了一個辦法,讓一個服務員(前臺)專門負責收集客人的需求,登記下來,比如有客人進來了、客人點菜了,客人要結帳了,都先記錄下來按順序排好。每個服務員到這裡領一個需求,比如點菜,就拿著選單幫客人點菜去了。點好菜以後,服務員馬上回來,領取下一個需求,繼續為別人客人服務去了。這種方式服務質量就不如一對一的服務了,當客人資料很多的時候可能需要等待。但好處也很明顯,由於在客人正吃飯著的時候服務員不用閒著了,服務員這個時間內可以為其他客人服務了,原來10個服務員最多同時為10桌客人服務,現在可能為50桌,60客人服務了。

     這種服務方式跟傳統的區別有兩個:

1、增加了一個角色,要有一個專門負責收集客人需求的人。NIO裡對應的就是Selector。

2、由阻塞服務方式改為非阻塞服務了,客人吃著的時候服務員不用一直侯在客人旁邊了。傳統的IO操作,比如read(),當沒有資料可讀的時候,執行緒一直阻塞被佔用,直到資料到來。NIO中沒有資料可讀時,read()會立即返回0,執行緒不會阻塞。

     NIO中,客戶端建立一個連線後,先要將連線註冊到Selector,相當於客人進入餐廳後,告訴前臺你要用餐,前臺會告訴你你的桌號是幾號,然後你就可能到那張桌子坐下了,SelectionKey就是桌號。當某一桌需要服務時,前臺就記錄哪一桌需要什麼服務,比如1號桌要點菜,2號桌要結帳,服務員從前臺取一條記錄,根據記錄提供服務,完了再來取下一條。這樣服務的時間就被最有效的利用起來了。

導讀:

J2SE1.4以上版本中釋出了全新的I/O類庫。NIO庫提供的一些新特性:非阻塞I/O,字元轉換,緩衝以及通道。NIO和IO都在rt.jar包中。

一、NIO的簡介
NIO包(java.nio.*)引入了四個關鍵的抽象資料型別,它們共同解決傳統的I/O類中的一些問題。
1. Buffer:它是包含資料且用於讀寫的線形表結構。其中還提供了一個特殊類用於記憶體對映檔案的I/O操作。
2. Charset:它提供Unicode字串影射到位元組序列以及逆影射的操作。
3. Channels:包含socket,file和pipe三種管道,它實際上是雙向交流的通道。
4. Selector:它將多元非同步I/O操作集中到一個或多個執行緒中(它可以被看成是Unix中select()函式或Win32中WaitForSingleEvent()函式的面向物件版本)。

二、IO的傳統方式

以網路應用為例,傳統方式需要監聽一個ServerSocket,接受請求的連線為其提供服務(服務通常包括了處理請求併發送響應)圖一是伺服器的生命週期圖,其中標有粗黑線條的部分表明會發生I/O阻塞。

圖一

可以分析建立伺服器的每個具體步驟。首先建立ServerSocket
ServerSocket server=new ServerSocket(10000);
然後接受新的連線請求
Socket newConnection=server.accept();
對於accept方法的呼叫將造成阻塞,直到ServerSocket接受到一個連線請求為止。一旦連線請求被接受,伺服器可以讀客戶socket中的請求。 

複製程式碼
 1 InputStream in = newConnection.getInputStream();
 2 
 3 InputStreamReader reader = new InputStreamReader(in);
 4 
 5 BufferedReader buffer = new BufferedReader(reader);
 6 
 7 Request request = new Request();
 8 
 9 while(!request.isComplete()) {
10 
11     String line = buffer.readLine();
12 
13     request.addLine(line);
14 }
複製程式碼

這樣的操作有兩個問題,首先BufferedReader類的readLine()方法在其緩衝區未滿時會造成執行緒阻塞,只有一定資料填滿了緩衝區或者客戶關閉了套接字,方法才會返回。其次,它回產生大量的垃圾,BufferedReader建立了緩衝區來從客戶套接字讀入資料,但是同樣建立了一些字串儲存這些資料。雖然BufferedReader內部提供了StringBuffer處理這一問題,但是所有的String很快變成了垃圾需要回收。

同樣的問題在傳送響應程式碼中也存在

複製程式碼
 1 Response response = request.generateResponse();
 2 
 3 OutputStream out = newConnection.getOutputStream();
 4 
 5 InputStream in = response.getInputStream();
 6 
 7 int ch;
 8 
 9 while(-1 != (ch = in.read())) {
10 
11     out.write(ch);
12 
13 }
14 
15 newConnection.close();
複製程式碼

類似的,讀寫操作被阻塞而且向流中一次寫入一個字元會造成效率低下,所以應該使用緩衝區,但是一旦使用緩衝,流又會產生更多的垃圾。

傳統的解決方法
通常在Java中處理阻塞I/O要用到執行緒(大量的執行緒)。一般是實現一個執行緒池用來處理請求,如圖二

圖二
執行緒使得伺服器可以處理多個連線,但是它們也同樣引發了許多問題。每個執行緒擁有自己的棧空間並且佔用一些CPU時間,耗費很大,而且很多時間是浪費在阻塞的I/O操作上,沒有有效的利用CPU。

三、NIO的詳細介紹

1. Buffer
傳統的I/O不斷的浪費物件資源(通常是String)。新I/O通過使用Buffer讀寫資料避免了資源浪費。Buffer物件是線性的,有序的資料集合,它根據其類別只包含唯一的資料型別。
java.nio.Buffer 類描述
java.nio.ByteBuffer 包含位元組型別。 可以從ReadableByteChannel中讀在 WritableByteChannel中寫
java.nio.MappedByteBuffer 包含位元組型別,直接在記憶體某一區域對映
java.nio.CharBuffer 包含字元型別,不能寫入通道
java.nio.DoubleBuffer 包含double型別,不能寫入通道
java.nio.FloatBuffer 包含float型別
java.nio.IntBuffer 包含int型別
java.nio.LongBuffer 包含long型別
java.nio.ShortBuffer 包含short型別
可以通過呼叫allocate(int capacity)方法或者allocateDirect(int capacity)方法分配一個Buffer。特別的,你可以建立MappedBytesBuffer通過呼叫FileChannel.map(int mode,long position,int size)。直接(direct)buffer在記憶體中分配一段連續的塊並使用本地訪問方法讀寫資料。非直接(nondirect)buffer通過使用Java中的陣列訪問程式碼讀寫資料。有時候必須使用非直接緩衝例如使用任何的wrap方法(如ByteBuffer.wrap(byte[]))在Java陣列基礎上建立buffer。

2. 字元編碼
向ByteBuffer中存放資料涉及到兩個問題:位元組的順序和字元轉換。ByteBuffer內部通過ByteOrder類處理了位元組順序問題,但是並沒有處理字元轉換。事實上,ByteBuffer沒有提供方法讀寫String。
Java.nio.charset.Charset處理了字元轉換問題。它通過構造CharsetEncoder和CharsetDecoder將字元序列轉換成位元組和逆轉換。

3. 通道(Channel)
你可能注意到現有的java.io類中沒有一個能夠讀寫Buffer型別,所以NIO中提供了Channel類來讀寫Buffer。通道可以認為是一種連線,可以是到特定裝置,程式或者是網路的連線。通道的類等級結構圖如下

b3

圖三
圖中ReadableByteChannel和WritableByteChannel分別用於讀寫。
GatheringByteChannel可以從使用一次將多個Buffer中的資料寫入通道,相反的,ScatteringByteChannel則可以一次將資料從通道讀入多個Buffer中。你還可以設定通道使其為阻塞或非阻塞I/O操作服務。
為了使通道能夠同傳統I/O類相容,Channel類提供了靜態方法建立Stream或Reader


4. Selector
在過去的阻塞I/O中,我們一般知道什麼時候可以向stream中讀或寫,因為方法呼叫直到stream準備好時返回。但是使用非阻塞通道,我們需要一些方法來知道什麼時候通道準備好了。在NIO包中,設計Selector就是為了這個目的。SelectableChannel可以註冊特定的事件,而不是在事件發生時通知應用,通道跟蹤事件。然後,當應用呼叫Selector上的任意一個selection方法時,它檢視註冊了的通道看是否有任何感興趣的事件發生。圖四是selector和兩個已註冊的通道的例子

b4

圖四
並不是所有的通道都支援所有的操作。SelectionKey類定義了所有可能的操作位,將要用兩次。首先,當應用呼叫SelectableChannel.register(Selector sel,int op)方法註冊通道時,它將所需操作作為第二個引數傳遞到方法中。然後,一旦SelectionKey被選中了,SelectionKey的readyOps()方法返回所有通道支援操作的數位的和。SelectableChannel的validOps方法返回每個通道允許的操作。註冊通道不支援的操作將引發IllegalArgumentException異常。下表列出了SelectableChannel子類所支援的操作。 

複製程式碼
1 ServerSocketChannel OP_ACCEPT 
2 
3 SocketChannel OP_CONNECT, OP_READ, OP_WRITE 
4 
5 DatagramChannel OP_READ, OP_WRITE 
6 
7 Pipe.SourceChannel OP_READ 
8 
9 Pipe.SinkChannel OP_WRITE
複製程式碼

四. 舉例說明

1. 簡單網頁內容下載
這個例子非常簡單,類SocketChannelReader使用SocketChannel來下載特定網頁的HTML內容。
package examples.nio;

複製程式碼
package com.yineng.mycat;

import java.nio.ByteBuffer;

import java.nio.channels.SocketChannel;

import java.nio.charset.Charset;

import java.net.InetSocketAddress;

import java.io.IOException;

/**
 * @author kzfy
 * @data 2015/12/21
 */
public class SocketChannelReader{

    private Charset charset=Charset.forName("UTF-8");//建立UTF-8字符集

    private SocketChannel channel;

    public void getHTMLContent(){
        try{
            connect();
            sendRequest();
            readResponse();
        }catch(IOException e){
            System.err.println(e.toString());
        }finally{
            if(channel!=null){
                try{
                    channel.close();
                }catch(IOException e){}
            }
        }
    }

    private void connect()throws IOException{//連線到CSDN
        InetSocketAddress socketAddress= new InetSocketAddress("http://www.csdn.net",80);
        channel=SocketChannel.open(socketAddress);
        //使用工廠方法open建立一個channel並將它連線到指定地址上
        //相當與SocketChannel.open().connect(socketAddress);呼叫
    }

    private void sendRequest()throws IOException{
        channel.write(charset.encode("GET /document\r\n\r\n"));//傳送GET請求到CSDN的文件中心
        //使用channel.write方法,它需要CharByte型別的引數,使用
        //Charset.encode(String)方法轉換字串。
    }

    private void readResponse()throws IOException{//讀取應答
        ByteBuffer buffer=ByteBuffer.allocate(1024);//建立1024位元組的緩衝
        while(channel.read(buffer)!=-1){
            buffer.flip();//flip方法在讀緩衝區位元組操作之前呼叫。
            System.out.println(charset.decode(buffer));
            //使用Charset.decode方法將位元組轉換為字串
            buffer.clear();//清空緩衝
        }
    }

    public static void main(String [] args){
        new SocketChannelReader().getHTMLContent();
    }
}
複製程式碼