1. 程式人生 > >首先了解下所謂的java nio是個什麽東西!

首先了解下所謂的java nio是個什麽東西!

拷貝 優點 方法 class main html 比例 狀態 取數據

首先了解下所謂的java nio是個什麽東西!
IO是靠字符或字節進行傳輸,比較慢! 而NIO是靠塊, 也就相當於一個Buffer, 一塊一塊
的傳輸, 速度較快
! 同時加入了多線程
的控制, 一個NIO流可以同時傳輸多個塊等, 也就是所謂的異步傳輸

傳統
的並發型
服務器設計是利用阻塞型網絡I/O
以多線程的模式(一個SOCKET鏈接,服務端就啟動一個線程接受服務
)來實現的,然而由
於系統常常在進行網絡讀寫時處於阻塞狀態,會大大影響系統的性能
;自Java1. 4 開始引入
了NIO(新I/O) API,通過使用非阻塞型
I/O
,實現流暢的網絡讀寫操作,為開發高性能並發
型服務器程序提供了一個很好的解決方案。這就是java nio
首先來看下傳統的阻塞型網絡 I/O的不足 Java 平臺傳統的I/O 系統都是基於Byte(字節)和Stream(數據流)的,相應的I/O 操作都是阻塞型的

所以服務器程序也采用阻塞型I/O
進行數據的讀、寫操作。本文以TCP長連接模式來討論並發型服務器的相關設計,為了實現服務器程序的並發性要求,系統由一個單獨的主線程來監聽用戶發起的
連接請求,一直處於阻塞狀態;當有用戶連接請求到來時,程序都會啟一個新的線程來統一處理用戶數據的讀、寫操作。
這種模式的優點是簡單、實用、易管理;然而缺點也是顯而易見的:由於是為每一個客戶端分配一個線程來處理輸入、輸出數據,其線程與客戶機的比例近似為1:1
,隨著線程數量的不斷增加,服務器啟動了大量的並發線程,會大大加大系統對線程的管理開銷
,這將成為吞吐量瓶頸的主要原因
;其次由於底層的I/O 操作采用的同步模式,I/O 操作的阻塞管理粒度是以服務於請求的線程為單位的,有可能大量的線程會閑置,處於盲等狀態,造成I/O資源利用率不高,影響整個系統的性能。
對於並發型服務器,系統用在阻塞型I/O 等待和線程間切換的時間遠遠多於
CPU 在內
存中處理數據的時間,因此傳統的阻塞型I/O 已經成為制約系統性能的瓶頸。Java1.4 版本
後推出的NIO 工具包,提供了非阻塞型I/O 的異步輸入輸出
機制
,為提高系統的性能提供
了可實現的基礎機制。
NIO 包及工作原理
針對傳統I/O 工作模式的不足,NIO 工具包提出了基於Buffer(緩沖區)、Channel(通
道)、Selector(選擇器)的新模式;Selector(選擇器)、可選擇的Channel(通道)和
SelectionKey(選擇鍵)配合起來使用,可以實現並發的非阻塞型I/O 能力。
NIO 工具包的成員

Buffer(緩沖器)

1. 基本 概念

IO 是主存和外部設備 ( 硬盤、終端和網絡等 ) 拷貝數據的過程。 IO 是操作系統的底層功能實現,底層通過 I/O 指令進行完成。

所有語言運行時系統提供執行 I/O 較高級別的工具。 (c 的 printf scanf,Java 的面向對象封裝 )

2. Java 標準 io 回顧

Java 標準 IO 類庫是 io 面向對象的一種抽象。基於本地方法的底層實現,我們無須關註底層實現。 InputStream\OutputStream( 字節流 ):一次傳送一個字節。 Reader\Writer( 字符流 ) :一次一個字符。

3. nio 簡介

nio 是 Java New IO 的簡稱,在 jdk1.4 裏提供的新 api 。 Sun 官方標榜的特性如下:

– 為所有的原始類型提供 (Buffer) 緩存支持。

– 字符集編碼解碼解決方案。

– Channel :一個新的原始 I/O 抽象。

– 支持鎖和內存映射文件的文件訪問接口。

– 提供多路 (non-bloking) 非阻塞式的高伸縮性網絡 I/O 。

本文將圍繞這幾個特性進行學習和介紹。

4. Buffer&Chanel

Channel 和 buffer 是 NIO 是兩個最基本的數據類型抽象。

Buffer:

– 是一塊連續的內存塊。

– 是 NIO 數據讀或寫的中轉地。

Channel:

– 數據的源頭或者數據的目的地

– 用於向 buffer 提供數據或者讀取 buffer 數據 ,buffer 對象的唯一接口。

– 異步 I/O 支持


技術分享圖片

圖1:channel和buffer關系

例子 1:CopyFile.java:

Java代碼 技術分享圖片
  1. package sample;
  2. import java.io.FileInputStream;
  3. import java.io.FileOutputStream;
  4. import java.nio.ByteBuffer;
  5. import java.nio.channels.FileChannel;
  6. public class CopyFile www.2018yulpt.com {
  7. public static void main(String[] args) throws Exception {
  8. String infile = "C:\\copy.sql";
  9. String outfile = "C:\\copy.txt";
  10. // 獲取源文件和目標文件的輸入輸出流
  11. FileInputStream fin = new FileInputStream(infile);
  12. FileOutputStream fout = new FileOutputStream(outfile);
  13. // 獲取輸入輸出通道
  14. FileChannel fcin = fin.getChannel(www.thqpt.com);
  15. FileChannel fcout = fout.getChannel();
  16. // 創建緩沖區
  17. ByteBuffer buffer = ByteBuffer.allocate(1024);
  18. while (true)www.fencaiyule.cn {
  19. // clear方法重設緩沖區,使它可以接受讀入的數據
  20. buffer.clear();
  21. // 從輸入通道中將數據讀到緩沖區
  22. int r = fcin.www.dongfan178.com/ read(buffer);
  23. // read方法返回讀取的字節數,可能為零,如果該通道已到達流的末尾,則返回-1
  24. if (r == -1) {
  25. break;
  26. }
  27. // flip方法讓緩沖區可以將新讀入的數據寫入另一個通道
  28. buffer.flip();
  29. // 從輸出通道中將數據寫入緩沖區
  30. fcout.write(buffer);
  31. }
  32. }
  33. }

其中 buffer 內部結構如下 ( 下圖拷貝自資料 ):


技術分享圖片

圖2:buffer內部結構

一個 buffer 主要由 position,limit,capacity 三個變量來控制讀寫的過程。此三個變量的含義見如下表格:

參數

寫模式

讀模式

position

當前寫入的單位數據數量。

當前讀取的單位數據位置。

limit

代表最多能寫多少單位數據和容量是一樣的。

代表最多能讀多少單位數據,和之前寫入的單位數據量一致。

capacity

buffer 容量

buffer 容量

Buffer 常見方法:

flip(): 寫模式轉換成讀模式

rewind() :將 position 重置為 0 ,一般用於重復讀。

clear() :清空 buffer ,準備再次被寫入 (position 變成 0 , limit 變成 capacity) 。

compact(): 將未讀取的數據拷貝到 buffer 的頭部位。

mark() 、 reset():mark 可以標記一個位置, reset 可以重置到該位置。

Buffer 常見類型: ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、ShortBuffer 。

channel 常見類型 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)

在本機上面做了個簡單的性能測試。我的筆記本性能一般。 ( 具體代碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考數據:

– 場景 1 : Copy 一個 370M 的文件

– 場景 2: 三個線程同時拷貝,每個線程拷貝一個 370M 文件

場景

FileInputStream+

FileOutputStream

FileInputStream+

BufferedInputStream+

FileOutputStream

ByteBuffer+

FileChannel

MappedByteBuffer

+FileChannel

場景一時間( 毫秒)

25155

17500

19000

16500

場景二時間( 毫秒 )

69000

67031

74031

71016

5. nio.charset

字符編碼解碼 : 字節碼本身只是一些數字,放到正確的上下文中被正確被解析。向 ByteBuffer 中存放數據時需要考慮字符集的編碼方式,讀取展示 ByteBuffer 數據時涉及對字符集解碼。

Java.nio.charset 提供了編碼解碼一套解決方案。

以我們最常見的 http 請求為例,在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。

以下代碼向 baidu 發一次請求,並獲取結果進行顯示。例子演示到了 charset 的使用。

例子 2BaiduReader.java

Java代碼 技術分享圖片
  1. package nio.readpage;
  2. import java.nio.ByteBuffer;
  3. import java.nio.channels.SocketChannel;
  4. import java.nio.charset.Charset;
  5. import java.net.InetSocketAddress;
  6. import java.io.IOException;
  7. public class BaiduReader {
  8. private Charset charset = Charset.forName("GBK");// 創建GBK字符集
  9. private SocketChannel channel;
  10. public void readHTMLContent() {
  11. try {
  12. InetSocketAddress socketAddress = new InetSocketAddress(
  13. "www.baidu.com", 80);
  14. //step1:打開連接
  15. channel = SocketChannel.open(socketAddress);
  16. //step2:發送請求,使用GBK編碼
  17. channel.write(charset.encode("GET " www.yongxinzaixian.cn+ "/ HTTP/1.1" + "\r\n\r\n"));
  18. //step3:讀取數據
  19. ByteBuffer buffer = ByteBuffer.allocate(1024);// 創建1024字節的緩沖
  20. while (channel.read(buffer) != -1) {
  21. buffer.flip(www.078881.cn);// flip方法在讀緩沖區字節操作之前調用。
  22. System.out.println(charset.decode(buffer));
  23. // 使用Charset.decode方法將字節轉換為字符串
  24. buffer.clear();// 清空緩沖
  25. }
  26. } catch (IOException e) {
  27. System.err.println(e.toString());
  28. } finally {
  29. if (channel != null) {
  30. try {
  31. channel.close();
  32. } catch (IOException e) {
  33. }
  34. }
  35. }
  36. }
  37. public static void main(String[] args) {
  38. new BaiduReader().readHTMLContent();
  39. }
  40. }

6. 非阻塞 IO

關於非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和異步核心 API 幾個方面來理解。

何為阻塞?

一個常見的網絡 IO 通訊流程如下 :



技術分享圖片

圖3:網絡通訊基本過程

從該網絡通訊過程來理解一下何為阻塞 :

在以上過程中若連接還沒到來,那麽 accept 會阻塞 , 程序運行到這裏不得不掛起, CPU 轉而執行其他線程。

在以上過程中若數據還沒準備好, read 會一樣也會阻塞。

阻塞式網絡 IO 的特點:多線程處理多個連接。每個線程擁有自己的棧空間並且占用一些 CPU 時間。每個線程遇到外部為準備好的時候,都會阻塞掉。阻塞的結果就是會帶來大量的進程上下文切換。且大部分進程上下文切換可能是無意義的。比如假設一個線程監聽一個端口,一天只會有幾次請求進來,但是該 cpu 不得不為該線程不斷做上下文切換嘗試,大部分的切換以阻塞告終。

何為非阻塞?

下面有個隱喻:

一輛從 A 開往 B 的公共汽車上,路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車,對於需要下車的人,如何處理更好?

1. 司機過程中定時詢問每個乘客是否到達目的地,若有人說到了,那麽司機停車,乘客下車。 ( 類似阻塞式 )

2. 每個人告訴售票員自己的目的地,然後睡覺,司機只和售票員交互,到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )

很顯然,每個人要到達某個目的地可以認為是一個線程,司機可以認為是 CPU 。在阻塞式裏面,每個線程需要不斷的輪詢,上下文切換,以達到找到目的地的結果。而在非阻塞方式裏,每個乘客 ( 線程 ) 都在睡覺 ( 休眠 ) ,只在真正外部環境準備好了才喚醒,這樣的喚醒肯定不會阻塞。

非阻塞的原理

把整個過程切換成小的任務,通過任務間協作完成。

由一個專門的線程來處理所有的 IO 事件,並負責分發。

事件驅動機制:事件到的時候觸發,而不是同步的去監視事件。

線程通訊:線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的進程切換。

以下是異步 IO 的結構:



技術分享圖片

圖4:非阻塞基本原理

Reactor 就是上面隱喻的售票員角色。每個線程的處理流程大概都是讀取數據、解碼、計算處理、編碼、發送響應。

異步 IO 核心 API

Selector

異步 IO 的核心類,它能檢測一個或多個通道 (channel) 上的事件,並將事件分發出去。

使用一個 select 線程就能監聽多個通道上的事件,並基於事件驅動觸發相應的響應。而不需要為每個 channel 去分配一個線程。

SelectionKey

包含了事件的狀態信息和時間對應的通道的綁定。

例子 1 單線程實現監聽兩個端口。 ( 見 nio.asyn 包下面的例子。 )

例子 2 NIO 線程協作實現資源合理利用。 (wait,notify) 。 ( 見 nio.asyn.multithread 下的例子 )

首先了解下所謂的java nio是個什麽東西!