1. 程式人生 > >HADOOP IO詳解——序列化(1)

HADOOP IO詳解——序列化(1)

什麼是IO? I:input 輸入 通常做讀取操作(將不同資料來源的資料讀入到記憶體中,也叫讀取流)

O:output 輸出 通常做寫入操作(將記憶體中的資料寫入到不同的資料來源,也叫寫入流)(出記憶體到別的地方)

序列化的作用是什麼?1 資料通訊 2 持久化儲存

為什麼不直接接使用java的序列化和反序列化?原因如下

(1)Hadoop的序列化機制與Java的序列化機制不同,它將物件序列化到流中,值得一提的是java的序列化機制是不斷的建立物件,但在Hadoop的序列化機制中,使用者可以複用物件,這樣就減少了java物件的分配和回收,提高了應用效率。  

(2)Hadoop在叢集之間進行通訊或者RPC呼叫的時候,需要序列化,而且要求序列化要快,且體積要小,佔用頻寬要小。所以必須理解Hadoop的序列化機制。

Hadoop序列化的要求 1、緊湊:Hadoop中最稀缺的資源是寬頻,所以緊湊的序列化機制可以充分的利用寬頻。 2、快速:通訊時大量使用序列化機制,因此,需要減少序列化和反序列化的開銷。 3、可擴充套件:隨著通訊協議的升級而可升級。 4、互操作:支援不同開發語言的通訊。

Hadoop是如何實現序列化機制的?      

 Hadoop通過Writable介面實現的序列化機制,不過沒有排序的功能,所以和java中的Comparable介面合併,

提供一個介面WritableComparable。 Writable介面提供兩個方法(write和readFields)。

Writable介面  

所有實現了Writable介面的類都可以被序列化和反序列化。

Writable 介面中定義了兩個方法,分別為write(DataOutput out)和readFields(DataInput in)。write 用於將物件狀態寫入二進位制格式的DataOutput流,readFields 用於從二進位制格式的 DataInput 流中讀取物件狀態    

package java.lang;  
import java.util.*;      
public interface Comparable {  
	/** 
	* 將this物件和物件o進行比較,約定:返回負數為小於,零為大於,整數為大於 
	*/  
	public int compareTo(T o);  
}

自定義一個TextPair

importjava.io.*;
importorg.apache.hadoop.io.*;
public class TextPair implements WritableComparable {
	private	Text first;//Text 型別的例項變數 first
	private	Text second;//Text 型別的例項變數 second
	//空引數型別的構造方法
	public TextPair() {
		set(newText(),newText());
	}
	//String型別的構造方法
	public TextPair(String first, String second) {
		set(new Text(first),new Text(second));
	}
	//Text型別的構造方法
	public TextPair(Text first, Text second) {
		set(first, second);
	}
	
	public void set(Text first, Text second) {
		this.first = first;
		this.second = second;
	}
	
	public Text getFirst() {
		return first;
	}
	
	public Text getSecond() {
		return second;
	}
	
	//將物件轉換為位元組流並寫入到輸出流out中
	@Override
	public void write(DataOutput out)throwsIOException {
		first.write(out);
		second.write(out);
	}
	
	//從輸入流in中讀取位元組流反序列化為物件
	@Override
	public void readFields(DataInput in)throwsIOException {
		first.readFields(in);
		second.readFields(in);
	}
	
	@Override
	public int hashCode() {
		return first.hashCode() *163+ second.hashCode();
	}
	
	
	@Override
	public boolean equals(Object o) {
		if(o instance of TextPair) {
			TextPair tp = (TextPair) o;
			return first.equals(tp.first) && second.equals(tp.second);
		}
			return false;
	}
	
	@Override
	publicString toString() {
		return first +"\t"+ second;
	}
	
	//排序,輸出需要排序的話,先比較key的值後比較value的值
//compareTo方法是一位一位的比較字串對應的ASCII碼值

	@Override
	public int compareTo(TextPair tp) {
		int cmp = first.compareTo(tp.first); 
		if(cmp !=0) {//如果cmp=0表示兩個字串完全相同
			return cmp;
		}else{
		return second.compareTo(tp.second);
                }

	}
}