HADOOP IO詳解——序列化(1)
什麼是IO? I:input 輸入 通常做讀取操作(將不同資料來源的資料讀入到記憶體中,也叫讀取流)
O:output 輸出 通常做寫入操作(將記憶體中的資料寫入到不同的資料來源,也叫寫入流)(出記憶體到別的地方)
序列化的作用是什麼?1 資料通訊 2 持久化儲存
為什麼不直接接使用java的序列化和反序列化?原因如下
(1)Hadoop的序列化機制與Java的序列化機制不同,它將物件序列化到流中,值得一提的是java的序列化機制是不斷的建立物件,但在Hadoop的序列化機制中,使用者可以複用物件,這樣就減少了java物件的分配和回收,提高了應用效率。
(2)Hadoop在叢集之間進行通訊或者RPC呼叫的時候,需要序列化,而且要求序列化要快,且體積要小,佔用頻寬要小。所以必須理解Hadoop的序列化機制。
Hadoop序列化的要求 1、緊湊:Hadoop中最稀缺的資源是寬頻,所以緊湊的序列化機制可以充分的利用寬頻。 2、快速:通訊時大量使用序列化機制,因此,需要減少序列化和反序列化的開銷。 3、可擴充套件:隨著通訊協議的升級而可升級。 4、互操作:支援不同開發語言的通訊。
Hadoop是如何實現序列化機制的?
Hadoop通過Writable介面實現的序列化機制,不過沒有排序的功能,所以和java中的Comparable介面合併,
提供一個介面WritableComparable。 Writable介面提供兩個方法(write和readFields)。
Writable介面
所有實現了Writable介面的類都可以被序列化和反序列化。
Writable 介面中定義了兩個方法,分別為write(DataOutput out)和readFields(DataInput in)。write 用於將物件狀態寫入二進位制格式的DataOutput流,readFields 用於從二進位制格式的 DataInput 流中讀取物件狀態
package java.lang; import java.util.*; public interface Comparable { /** * 將this物件和物件o進行比較,約定:返回負數為小於,零為大於,整數為大於 */ public int compareTo(T o); }
自定義一個TextPair
importjava.io.*; importorg.apache.hadoop.io.*; public class TextPair implements WritableComparable { private Text first;//Text 型別的例項變數 first private Text second;//Text 型別的例項變數 second //空引數型別的構造方法 public TextPair() { set(newText(),newText()); } //String型別的構造方法 public TextPair(String first, String second) { set(new Text(first),new Text(second)); } //Text型別的構造方法 public TextPair(Text first, Text second) { set(first, second); } public void set(Text first, Text second) { this.first = first; this.second = second; } public Text getFirst() { return first; } public Text getSecond() { return second; } //將物件轉換為位元組流並寫入到輸出流out中 @Override public void write(DataOutput out)throwsIOException { first.write(out); second.write(out); } //從輸入流in中讀取位元組流反序列化為物件 @Override public void readFields(DataInput in)throwsIOException { first.readFields(in); second.readFields(in); } @Override public int hashCode() { return first.hashCode() *163+ second.hashCode(); } @Override public boolean equals(Object o) { if(o instance of TextPair) { TextPair tp = (TextPair) o; return first.equals(tp.first) && second.equals(tp.second); } return false; } @Override publicString toString() { return first +"\t"+ second; } //排序,輸出需要排序的話,先比較key的值後比較value的值 //compareTo方法是一位一位的比較字串對應的ASCII碼值 @Override public int compareTo(TextPair tp) { int cmp = first.compareTo(tp.first); if(cmp !=0) {//如果cmp=0表示兩個字串完全相同 return cmp; }else{ return second.compareTo(tp.second); } } }