1. 程式人生 > >hadoop的資料序列化型別

hadoop的資料序列化型別

hadoop的資料序列化型別
        IntWritable,FloatWritable,LongWritable,DoubleWritable,Text,
        BooleanWritable,ByteWritable,MapWritable,ArrayWritable

    JAVA的資料型別
        int,float,long,double,string,boolean,byte,map,array

    為什麼要序列化?
        序列化就是把記憶體當中的物件,轉換成位元組序列比便於儲存和網路傳輸
            儲存“活的物件”
            hadoop序列化實現了hadoop的上傳和下載
            java序列化實現了網路傳輸
        反序列化就是將收到的位元組序列或者硬碟的持久化資料,轉換成記憶體中的物件。

    java的序列化->Serializable
    為什麼不用java提供的序列化介面?
        java的序列化是一個重量級的序列化框架,一個物件被序列化後會附帶很多額外的資訊(校驗資訊,header,繼承體系等)。
        不便於在網路中的高效傳輸,所以hadoop開發了一套序列化機制(Writable),精簡/高效。

    為什麼序列化在hadoop中很重要?
        hadoop通訊是通過遠端呼叫(rpc)實現的,需要進行序列化


    特點:
        1)緊湊
        2)快速
        3)可拓展
        4)互操作