1. 程式人生 > >kettle hive兩種分割槽方式對比

kettle hive兩種分割槽方式對比

第一種方式是


先將準備好的資料放到hive裡,通過動態載入的方式將資料條條加入分割槽

第二種方式是設定變數


然後寫sql指令碼的方式load資料到分割槽裡


這兩種方法適用於不同場合

如果是每日更新資料方式,可以採用第二種方法,使分割槽效率更高,

如果是初始匯入大量資料的方式,可以採用第一種方法,在準備資料階段分成幾份依次匯入,減少伺服器負載