1. 程式人生 > >大資料知識點記錄(二)

大資料知識點記錄(二)

1.hdfs:hadoop distribute file system

要點:a.一次寫入,多次讀出,且不支援檔案的修改,適合用來做大資料分析底層儲存服務,不能和網盤畫等號

           b.延遲過大,網路開銷大,成本很高

           c.shell命令列客戶端使用方法:hadoop fs <args>        (hdfs dfs <args>老版本命令)

               hadoop fs -ls hdfs://node-1:9000 

               hadoop fs -ls /  :斜槓是根目錄

              -rmr 遞迴刪除

              -cp  複製

             d.hadoop fs -ls -h /hello   :-h是指人性化操作,輸出檔案大小

                hadoop fs -mkdir -p <paths>     表示會建立路徑中的各級父目錄

                hadoop fs -put [-f] [-p] [分散式指定路徑下]

                -f:覆蓋目的地,不加就不會覆蓋

                hadoop fs -get [-p] [-f] [-crc] <src> <localdst>

                -crc:為下載的檔案寫CRC校檢和

               e.echo 2>2.txt 寫入  cat 檢視 輸出到stdout