hdfs的基本命令列
阿新 • • 發佈：2018-12-09
1，hdfs的概述
HDFS的檔案塊：（面試也是常聊的）
塊級大小可通過配置引數（dfs.dlocksize）來規定的，如果在完全分散式情況下，預設hadoop2.x版本大是128M，在本本地模式下是64M的。老版本是64M。
傳輸一個由多個塊組成的檔案的時間取決於磁碟傳輸速率。
如果定址時間約為10ms,而傳輸速率為100MB/s。為了使定址時間佔傳輸時間的1%，我們要設定塊大小約為100MB預設的塊大小為128MB.
HDFS 架構 由四個部分組成：HDFS Client、NameNode、DataNode 和 Secondary
NameNode
client客戶端：
當檔案上傳 HDFS 的時候，Client 將檔案切分成一個一個的 Block，然後進行儲存。
與 NameNode 互動，獲取檔案的位置資訊
與 DataNode 互動，讀取或者寫入資料
NameNode相當於一個管理者，是老大了
管理 HDFS 的名稱空間
管理資料塊（Block）對映資訊
配置副本策略
處理客戶端讀寫請求
DataNode就是slave
儲存實際的資料塊
執行資料塊的讀/寫操作
secondary NameNode
輔助 NameNode，分擔其工作量。
定期合併 Fsimage 和 Edits，並推送給 NameNode
在緊急情況下，可輔助恢復 NameNode
2，HDFS命令列操作熟練
hadoop fs
hadoop fs -help rm 幫助
hadoop fs -ls 顯示目錄資訊，遞迴-lsr
hadoop fs -mkdir /user/tguigu 在hdfs上建立目錄
hadoop fs -moveFromlocal test.txt /user/tguigu/data 從本地剪下貼上到hdfs
hadoop fs -appendTofile test.txt /user/tguigudata/test.txt 追加一個檔案到已經存在的檔案末尾
hadoop fs -cat 顯示檔案內容
hadoop fs -tail 顯示一個檔案的末尾
hadoop fs -cp /user/tguigu/../x.txt /user/tguigu/test../ 從hdfs的一個路徑拷貝到hdfs的另一個路徑
hadoop fs -mv /user/tguigu/../x.txt /.../ 在hdfs目錄中移動檔案
hadoop fs -get /user/tguigu/../x.txt ./ 等同於copyToLocal,就是從hdfs下載檔案到本地
hadoop fs -getmerge /user/tguigu//test/* ./zaiyiqi.txt 合併下載多個檔案
hadoop fs -put 等同於copyFromLocal上傳
hadoop fs -rm 刪除檔案或資料夾
hadoop fs -rmdir 刪除空目錄
hadoop fs -df 統計檔案系統的可用空間
hadoop fs -du 統計檔案的大小資訊
hadoop fs -setrep 設定hdfs中檔案的副本量數
---------------------
作者：realize_dream
來源：CSDN
原文：https://blog.csdn.net/realize_dream/article/details/84929347
版權宣告：本文為博主原創文章，轉載請附上博文連結！