1. 程式人生 > >HDFS的shell常用命令大全

HDFS的shell常用命令大全

1.啟動相關

    啟動zookeeper:

    zkServer.sh start

    啟動HDFS   :  不管在叢集中的那個節點都可以

    start-dfs.sh

    啟動YARN   :  只能在YARN主節點中進行啟動

    start-yarn.sh

    HDFS :  http://hadoop02:50070

    YARN : http://hadoop05:8088

2.-ls: 顯示目錄資訊

    hadoop fs -ls / 

    hadoop fs -ls -R /     ---->級聯遞迴的方式展示,相當於展示下面的所有資料夾

3.-mkdir:在hdfs上建立目錄(-p級聯建立)

    hadoop fs -mkdir -p /aaa/bbb/cc/dd 

4.-moveFromLocal從本地剪下貼上到hdfs 

    hadoop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd

5.-moveToLocal:從hdfs剪下貼上到本地(尚未實現,有點問題)

    hadoop fs -help moveToLocal

6.–appendToFile :追加一個檔案到已經存在的檔案末尾 

    hadoop fs -appendToFile ./hello.txt /hello.txt 

7.-cat :顯示檔案內容 

hadoop fs -cat/hadoop/yarn-root-nodemanager-Hadoop1.log


8.-tail:顯示一個檔案的末尾 

    hadoop fs -tail /weblog/access_log.1 

9.-chgrp 、-chmod、-chown:linux檔案系統中的用法一樣,修改檔案所屬許可權 

    hadoop fs -chmod 666 /hello.txt 

    hadoop fs -chown someuser:somegrp /hello.txt

10.-copyFromLocal:從本地檔案系統中拷貝檔案到hdfs路徑去 

    hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

11.-copyToLocal:從hdfs拷貝到本地

    hadoop fs -copyToLocal /user/hello.txt ./hello.txt 

12.-cp :從hdfs的一個路徑拷貝到hdfs的另一個路徑 

    hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 

13.-mv:在hdfs目錄中移動檔案

    hadoop fs -mv /aaa/jdk.tar.gz / 

14.-get:等同於copyToLocal,就是從hdfs下載檔案到本地 

    hadoop fs -get /user/hello.txt ./ 

15.-getmerge :合併下載多個檔案,比如hdfs的目錄 /aaa/下有多個檔案:log.1, log.2,log.3,… 

    hadoop fs -getmerge /aaa/log.* ./log.sum

16.-put:等同於copyFromLocal 

    hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz

17.-rm:刪除檔案或資料夾下的所有東西 

    hadoop fs -rm -r /aaa/bbb/ 

    hadoop fs -rmr /aa   ----->這種方式已經被棄用了,但是還是可以有刪除效果的。建議用上面的。

18.-rmdir:刪除空目錄 

    hadoop fs -rmdir /aaa/bbb/ccc

19.-df :統計檔案系統的可用空間資訊

    hadoop fs -df -h /

20.-du統計資料夾的大小資訊

    hadoop fs -du -s -h /user/abcd/wcinput

21.-count:統計一個指定目錄下的檔案節點數量 

    hadoop fs -count /aaa/

22.-setrep:設定hdfs中檔案的副本數量 

    hadoop fs -setrep 3 /aaa/jdk.tar.gz 

    這裡設定的副本數只是記錄在namenode的元資料中,是否真的會有這麼多副本,還得看datanode的數量。因為目前只有3臺裝置,最多也就3個副本,只有節點數的增加到10臺時,副本數才能達到10。

23.-touchz建立空白檔案

    hadoop fs -touchz /hadoop/touchzFile.txt

24.幫助命令

    hadoop

    hadoop fs

    hadoop -help

    hadoop fs -help

    hadoop fs -help ls

25.hadoop fs 等價於 hdfs dfs

在以前版本中整個叢集的所有命令都是通過hadoop命令來敲的,2.0之後區分出來了。

26.修改當前目錄下的所有檔案的副本個數修改,將來上傳的檔案的副本個數不會受到影響

hadoop fs -setrep 3 /

27.檢視配置資訊的引數

hdfs getconf 執行後會告訴你一個引數

hdfs getconf -confkey fs.defaultFS 執行後會告訴你hdfs://hadoop02:9000

hdfs getconf -confkey dfs.blocksize 執行後會告訴你134217728

hdfs getconf -confkey dfs.replication 執行後會告訴你2

相關推薦

SecureCRT 常用命令大全

中文 最後一行 orm dib tin http 擁有 運行 set 常用命令:一、ls 只列出文件名 (相當於dir,dir也可以使用) -A:列出所有文件,包含隱藏文件。 -l:列表形式,包含文件的絕大部分屬性。 -R:遞歸顯示。 --help:此命令的幫助。 二、cd

Linux常用命令大全

min ubun 依據 resize mii-tool awk using inputfile 設備 系統信息 arch 顯示機器的處理器架構(1) uname -m 顯示機器的處理器架構(2) uname -r 顯示正在使用的內核版本 dmidecode -q 顯示硬件系

Git 常用命令大全

版本控制系統 分布 刪除指定文件 顯示 本地庫 手動 diff commit div Git 是一個很強大的分布式版本控制系統。它不但適用於管理大型開源軟件的源代碼,管理私人的文檔和源代碼也有很多優勢。 Git常用操作命令: 1) 遠程倉庫相關命令 檢出倉庫:$ git

centos7(常用命令大全

centos7常用命令管理centos服務器的時候常會對文件進行一些常規操作,除了ftp之外了解在ssh下必要的文件操作命令那也是必不可少的,以下摘錄一些常用的文件操作命令:文件操作: ls ####查看目錄中的文件#### ls -F ####查看目錄中的文件#### ls -l ####顯示文件和目錄的詳

mac常用命令大全

內容 root cache 0.12 owa 查看 nload modules library Mac設置允許任何來源軟件運行 sudo spctl --master-disable 終端中打開文件或目錄 open Terminal所在位置打開finder o

電腦高手必備————常用命令大全

net user 查看 設備管理器 安全 table ces perf 查詢 ack 系統管理及系統信息查看 explorer 系統配置編輯器 msinfo32 系統信息 taskmgr 任務管理器 tasklist 進程和服務

mysql常用命令大全

詳細 pre denied 隱患 命令 緩存 如果 數據庫權限 磁盤空間 第一招、mysql服務的啟動和停止 net stop mysql net start mysql 第二招、登陸mysql 語法如下: mysql -u用戶名 -p用戶密碼 鍵入命令mysql -uro

Linux常用命令大全(非常全!!!)(轉)

mkfs 類型 e2fs 樹形 nmb id號 中間 vid path 最近都在和Linux打交道,感覺還不錯。我覺得Linux相比windows比較麻煩的就是很多東西都要用命令來控制,當然,這也是很多人喜歡linux的原因,比較短小但卻功能強大。我將我了解到的命令列

Linux 常用命令大全

rem AS style clock HERE 同時存在於 mask imp 硬件 Linux常用命令大全 1.系統信息 arch 顯示機器的處理器架構(1) uname -m 顯示機器的處理器架構(2) uname -r 顯示正在使用的內核版本 dmidecode -

寶塔面板常用命令大全

寶塔面板常用命令大全!安裝寶塔Centos安裝腳本yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.shUbuntu/Deepin安裝

Linux常用命令大全(非常全!!!)

www. ssa chat opp general 處理器 chmod 常用命令 掃描 最近都在和Linux打交道,感覺還不錯。我覺得Linux相比windows比較麻煩的就是很多東西都要用命令來控制,當然,這也是很多人喜歡linux的原因,比較短小但卻功能強大。我將我了解

大數據之---hadoop常用命令大全終極篇

大數據 Hadoop 軟件環境 RHEL6.8 hadoop2.8.1 apache-maven-3.3.9findbugs-1.3.9 protobuf-2.5.0.tar.gz jdk-8u45(操作環境root安裝啟動的hadoop)hadoop fs == hdfs dfs 將文件上傳至ha

轉 Git 常用命令大全

gitignore -- 相關配置 object 相同 更改 友好 table file 一、 Git 常用命令速查 git branch 查看本地所有分支 git status 查看當前狀態 git commit 提交 git branch -a 查看所有的分支

控制臺常用命令大全

XML int t對象 all table 表達 pre ima func 一、顯示信息的命令 1: <!DOCTYPE html> 2: <html> 3: <head> 4: <title

Linux常用命令大全(史無前例的命令大全

一. linux常用命令 *************************************************** 1.覆蓋拷貝命令  cp -ri 2. a拷貝到b目錄(移動或重新命名)  #mv a b mv - move (rename)

MySQL資料庫常用命令大全

                                常用命令大全(持續更新) show databases;顯示所有資料庫

Linux常用命令大全-完整

系統資訊 arch 顯示機器的處理器架構(1) uname -m 顯示機器的處理器架構(2) uname -r 顯示正在使用的核心版本 dmidecode -q 顯示硬體系統部件 - (SMBIOS / DMI) hdparm -i /dev/hda 羅列一個磁碟的架構特性

5分鐘學會Linux常用命令大全

                                      Linux常用命令大全 &nb

Redis快速起步及Redis常用命令大全

本系列教程內容提要 Java工程師之Redis實戰系列教程教程是一個學習教程,是關於Java工程師的Redis知識的實戰系列教程,本系列教程均以解決特定問題為目標,使用Redis快速解決在實際生產中的相關問題,為了更方便的與大家一起探討與學習,每個章節均提供儘可能詳細的示例原始碼及註釋,所有示例原始碼均可在

xshell常用命令大全

clear 指標 grep 屬性 jpg 當前目錄 Owner page signal (1)命令ls——列出文件 ls -la 給出當前目錄下所有文件的一個長列表,包括以句點開頭的“隱藏”文件 ls a* 列出當前目錄下以字母a開頭的所有文件 ls -l *.doc 給出