1. 程式人生 > >hadoop【HDFS的基本命令】

hadoop【HDFS的基本命令】

hadoop基礎

1.先進入到Hadoop用戶下,然後:cd /usr/local/hadoop-0.20.2-cdh3u5/

ls一下

這時候會看見一個bin目錄,bin目錄下的,都是我們的命令。像JDK裏面,bin目錄裏面不也是我們的命令嘛,像Javajavac。所以同樣的,我們的Hadoop命令也在bin目錄下。

2.cd bin

ls一下

Start-all.sh(開啟集群的意思),stop-all.sh(關閉所有集群),start-dfs.sh(開啟HDFS 的所有進程),stop-dfs.sh(關閉HDFS的所有進程),hadoop-damon.sh(開啟指定的一臺機器),hadoop-damons.sh(

開啟多臺機器)。

3.要輸入Hadoop的命令,必須要進入到Hadoopbin目錄下,格式為:hadoop fs <args>,

<args>為參數命令。

4.Bin目錄下執行腳本,必須是./ 這樣才能運行,別忘了,我的天啊,你肯定會忘的,並且是 ./hadoop ./Hadoop這個單詞是連在一起,不是分開有空格的。

5.好了,接下來就是實際命令了:

./hadoop fs -ls hdfs://h103:9000/

(fs表示文件系統,-ls後面接的就是你要查看的哪個目錄下的內容,9000後面的斜杠/表示是我的目錄)

但是我又換一種寫法寫:./hadoop fs -ls /

(這輸出的結果是一樣的,因為我的主機名就是

h103,只要在我的集群上,ls空格後面的/,默認就是我的全路徑hdfs://h103:9000/,所以這兩種命令都是一樣的)

6.但是要是有人質問你,這樣處理的結果tmp不是你本地的嘛,但這不是的,因為只有 :ls /

這個命令,出來的才是本地的系統文件,比如srvtmp啥的。

7.創建目錄:./hadoop fs -mkdir /user(創建的一個user 的目錄)

./hadoo fs -ls / (查看一下,是不是就有了)

記住,這是Hadoop裏,不是ls一下就可以了,是 ./hadoop fs -ls / 這樣的

8.這時user創建了,單我還想在

user在創建一個,那命令是: ./hadoop fs -mkdir /user/hadoop (一級一級的創建)。

註意了,我要是還像用上個命令 ./hadoop fs -ls / 查看能看到嗎,當然不能,只能看到user目錄,所以我就要用 ./hadoop fs -ls /user 這個命令才能查看。

為什麽說剛才創建的Hadoop是目錄呢,就是因為出來的是“drwxr-xr-x,d就是目錄的意思。

9.上傳文件:

(1.先在本地創建個文件:vi a.txt

(2.編寫

(3.Cat a.txt

(4.先在要把它上傳到集群user下的Hadoop

(5.上傳命令:./hadoop fs -put a.txt /user/hadoop

(6.這時再來查看一下:./hadoop fs -ls /user/hadoop/

(7.這時候就上傳了,但是我上傳之後怎麽看是個文件,那就看前面“-rw-r--r--,-r就是文件的意思

(8.接下來我要查看文件裏的內容:./hadoop fs -cat /user/hadoop/a.txt

(9.要是有人說,這a.txt是本地的,那把本地文件刪除:rm -rf a.txt,本地文件是沒有了,可是我仍然./hadoop fs -cat /user/hadoop/a.txt,仍然是能看見的,這也足以證明,我這個a.txt文件已經上傳到我的集群裏。

10.本地的a.txt刪除了吧,我想把集群裏的文件下載到本地:./hadoop fs -get /user/hadoop/a.txt ./ ,這時候cat a.txt,就看見已經在本地裏了。

11.刪除文件:./hadoop fs -rm /user/hadoop/a.txt

回車後:DELETE hdfs:,,,,,,,,,這就是刪除了。

12.在home下創建一個目錄:./hadoop fs -mkdir /user/hadoop/aaaa

查看目錄:./hadoop fs -ls /user/hadoop/

13.刪除目錄:./hadoop fs -rmr /user/hadoop/aaaa

14.刪除我的Hadoop的目錄:./hadoop fs -rmr /user/hadoop

(-rm是刪除文件的命令,-rmr是刪除文件和目錄的命令,通用的)!

15.再給他創建回來:./hadoop fs -mkdir /user/hadoop/aaaa

查看創建好了嗎,./hadoop fs -ls /user/hadoop(所以可以一下創建2級)


hadoop【HDFS的基本命令】