1. 程式人生 > >HDFS常用命令以及簡單API

HDFS常用命令以及簡單API

  • 1) kill -9 xxxx 殺掉程序
  • 2)hdfs的客戶端 1.網頁形式->測試用 ip:50070 2.命令列形式->測試用 3.企業級API 檢視幫助 hdfs dfs -help 檢視hdfs命令引數

1)檢視目錄檔案 hdfs dfs -ls / 2)上傳檔案 hdfs dfs -put /本地路徑 /hdfs路徑 3)下載檔案 hdfs dfs -get /hdfs路徑 /本地路徑 4)把檔案合併下載 hdfs dfs -getmerge /hdfs路徑 /本地路徑 5)刪除檔案 hdfs dfs -rm /hdfs路徑 6)刪除資料夾 hdfs dfs -rm -r /hdfs路徑 7)修改檔名 hdfs dfs -mv /檔名 hdfs dfs -mv /hdfs路徑 /hdfs路徑 這個命令不僅可以修改檔名 還可以將檔案修改名字後改變路徑儲存 8)檢視檔案 hdfs dfs -cat /檔案 hdfs dfs -tail -f /檔案 9)把本地檔案剪下上傳到hdfs hdfs dfs -moveFromLocal /本地路徑 /hdfs路徑 10)建立資料夾 hdfs dfs -mkdir /資料夾名 11)建立多級資料夾 hdfs dfs -mkdir -p /資料夾名/資料夾名 12)檢視hdfs資料夾中有多少檔案 hdfs dfs -count /資料夾 13)檢視hdfs空間 hdfs dfs -df / hdfs dfs -df -h / 14)複製檔案 hdfs dfs -cp /hdfs路徑 /hdfs路徑 15)修改檔案的副本數 hdfs dfs -setrep 副本數 /檔案

package com.ycf.text;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;


public class HadoopDemo1 {

	public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
		// TODO Auto-generated method stub
		//1.載入客戶端配置資訊
		Configuration conf = new Configuration();
		//2.指定塊大小
		conf.set("dfs.blocksize", "6m");
		//3.指定副本個數
		conf.set("dfs.replication", "2");
		//構造客戶端
		FileSystem fs =FileSystem.get(new URI("hdfs://192.168.232.132:9000"), conf, "root");
		//上傳檔案到hdfs
		fs.copyFromLocalFile(new Path("B:/JAVA測試目錄1級/哈哈ha.txt"),new Path("/work"));
		//關閉資源
		fs.close();
	}

}