2. 程式人生 > >Hadoop 常用shell命令

Hadoop 常用shell命令

阿新 • • 發佈：2018-12-27

Hadoop 常用shell命令

1. 檔案操作

  • 檢視檔案
    hadoop fs -ls /
[[email protected] logs]# hadoop fs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2018-12-18 11:25 /hbase
drwxr-xr-x   - root supergroup          0 2018-12-22 08:24 /input
  • 建立資料夾
    hadoop fs -mkdir /input
[[email protected]
 
 logs]# hadoop fs -mkdir /test
[[email protected] logs]# hadoop fs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2018-12-18 11:25 /hbase
drwxr-xr-x   - root supergroup          0 2018-12-22 08:24 /input
drwxr-xr-x   - root supergroup          0 2018-12-22 08:27 /test
  • 刪除資料夾/檔案
[[email protected]
 
 logs]# hadoop fs -rm -R /test
18/12/22 08:28:12 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /test
[[email protected] logs]# hadoop fs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2018-12-18 11:25 /hbase
drwxr-xr-x   - root supergroup          0 2018-12-22 08:24 /input
  • 使用hdfs dfs 上傳一個檔案到指定目錄下：
[[email protected] temp]# hdfs dfs -put data.txt /input/
[[email protected] temp]# hdfs dfs -ls /input/
Found 1 items
-rw-r--r--   3 root supergroup        108 2018-12-22 08:32 /input/data.txt
[[email protected] temp]# cat data.txt 
hadoop is a good platform to analyze big data in disk.
spark is a perfet tool to deal with big data in RAM.

相關推薦

Hadoop 常用shell命令

Hadoop 常用shell命令 1. 檔案操作 檢視檔案 hadoop fs -ls / [[email protected] logs]# hadoop fs -ls / Found 2 items drwxr-xr-x - root supe

常用shell命令和vi編輯器

css lin str 目錄 用戶輸入 重定向 move 處理 操作 Shell 介紹 Shell：殼（區別於：核） 普通意義上的shell就是可以接受用戶輸入命令的程序。它之所以被稱作shell是因為它隱藏了操作系統低層的細節。 Bourne-Again shell（ba

Linux Shell常用shell命令

tina -h 鏡像 groupadd 包括 ket mail 常用shell命令 sysconf Linux Shell常用shell命令 一、文件、目錄操作命令 1、ls命令 功能：顯示文件和目錄的信息 ls　以默認方式顯示當前目錄文件列表 ls -a 顯示所有文件包括

Linux配置Hadoop 常用的命令

roo scripts lin etc 環境 主機 eth sts fig uname -a 看主機位數 ip a 看IP地址 vi /etc/sysconfig/network 改主機的名字 vi /etc/hosts 改映射關系 vi /etc/sysconfig/ne

分散式系統詳解--框架（Hadoop-基本shell命令）

               分散式系統詳解--框架（Hadoop-基本shell命令）         前面的文章我們已經將一個叢集搭建好了，現在就需要知道一些關於hadoo

hadoop[3]-shell命令操作

hdfs的shell操作： 大致介紹（http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html#Shell%E5%91%BD%E4%BB%A4）操作檔案命令格式格式： hadoop fs 操作命令 引數 bin/hadoop fs

Linux學習筆記-最基礎的常用shell命令

目錄 Shell基本命令 1.history 2.!! 3.alias 4.unalias 5.ls 6.">"與"<"，">>"重定向符 7.“|”管道符號 8.“jobs”檢視暫停任務 9."fg"恢復暫停的任務 &nb

轉： HBase 常用Shell命令

自：http://my.oschina.net/u/189445/blog/595232   兩個月前使用過hbase，現在最基本的命令都淡忘了，留一個備查~   hbase shell命令    &

Hadoop fs shell命令彙總

FS Shell 呼叫檔案系統(FS)Shell命令應使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路徑作為引數。URI格式是scheme://authority/path。對HDFS檔案系統，scheme是hdfs，對本地檔案系統，sch

HBase學習筆記（2）—— 常用shell 命令

1 hbase shell 命令 1.1 啟動和退出 start-hbase.sh hbase shell quit 1.2 建立表 create '表名', '列族名1',

Storm(二)常用shell命令

常用命令 [[email protected] apache-storm-1.2.2]# bin/storm help Commands: activate blobst

日常用shell命令

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000; background-color: #ffffff } span.s1 { } 遞迴更改資料夾許可權：chmod -R 767 檔名 mac啟動apach

HDFS常用shell命令

1 [[email protected] sbin]$ hadoop fs 2 Usage: hadoop fs [generic options] 3 [-appendToFile <localsrc> ... <dst>] 4 [-cat [-i

Linux 常用shell命令

裝應用程式 sudo apt-get update sudo apt-get install tree sudo apt-get remove xxx ls cp  cd cat  pwd mkdir 功能：新建目錄 用法：    mkdir xxx         mk

HDFS 常用shell命令

1.shell基本格式 （1）針對HDFS的shell格式 例： hadoop fs -ls hdfs://namenode:host/parent/child 也可以省略hdfs://namenode:host hadoop fs -ls /parent/chil

常用shell命令集合

1、檔案/檔案加許可權修改所屬使用者組+使用者 chown -R www:www data 只修改使用者 chgrp -R www data 2、檔案變更為可執行 chmod +x file 3、 [[email protected] learn_shell]$ ./a.sh 　　ba

操作hadoop常用的命令

 1.檢視hdfs某一資料夾的大小： hadoop fs  -du  -h  /路徑 2.檢視文字的前十行、後十行....... 隨機返回指定行數的樣本資料 hadoop fs -cat /test/gonganbu/scene_analysis

Android中常用shell命令

注意事項：這裡寫的命令，網頁會重新編輯格式，比如我寫了兩個減號，釋出後變成了一個減號；如果我>說的命令不能正確執行，請手動輸入命令，切記切換英文狀態。 android 常用shell命令記錄下來備忘 \n在shell命令中的作用是換行（而

Hadoop2常用Shell命令

1.       FS Shell 1.1     簡介 呼叫檔案系統(FS)Shell命令應使用 bin/hadoop fs <args>的形式。 所有的的FSshell命令使用URI路徑作為引數。URI格式是scheme://authority/path。對

Linux Shell 常用shell命令（三）基本系統命令

三、基本系統命令 1、man命令 功能：檢視某個命令的幫助，如果你不知道某個命令的用法不懂，可以問他，他知道就回告訴你 例如： man ls 顯示ls命令的幫助內容 2、w命令 功能：顯示登入使用者的詳細資訊 例如： Sarge:~# w 22:06:5