2. 程式人生 > >Hadoop之HDFS上測試建立目錄、上傳、下載檔案,遍歷目錄

Hadoop之HDFS上測試建立目錄、上傳、下載檔案,遍歷目錄

阿新 • • 發佈：2019-01-12

遍歷

迴圈遍歷根目錄，慎重

hdfs dfs -ls -R /

遍歷根目錄資料夾和檔案

hdfs dfs -ls  /

上傳檔案 到HDFS已經存在的目錄下

上傳檔案到 / 跟目錄下
hdfs dfs -put /home/vc/dev/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml  /

檢視剛才上傳檔案

hdfs dfs -cat /hdfs-site.xml

下載檔案

將hdfs 檔案系統中/hdfs-site.xml下載到伺服器當前執行命令所在目錄

hdfs dfs -get /hdfs-site.xml

刪除檔案和目錄

//刪除目錄，相比刪除檔案多一個引數 -r
 hdfs dfs -rm -r /demo1
 //刪除檔案,好像加入 -r 引數也可以刪除，不會報錯。
 hdfs dfs -rm  -r /hdfs-site.xml
  hdfs dfs -rm /testone/core-site.xml

建立目錄

在根目錄下新建 demo1 目錄

hdfs dfs -mkdir /demo1

管理命令

dfsadmin

檢視檔案系統的基本資訊和統計資訊。

 hdfs dfsadmin -report

參考：

相關推薦

Hadoop之HDFS上測試建立目錄、上傳、下載檔案,遍歷目錄

遍歷 迴圈遍歷根目錄，慎重 hdfs dfs -ls -R / 遍歷根目錄資料夾和檔案 hdfs dfs -ls / 上傳檔案 到HDFS已經存在的目錄下 上

Hadoop之HDFS---淺談DN、NN、SNN

Hadoop淺談         在瞭解HDFS之前必須介紹一下hadoop以及hadoop和HDFS之前的關係：Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下，開發分散式程式。充分利用叢集的威力進行高速運算和儲存

hadoop之HDFS、yarn、MapReduce執行原理分析

1、HDFS分散式儲存        namenode:統一管理檔案的元資料資訊                   fsImage:儲存了檔案的基本資訊，如檔案路徑，檔案副本集個數，檔案塊的資訊，檔案所在的主機資訊。                    editslog：

Hadoop之HDFS文件操作

文件操作命令 help 文件夾 利用 jpg 查看 作文 rgs fill 摘要：Hadoop之HDFS文件操作常有兩種方式。命令行方式和JavaAPI方式。本文介紹怎樣利用這兩種方式對HDFS文件進行操作。 關鍵詞：HDFS文件 命令行

hadoop之 HDFS-Hadoop存檔

文件的 指定 文件創建 ruby 所有 元數據 不能 選項 輸入 每個文件按塊方式存儲, 每個塊的元數據存儲在namenode的內存中 Hadoop存檔文件或HAR文件是一個更高效的文件存檔工具,它將文件存入HDFS塊,在減少內存使用的同時,允許對文件進行透明地訪問 Ha

一臉懵逼學習hadoop之HDFS的java客戶端編寫

txt 維護 刪除文件 trac 實例 for nod delete reat 1：eclipse創建一個項目，然後導入對應的jar包： 鼠標右擊項目，點擊properties或者alt+enter快捷鍵--->java build path--->libra

Hadoop之HDFS

src 輸出 about lin pen 中一 文件是否存在 分配 input 　　HDFS即Hadoop Distributed File System分布式文件系統，它的設計目標是把超大數據集存儲到分布在網絡中的多臺普通商用計算機上，並且能夠提供高可靠性和高吞吐量的服務

搭建部署Hadoop 之 HDFS

java 使用 sin bsp per itl vim fire 交互 HDFS Hadoop 分布式文件系統分布式文件系統分布式文件系統可以有效解決數據的存儲和管理難題– 將固定於某個地點的某個文件系統,擴展到任意多個地點/多個文件系統– 眾多的節點組成一個文件系統網絡

hadoop之hdfs安全模式

Hadoop 大數據 加米谷大數據 hdfs namenode啟動時，首先將映像文件（fsimage）載入內存，並中興編輯日誌中的各項操作。一旦在內存中成功建立文件系統元數據的映像，則創建一個新的fsimage文件（該操作不需要借助namenode）和一個空的編輯日誌。此時，namenode開

Hadoop之HDFS分布式文件系統具有哪些優點？

大數據開發 Hadoop HDFS分布式文件系統 隨著互聯網數據規模的不斷增大，對文件存儲系統提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存儲系統，與傳統分布式文件系統一樣，HDFS分布式文件系統也是通過計算機網絡與節點相連，但也有優於傳統分布式文件系統的優點。1. 支持超

hadoop之hdfs及其工作原理

con 小型 poi 處理器 出了 目前 命令 append 數據塊 hadoop之hdfs及其工作原理 （一）hdfs產生的背景 　　隨著數據量的不斷增大和增長速度的不斷加快，一臺機器上已經容納不下，因此就需要放到更多的機器中，但這樣做不方便維護和管理，因此需要一種文件系

Hadoop之HDFS詳解

1、HDFS的概念和特性 　　它是一個檔案系統，其次是分散式的 　　重要特性： 　　　　1).HDFS中的檔案在物理上是分塊儲存（block）,新版預設128M 　　　　2).客戶端通過路徑來訪問檔案，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data 　　

大資料 Hadoop之HDFS

前言 HDFS（Hadoop Distributed File System）是基於流資料模式訪問和處理超大檔案的需求而開發的，它可以運行於廉價的商用伺服器上。 大資料 基礎概念 大資料 Centos基礎 大資料 Shell基礎 大資料 ZooKeepe

Hadoop之HDFS的Shell操作

1、基本語法 　　bin/hadoop fs 具體命令 或者 bin/hdfs dfs 具體命令 　　dfs 是 fs 的實現類。   2、命令大全 [[email protected] hadoop-2.7.2]$ bin/hadoop fs Usage: hadoop

Hadoop之HDFS中HA的搭建

Hadoop 1.0存在的問題：單點故障和記憶體受限 （1）NameNode單點故障（NameNode只有一個，一旦宕機了，則資料就會丟失，雖然有配置SecondaryNameNode，但是SecondardyNameNode 合併元資料和日誌檔案需要時間的，所有還是會有部分資料會丟失） （2）Name

大資料Hadoop之HDFS模組《二》

上篇我們介紹了hdfs的一些概念和優缺點那麼我們這篇便來說說hdfs的讀寫流程和一些常用的命令： 《一》讀寫流程 一、hdfs 讀流程（下載檔案） 　1） client向namenode發出下載請求，namenode查詢元資料資訊，找到檔案塊所在的datanode

大資料Hadoop之HDFS模組《》

相信看到這篇文章的對於Hadoop已經有了一點的理解，那麼咱們廢話少說，直接進入正題。 **《一》HDFS的概念** 先來看一個問題： 什麼是HDFS？它有什麼用？ **HDFS**，一個高可靠、高容錯、高吞吐量，適合大

Python自學之路：遞迴、棧和佇列遍歷目錄

遞迴呼叫的概念：一個函式呼叫了自身，稱為遞迴呼叫 遞迴函式的概念：一個能夠被自身呼叫的函式稱為遞迴函式 遞迴一般執行的是迴圈邏輯 編寫遞迴函式的方法： 1、找出臨界條件，比如最小值，最大值等等 2、找出這一次和上一次的關係 3、假設當前函式已經能用，呼叫自身計算

hadoop之hdfs的3個節點以同一程序啟動

HDFS三個程序啟動都以xxxxxxxx啟動： 以我自己的機器名稱為例： HDFS三個程序啟動以hadoop001啟動：etc/hadoop目錄下設定 之前在部署hdfs時候修改了core-site.xml檔案slaves檔案 （1）在core-site.xm

hadoop之hdfs命令剖析

（1）檢視hdfs主從架構程序 [[email protected] hadoop-2.6.0-cdh5.7.0]$ jps 13490 DataNode 14800 ResourceManager 13366 NameNode 25008 Jps 1