1. 程式人生 > >Hadoop2.6.0防止誤刪機制-Trash

Hadoop2.6.0防止誤刪機制-Trash

    Hadoop2.6.0的回收站Trash機制跟Hadoop1變化不大,建議提前開啟該功能(預設關閉),防止誤刪時欲哭無淚。

1、修改/etc/hadoop/core-site.xml,增加如下配置:

    <!-- 開啟hdfs檔案刪除自動轉移到垃圾箱,值為垃圾箱檔案清除時間,單位是分鐘。一般開啟該配置比較好,防止刪除重要檔案。 -->

    <property>  

        <name>fs.trash.interval</name>

        <value>1440</value><!-- 

預設為0,單位為分鐘,這裡設定了一天 -->

    </property>

2、然後測試該功能,隨便找個目錄執行刪除操作:hdfs dfs -rm -r /tmp/input。刪除後會發現有如下類似提示:

        Moved: 'viewfs://hCluster/tmp/input' to trash at: hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current

    hdfs://hadoop-cluster1/core-site.xml中引入的mountTable.xml裡的設定

檢視hdfs://hadoop-cluster1/,使用命令:

        hdfs dfs -ls hdfs://hadoop-cluster1/

會發現其中多了hdfs://hadoop-cluster1/user目錄,剛刪除的目錄在hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current/tmp/input

3、從Trash恢復刪除檔案,執行:

        hdfs dfs -mv hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current/tmp/input hdfs://hadoop-cluster1/tmp/input

如果直接執行hdfs dfs -mv hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current/tmp/input /tmp/input

會提示mv: `hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current/tmp/input': Does not match target filesystem,具體原因應該是檔案系統不匹配。

4、直接刪除檔案

開啟垃圾箱後,如果希望檔案直接被刪除,可以在使用刪除命令時新增“–skipTrash引數,如下:

hadoop fs -rm [-r] -skipTrash /xxxx

相關推薦

Hadoop2.6.0防止機制-Trash

    Hadoop2.6.0的回收站Trash機制跟Hadoop1變化不大,建議提前開啟該功能(預設關閉),防止誤刪時欲哭無淚。 1、修改/etc/hadoop/core-site.xml,增加如下配置:     <!-- 開啟hdfs檔案刪除自動轉移到垃圾箱

編譯hadoop2.6.0 cdh 5.4.5 集成snappy壓縮

編譯 lib maven倉庫 cloudera pan url 下載源碼 cloud test 原文地址:http://www.cnblogs.com/qiaoyihang/p/6995146.html 1、下載源碼:http://archive-primary.cloud

Hadoop2.6.0版本號MapReudce演示樣例之WordCount(一)

set pat -m 代碼 分享 ont extends gravity csdn 一、準備測試數據 1、在本地Linux系統/var/lib/hadoop-hdfs/file/路徑下準備兩個文件file1.txt和file2.tx

CentOS 6.5 模擬lib64下庫檔案的軟連結,提示Kernel panic not syncing : Attempted tokill init!

Time:20180921 OS:CentOS 6.5 同事誤將/lib64下的ld-linux-x86-64.so.2和ld-lsb-x86-64.so.3兩個軟連結刪除,現場報錯如下 使用vmware中的centos 6.5系統模擬相同操作 1、同樣將兩個軟連結刪除

hadoop2.6.0原始碼剖析-客戶端(第二部分--讀(open)HDFS檔案)

在讀HDFS檔案前,需要先open該檔案,這個呼叫的是org.apache.hadoop.fs.FileSystem類物件,但是由於實際建立的物件是org.apache.hadoop.hdfs.DistributedFileSystem類物件,後者是前者的子類,所以呼叫父類中的FSDataInput

hadoop2.6.0原始碼剖析-客戶端(第二部分--DFSClient)下(HA代理)

我們繼續進入到org.apache.hadoop.hdfs.NameNodeProxies的函式 public static <T> ProxyAndInfo<T> createProxy(Configuration conf,URI nameNodeUri, Class

hadoop2.6.0原始碼剖析-客戶端(第二部分--DFSClient)上(非HA代理)

我們講解完了DistributedFileSystem,隨著程式碼我們來到了DFSClient建構函式中,該函式程式碼如下: /**     * Create a new DFSClient connected to the given nameNodeUri or

hadoop2.6.0原始碼剖析-客戶端(第二部分--DistributedFileSystem)

DistributedFileSystem這個類在包package org.apache.hadoop.hdfs中,為使用者開發基於HDFS的應用程式提供了API,這個類有幾個成員變數: private Path workingDir; private URI uri; private Stri

hadoop2.6.0原始碼剖析-客戶端(第二部分--Configuration)

我們來講講Configuration類,從名字可以看出,這個類跟配置檔案有關,它的繼承關係如下: 這個類比較大,我們先從一個點切入,後面有需要會追加其他部分,我們的切入點是getDefaultUri函式,但如下: public static URI getDefaultUri(Conf

centos6.5安裝單機版hadoop2.6.0

安裝hadoop之前,首先要安裝 jdk1.8.0_181(我使用的版本) 並配置jdk環境變數,接下來開始安裝hadoop 1. hadoop2.6.0下載 下載地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/

【linux】 rm 防止

利用某些保護命令和 rm 的替代命令可避免 rm 從入門到刪庫的悲傷 rm-protection,保護機制protect命令配合 trash-cli,移動到回收站 Safe-rm, 保護機制跳過被保護檔案 rm -i, -i, --intera

【圖文詳細 】HDFS面試題:hdfs的回收站(防止

預設是關閉的,需要手動開啟,修改配置 core-site.xml                    新增:

CDH版hadoop2.6.0-cdh5.7.0原始碼編譯

前置要求 hadoop2.6.0-cdh5.7.0 原始碼包 下載 jdk 1.7+ 下載 maven 3.0+ 下載 protobuf 2.5+ 下載 安裝依賴庫 $>yum install -y svn ncurses-devel gcc

hadoop2.6.0原始碼剖析-客戶端(第二部分--讀(read)HDFS檔案)

上篇文章我們分析了open函式,這個函式會獲取要開啟檔案的塊資訊,接下來我們開始分析讀檔案部分的程式碼。 我們先來看一個示例,程式碼如下: package com.hadoop.senior.hdfs; import java.io.File; import java.io.FileIn

Hadoop安裝教程_單機/偽分散式配置_CentOS6.4/Hadoop2.6.0

 2015-12-17 (updated: 2017-03-02) 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參考了官方安裝教程,步驟詳細,輔以適當說明,相信按照步驟來,都

Hadoop2.6.0開發遇到的所有問題及解決方案

一、如果配置了HDFS的federation,使用eclipse外掛配置完M/R Master的埠(50020)和DFS Master的埠(9000)後,無法連線到HDFS看遠端目錄結構 解決辦法:切換到Advanced parameters標籤,修改fs.defaultF

spark2.4 整合 hadoop2.6.0-cdh5.7.0 原始碼編譯

1.前置要求 java 8 + maven 3.5.4 + scala 2.11 2.下載 spark2.4 原始碼包 在spark官網 下載頁面中選擇對應的spark版本和原始碼包 [[email protected] softwore

spark2.2.0-hadoop2.6.0預編譯叢集安裝

1、下載解壓 將下載好的spark-2.2.0-bin-hadoop2.6.tgz包移動到netcloud03 netcloud04 netcloud05 各節點的/opt目錄下並解壓 2、Spark基於Standalone執行模式進行配置  1)測試    cd

修改rm命令防止

   相信很多使用Linux的同學都有過使用rm手滑誤刪資料的遭遇,我也就把寫了半個月的程式碼誤刪了而已…….,其實網路上已經有很多方法來修改rm命令,用過在.bashrc中修改rm的方法,也用過別人寫好的python包trash-cli,由於種種原因,最後都使

Hadoop2.6.0在CentOS 7中的叢集搭建

我這邊給出我的叢集環境是由一臺主節點master和三臺從節點slave組成: master     192.168.1.2 slave1       192.168.1.3 slave2       192.168.1.4 slave3       192.168.1.5 申明:我搭建的這個叢集不是