Hadoop2.6.0防止誤刪機制-Trash
Hadoop2.6.0的回收站Trash機制跟Hadoop1變化不大,建議提前開啟該功能(預設關閉),防止誤刪時欲哭無淚。
1、修改/etc/hadoop/core-site.xml,增加如下配置:
<!-- 開啟hdfs檔案刪除自動轉移到垃圾箱,值為垃圾箱檔案清除時間,單位是分鐘。一般開啟該配置比較好,防止刪除重要檔案。 -->
<property>
<name>fs.trash.interval</name>
<value>1440</value><!--
</property>
2、然後測試該功能,隨便找個目錄執行刪除操作:hdfs dfs -rm -r /tmp/input。刪除後會發現有如下類似提示:
Moved: 'viewfs://hCluster/tmp/input' to trash at: hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current
hdfs://hadoop-cluster1/為core-site.xml中引入的mountTable.xml裡的設定
檢視hdfs://hadoop-cluster1/,使用命令:
hdfs dfs -ls hdfs://hadoop-cluster1/
會發現其中多了hdfs://hadoop-cluster1/user目錄,剛刪除的目錄在hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current/tmp/input
3、從Trash恢復刪除檔案,執行:
hdfs dfs -mv hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current/tmp/input hdfs://hadoop-cluster1/tmp/input
如果直接執行hdfs dfs -mv hdfs://hadoop-cluster1/user/hadoop2/.Trash/Current/tmp/input /tmp/input
4、直接刪除檔案
開啟垃圾箱後,如果希望檔案直接被刪除,可以在使用刪除命令時新增“–skipTrash”引數,如下:
hadoop fs -rm [-r] -skipTrash /xxxx
相關推薦
Hadoop2.6.0防止誤刪機制-Trash
Hadoop2.6.0的回收站Trash機制跟Hadoop1變化不大,建議提前開啟該功能(預設關閉),防止誤刪時欲哭無淚。 1、修改/etc/hadoop/core-site.xml,增加如下配置: <!-- 開啟hdfs檔案刪除自動轉移到垃圾箱
編譯hadoop2.6.0 cdh 5.4.5 集成snappy壓縮
編譯 lib maven倉庫 cloudera pan url 下載源碼 cloud test 原文地址:http://www.cnblogs.com/qiaoyihang/p/6995146.html 1、下載源碼:http://archive-primary.cloud
Hadoop2.6.0版本號MapReudce演示樣例之WordCount(一)
set pat -m 代碼 分享 ont extends gravity csdn 一、準備測試數據 1、在本地Linux系統/var/lib/hadoop-hdfs/file/路徑下準備兩個文件file1.txt和file2.tx
CentOS 6.5 模擬誤刪lib64下庫檔案的軟連結,提示Kernel panic not syncing : Attempted tokill init!
Time:20180921 OS:CentOS 6.5 同事誤將/lib64下的ld-linux-x86-64.so.2和ld-lsb-x86-64.so.3兩個軟連結刪除,現場報錯如下 使用vmware中的centos 6.5系統模擬相同操作 1、同樣將兩個軟連結刪除
hadoop2.6.0原始碼剖析-客戶端(第二部分--讀(open)HDFS檔案)
在讀HDFS檔案前,需要先open該檔案,這個呼叫的是org.apache.hadoop.fs.FileSystem類物件,但是由於實際建立的物件是org.apache.hadoop.hdfs.DistributedFileSystem類物件,後者是前者的子類,所以呼叫父類中的FSDataInput
hadoop2.6.0原始碼剖析-客戶端(第二部分--DFSClient)下(HA代理)
我們繼續進入到org.apache.hadoop.hdfs.NameNodeProxies的函式 public static <T> ProxyAndInfo<T> createProxy(Configuration conf,URI nameNodeUri, Class
hadoop2.6.0原始碼剖析-客戶端(第二部分--DFSClient)上(非HA代理)
我們講解完了DistributedFileSystem,隨著程式碼我們來到了DFSClient建構函式中,該函式程式碼如下: /** * Create a new DFSClient connected to the given nameNodeUri or
hadoop2.6.0原始碼剖析-客戶端(第二部分--DistributedFileSystem)
DistributedFileSystem這個類在包package org.apache.hadoop.hdfs中,為使用者開發基於HDFS的應用程式提供了API,這個類有幾個成員變數: private Path workingDir; private URI uri; private Stri
hadoop2.6.0原始碼剖析-客戶端(第二部分--Configuration)
我們來講講Configuration類,從名字可以看出,這個類跟配置檔案有關,它的繼承關係如下: 這個類比較大,我們先從一個點切入,後面有需要會追加其他部分,我們的切入點是getDefaultUri函式,但如下: public static URI getDefaultUri(Conf
centos6.5安裝單機版hadoop2.6.0
安裝hadoop之前,首先要安裝 jdk1.8.0_181(我使用的版本) 並配置jdk環境變數,接下來開始安裝hadoop 1. hadoop2.6.0下載 下載地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/
【linux】 rm 防止誤刪
利用某些保護命令和 rm 的替代命令可避免 rm 從入門到刪庫的悲傷 rm-protection,保護機制protect命令配合 trash-cli,移動到回收站 Safe-rm, 保護機制跳過被保護檔案 rm -i, -i, --intera
【圖文詳細 】HDFS面試題:hdfs的回收站(防止誤刪)
預設是關閉的,需要手動開啟,修改配置 core-site.xml 新增:
CDH版hadoop2.6.0-cdh5.7.0原始碼編譯
前置要求 hadoop2.6.0-cdh5.7.0 原始碼包 下載 jdk 1.7+ 下載 maven 3.0+ 下載 protobuf 2.5+ 下載 安裝依賴庫 $>yum install -y svn ncurses-devel gcc
hadoop2.6.0原始碼剖析-客戶端(第二部分--讀(read)HDFS檔案)
上篇文章我們分析了open函式,這個函式會獲取要開啟檔案的塊資訊,接下來我們開始分析讀檔案部分的程式碼。 我們先來看一個示例,程式碼如下: package com.hadoop.senior.hdfs; import java.io.File; import java.io.FileIn
Hadoop安裝教程_單機/偽分散式配置_CentOS6.4/Hadoop2.6.0
2015-12-17 (updated: 2017-03-02) 本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參考了官方安裝教程,步驟詳細,輔以適當說明,相信按照步驟來,都
Hadoop2.6.0開發遇到的所有問題及解決方案
一、如果配置了HDFS的federation,使用eclipse外掛配置完M/R Master的埠(50020)和DFS Master的埠(9000)後,無法連線到HDFS看遠端目錄結構 解決辦法:切換到Advanced parameters標籤,修改fs.defaultF
spark2.4 整合 hadoop2.6.0-cdh5.7.0 原始碼編譯
1.前置要求 java 8 + maven 3.5.4 + scala 2.11 2.下載 spark2.4 原始碼包 在spark官網 下載頁面中選擇對應的spark版本和原始碼包 [[email protected] softwore
spark2.2.0-hadoop2.6.0預編譯叢集安裝
1、下載解壓 將下載好的spark-2.2.0-bin-hadoop2.6.tgz包移動到netcloud03 netcloud04 netcloud05 各節點的/opt目錄下並解壓 2、Spark基於Standalone執行模式進行配置 1)測試 cd
修改rm命令防止誤刪
相信很多使用Linux的同學都有過使用rm手滑誤刪資料的遭遇,我也就把寫了半個月的程式碼誤刪了而已…….,其實網路上已經有很多方法來修改rm命令,用過在.bashrc中修改rm的方法,也用過別人寫好的python包trash-cli,由於種種原因,最後都使
Hadoop2.6.0在CentOS 7中的叢集搭建
我這邊給出我的叢集環境是由一臺主節點master和三臺從節點slave組成: master 192.168.1.2 slave1 192.168.1.3 slave2 192.168.1.4 slave3 192.168.1.5 申明:我搭建的這個叢集不是