1. 程式人生 > >hadoop distcp 引數詳解

hadoop distcp 引數詳解

# hadoop distcp 
usage: distcp OPTIONS [source_path...] <target_path>
              OPTIONS
 -append                       Reuse existing data in target files and
                               append new data to them if possible
 -async                        Should distcp execution be blocking
 -atomic                       Commit all changes or none
 -bandwidth <arg>              Specify bandwidth per map in MB
 -delete                       Delete from target, files missing in source
 -diff <arg>                   Use snapshot diff report to identify the
                               difference between source and target
 -f <arg>                      List of files that need to be copied
 -filelimit <arg>              (Deprecated!) Limit number of files copied
                               to <= n
 -filters <arg>                The path to a file containing a list of
                               strings for paths to be excluded from the
                               copy.
 -i                            Ignore failures during copy
 -log <arg>                    Folder on DFS where distcp execution logs
                               are saved
 -m <arg>                      Max number of concurrent maps to use for
                               copy
 -mapredSslConf <arg>          Configuration for ssl config file, to use
                               with hftps://. Must be in the classpath.
 -numListstatusThreads <arg>   Number of threads to use for building file
                               listing (max 40).
 -overwrite                    Choose to overwrite target files
                               unconditionally, even if they exist.
 -p <arg>                      preserve status (rbugpcaxt)(replication,
                               block-size, user, group, permission,
                               checksum-type, ACL, XATTR, timestamps). If
                               -p is specified with no <arg>, then
                               preserves replication, block size, user,
                               group, permission, checksum type and
                               timestamps. raw.* xattrs are preserved when
                               both the source and destination paths are
                               in the /.reserved/raw hierarchy (HDFS
                               only). raw.* xattrpreservation is
                               independent of the -p flag. Refer to the
                               DistCp documentation for more details.
 -sizelimit <arg>              (Deprecated!) Limit number of files copied
                               to <= n bytes
 -skipcrccheck                 Whether to skip CRC checks between source
                               and target paths.
 -strategy <arg>               Copy strategy to use. Default is dividing
                               work based on file sizes
 -tmp <arg>                    Intermediate work path to be used for
                               atomic commit
 -update                       Update target, copying only missingfiles or
                               directories

相關推薦

hadoop distcp 引數

# hadoop distcp  usage: distcp OPTIONS [source_path...] <target_path>               OPTIONS  -append                       Reuse ex

Hadoop hadoop yarn 指令相關引數

[Plain Text] 純文字檢視 複製程式碼 ? 1 2 [[email protected] bin]$ yarn classpath /home/hadoop/apache/hadoop-2.4.1/etc/hadoop:

hadoop引數彙總配置檔案引數

Hadoop引數彙總 @(hadoop)[配置] linux引數 以下引數最好優化一下: 檔案描述符ulimit -n使用者最大程序 nproc (hbase需要 hbse book)關閉swap分割槽設定合理的預讀取緩衝區Linux的核心的I

Hadoop之WordCount

ride 開始 zookeepe ati 程序 form 數組 -c 狀態 花了好長時間查找資料理解、學習、總結 這應該是一篇比較全面的MapReduce之WordCount文章了 耐心看下去 1,創建本地文件 在hadoop-2.6.0文件夾下創建一個文件夾data,在其

hadoop fs 命令

detail -s AD 命令詳解 style 宋體 details s/4 AI 轉載: https://blog.csdn.net/bgk083/article/details/49454209hadoop fs 命令詳解

mencoder和ffmpeg引數2 (轉)

有很多軟體能夠擷取影片影象、合併影象,但如果影片太多,比如視訊網站為使用者上傳的影象生成預覽圖之類的,人工在gui方式下操作就不可取了,我們需要在命令列方式下來擷取、合併。 首先,擷取影片影象使用最多的就是mplayer或者ffmpeg,我用mplayer比較熟,本文就以此為例了,ffmpe

學習筆記--JDK中的URLConnection引數

JDK中的URLConnection引數詳解 針對JDK中的URLConnection連線Servlet的問題,網上有雖然有所涉及,但是隻是說明了某一個或幾個問題,是以FAQ的方式來解決的,而且比較零散,現在對這個類的使用就本人在專案中的使用經驗做如下總結:  1:>

MySQL 8.0.12 mysqlbinlog命令引數

1.版本號不同: # /usr/local/mysql57/bin/mysqlbinlog --version /usr/local/mysql57/bin/mysqlbinlog Ver 3.4 for linux-glibc2.12 at x86_64 # /usr/local/mysql8

maven配置引數

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apach

資料庫mysqldump指令引數

資料庫mysqldump命令引數詳解 --all-databases , -A 匯出全部資料庫。 mysqldump -uroot -p --all-databases --all-tablespaces , -Y 匯出全部表空間。 mysqldump -uroot -p --all-databa

sklearn 神經網路MLPclassifier引數

class sklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100, ), activation=’relu’, solver=’adam’, alpha=0.0001, batch_size=’auto’, learnin

jQuery非同步請求ajax()之complete引數

請求完成後回撥函式 (請求success 和 error之後均呼叫)。這個回撥函式得到2個引數:XMLHTTPRequest) 物件和一個描述請求狀態的字串("success", "notmodified", "nocontent","error", "timeout", "abort", 或者 "

配置 sysctl.conf 系統引數

配置 sysctl.conf 系統引數(vi /etc/sysctl.conf) 引數: 1.記憶體&快取 kernel.sysrq = 0 核心設定驗證為0 kernel.core_uses_pid = 1 控制核心的系統請求除錯功能開啟,控制核心轉儲附加PID到核心檔名,適用於多

Hadoop之HDFS

1、HDFS的概念和特性   它是一個檔案系統,其次是分散式的   重要特性:     1).HDFS中的檔案在物理上是分塊儲存(block),新版預設128M     2).客戶端通過路徑來訪問檔案,形如:hdfs://namenode:port/dir-a/dir-b/dir-c/file.data   

Hadoop之Hive

1、什麼是Hive   hive是基於hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表   並提供類sql查詢功能 2、為什麼要用Hive   1、直接使用hadoop所面臨的問題     人員學習成本太高     專案週期要求太短     MapReduce實現複雜查詢邏輯開發

Hadoop之Azkaban

工作流排程器azkaban1 為什麼需要工作流排程系統   1)一個完整的資料分析系統通常都是由大量任務單元組成:shell指令碼程式,java程式,mapreduce程式、hive指令碼等   2)各任務單元之間存在時間先後及前後依賴關係   3)為了很好地組織起這樣的複雜執行計劃,需要一個工作流排程系統來

Hadoop之Sqoop

sqoop資料遷移1、簡介   sqoop是apache旗下一款“Hadoop和關係資料庫伺服器之間傳送資料”的工具。   匯入資料:MySQL,Oracle匯入資料到Hadoop的HDFS、HIVE、HBASE等資料儲存系統;   匯出資料:從Hadoop的檔案系統中匯出資料到關係資料庫 2、工作機制  

Hadoop之Hbase

1、什麼是Hbase   HBASE是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統,   hbase是列式的分散式資料庫   1.2、HBASE優勢:     1)線性擴充套件,隨著資料量增多可以通過節點擴充套件進行支撐     2)資料儲存在hdfs上,備份機制健全     3)通過zookeep

Springboot專案java -jar 啟動jar包引數

命令例項: nohup java -Xms500m -Xmx500m -Xmn250m -Xss256k -server -XX:+HeapDumpOnOutOfMemoryError -jar $JAR_PATH/test-0.0.1-SNAPSHOT.jar --spring.profile

Post方式與引數

定義和用法 enctype 屬性規定在傳送到伺服器之前應該如何對錶單資料進行編碼。 預設地,表單資料會編碼為 "application/x-www-form-urlencoded"。就是說,在傳送到伺服器之前,所有字元都會進行編碼(空格轉換為 "+" 加號,特殊符號轉換為 ASCII HEX 值