1. 程式人生 > >linux下輸入輸出重定向

linux下輸入輸出重定向

inux重定向是指修改原來預設的一些東西,對原來系統命令的預設執行方式進行改變,比如說簡單的我不想看到在顯示器的輸出而是希望輸出到某一檔案中就可以通過Linux重定向來進行這項工作。

  Linux預設輸入是鍵盤,輸出是顯示器。你可以用重定向來改變這些設定。比如用wc命令的時候本來是要手動輸入一篇文字來計算字元數的,用了重定向後可以直接把一個已經寫好的檔案用‘<’指向這條命令,就直接可以統計這個檔案的字元數等了。輸出也是一樣,你可以把螢幕輸出重定向到一個檔案裡,再到檔案裡去看結果。重定向操作符可以用來將命令輸入和輸出資料流從預設位置重定向到其他位置,其輸入或輸出資料流的位置稱為控制代碼;常見的控制代碼有三種,當然控制代碼可以自行擴充套件,一般的OS都提供類似的功能。控制代碼 控制代碼代號 控制代碼描述

  STDIN 0 鍵盤輸入

  STDOUT 1 輸出資訊到提示符視窗

  STDERR 2 輸出錯誤資訊到提示符視窗

  預設的 < 重定向輸入操作符是 0,而預設的 > 重定向輸出操作符是 1。鍵入 < 或 > 操作符之後,必須指定資料的讀寫位置,可以是檔名或其他現有的控制代碼。

  要指定重定向到現有控制代碼,請使用與 & 字元,後面接要重定向的控制代碼號(即 &控制代碼號)。

例如,下面的命令可以將控制代碼 2(即 STDERR)重定向到控制代碼 1(即 STDOUT):2>&1

  下表列出了可用於重定向輸入和輸出資料流的操作符:

  Linux重定向操作符 功能描述

  > 將命令輸出寫入檔案或裝置,而不是命令提示符或控制代碼

  < 從檔案而不是從鍵盤或控制代碼讀入命令輸入

  >> 將命令輸出新增到檔案末尾而不刪除檔案中已有的資訊

  >& 將一個控制代碼的輸出寫入到另一個控制代碼的輸入中

  <& 從一個控制代碼讀取輸入並將其寫入到另一個控制代碼輸出中

  | 從一個命令中讀取輸出並將其寫入另一個命令的輸入中;也稱為管道操作符

  現在我們回過頭來看看上面的那條語句mysh > mylog.txt 2>&1就可明白:

  > mylog.txt意思是將標準輸出重定向到mylog.txt,等價於mysh 1> mylog.txt;

  2 >& 1 意思是將錯誤輸出重定向到控制代碼1標準輸出;綜合起來就是mysh命令執行過程中產生的標準輸出和錯誤輸出都會被重定向到mylog.txt中;

  重定向的功能十分強大,有興趣的可以去嘗試各種不同的組合,看看前後位置變下會有什麼結果?

  某些時候我們可能並不希望記錄什麼標準輸出或者是錯誤輸出,那可以用mysh >null 2>null或者mysh >/dev/null 2>/dev/null;

  I/O重定向詳解

  1、 基本概念(這是理解後面的知識的前提,請務必理解)

  a、 I/O重定向通常與 FD有關,shell的FD通常為10個,即 0~9;

  b、 常用FD有3個,為0(stdin,標準輸入)、1(stdout,標準輸出)、2(stderr,標準錯誤輸出),預設與keyboard、monitor、monitor有關;

  c、 用 < 來改變讀進的資料通道(stdin),使之從指定的檔案讀進;

  d、 用 > 來改變送出的資料通道(stdout, stderr),使之輸出到指定的檔案;

  e、 0 是 < 的預設值,因此 < 與 0<是一樣的;同理,> 與 1> 是一樣的;

  f、 在IO重定向 中,stdout 與 stderr 的管道會先準備好,才會從 stdin 讀進資料;

  g、 管道“|”(pipe line):上一個命令的 stdout 接到下一個命令的 stdin;

  h、 tee 命令是在不影響原本 I/O 的情況下,將 stdout 複製一份到檔案去;

  i、 bash(ksh)執行命令的過程:分析命令-變數求值-命令替代(``和$( ))-重定向-萬用字元展開-確定路徑-執行命令;

  j、 ( ) 將 command group 置於 sub-shell 去執行,也稱 nested sub-shell,它有一點非常重要的特性是:繼承父shell的Standard input, output, and error plus any other open file descriptors。

  k、 exec 命令:常用來替代當前 shell 並重新啟動一個 shell,換句話說,並沒有啟動子 shell。使用這一命令時任何現有環境都將會被清除。exec 在對檔案描述符進行操作的時候,也只有在這時,exec 不會覆蓋你當前的 shell 環境。

  2、 基本IO

  cmd > file 把 stdout 重定向到 file 檔案中;

  cmd >> file 把 stdout 重定向到 file 檔案中(追加);

  cmd 1> fiel 把 stdout 重定向到 file 檔案中;

  cmd > file 2>&1 把 stdout 和 stderr 一起重定向到 file 檔案中;

  cmd 2> file 把 stderr 重定向到 file 檔案中;

  cmd 2>> file 把 stderr 重定向到 file 檔案中(追加);

  cmd >> file 2>&1 把 stderr 和 stderr 一起重定向到 file 檔案中(追加);

  cmd < file >file2 cmd 命令以 file 檔案作為 stdin,以 file2 檔案作為 stdout;

  cat <>file 以讀寫的方式開啟 file;

  cmd < file cmd 命令以 file 檔案作為 stdin;

  cmd << delimiter Here document,從 stdin 中讀入,直至遇到 delimiter 分界符。

  3、 進階IO

  >&n 使用系統呼叫 dup (2) 複製檔案描述符 n 並把結果用作標準輸出;

  <&n 標準輸入複製自檔案描述符 n;

  <&- 關閉標準輸入(鍵盤);

  >&- 關閉標準輸出;

  n<&- 表示將 n 號輸入關閉;

  n>&- 表示將 n 號輸出關閉;

  上述所有形式都可以前導一個數字,此時建立的檔案描述符由這個數字指定而不是預設的 0 或 1。如:

  ... 2>file 執行一個命令並把錯誤輸出(檔案描述符 2)定向到 file。

  ... 2>&1 執行一個命令並把它的標準輸出和輸出合併。(嚴格的說是通過複製檔案描述符 1 來建立檔案描述符 2 ,但效果通常是合併了兩個流。)

  我們對 2>&1詳細說明一下 :2>&1 也就是 FD2=FD1 ,這裡並不是說FD2 的值 等於FD1的值,因為 > 是改變送出的資料通道,也就是說把 FD2 的 “資料輸出通道” 改為 FD1 的 “資料輸出通道”。如果僅僅這樣,這個改變好像沒有什麼作用,因為 FD2 的預設輸出和 FD1的預設輸出本來都是 monitor,一樣的!但是,當 FD1 是其他檔案,甚至是其他 FD 時,這個就具有特殊的用途了。請大家務必理解這一點。

  exec 0exec 1>outfilename # 開啟檔案outfilename作為stdout。

  exec 2>errfilename # 開啟檔案 errfilename作為 stderr。

  exec 0<&- # 關閉 FD0。

  exec 1>&- # 關閉 FD1。

  exec 5>&- # 關閉 FD5。

1    COMMAND_OUTPUT >
   2       # 重定向stdout到一個檔案.
   3       # 如果沒有這個檔案就建立, 否則就覆蓋.
   4 
   5       ls -lR > dir-tree.list
   6       # 建立一個包含目錄樹列表的檔案.
   7 
   8    : > filename
   9       # > 會把檔案"filename"截斷為0長度.
  10       # 如果檔案不存在, 那麼就建立一個0長度的檔案(與'touch'的效果相同).
  11       # : 是一個佔位符, 不產生任何輸出.
  12 
  13    > filename    
  14       # > 會把檔案"filename"截斷為0長度.
  15       # 如果檔案不存在, 那麼就建立一個0長度的檔案(與'touch'的效果相同).
  16       # (與上邊的": >"效果相同, 但是在某些shell下可能不能工作.)
  17 
  18    COMMAND_OUTPUT >>
  19       # 重定向stdout到一個檔案.
  20       # 如果檔案不存在, 那麼就建立它, 如果存在, 那麼就追加到檔案後邊.
  21 
  22 
  23       # 單行重定向命令(只會影響它們所在的行):
  24       # --------------------------------------------------------------------
  25 
  26    1>filename
  27       # 重定向stdout到檔案"filename".
  28    1>>filename
  29       # 重定向並追加stdout到檔案"filename".
  30    2>filename
  31       # 重定向stderr到檔案"filename".
  32    2>>filename
  33       # 重定向並追加stderr到檔案"filename".
  34    &>filename
  35       # 將stdout和stderr都重定向到檔案"filename".
  36 
  37       #==============================================================================
  38       # 重定向stdout, 一次一行.
  39       LOGFILE=script.log
  40 
  41       echo "This statement is sent to the log file, \"$LOGFILE\"." 1>$LOGFILE
  42       echo "This statement is appended to \"$LOGFILE\"." 1>>$LOGFILE
  43       echo "This statement is also appended to \"$LOGFILE\"." 1>>$LOGFILE
  44       echo "This statement is echoed to stdout, and will not appear in \"$LOGFILE\"."
  45       # 每行過後, 這些重定向命令會自動"reset".
  46 
  47 
  48 
  49       # 重定向stderr, 一次一行.
  50       ERRORFILE=script.errors
  51 
  52       bad_command1 2>$ERRORFILE       #  錯誤訊息發到$ERRORFILE中.
  53       bad_command2 2>>$ERRORFILE      #  錯誤訊息新增到$ERRORFILE中.
  54       bad_command3                    #  錯誤訊息echo到stderr,
  55                                       #+ 並且不出現在$ERRORFILE中.
  56       # 每行過後, 這些重定向命令也會自動"reset".
  57       #==============================================================================
  58 
  59 
  60 
  61    2>&1
  62       # 重定向stderr到stdout.
  63       # 得到的錯誤訊息與stdout一樣, 傳送到一個地方.
  64 
  65    i>&j
  66       # 重定向檔案描述符i 到 j.
  67       # 指向i檔案的所有輸出都發送到j中去.
  68 
  69    >&j
  70       # 預設的, 重定向檔案描述符1(stdout)到 j.
  71       # 所有傳遞到stdout的輸出都送到j中去.
  72 
  73    0< FILENAME
  74     < FILENAME
  75       # 從檔案中接受輸入.
  76       # 與">"是成對命令, 並且通常都是結合使用.
  77       #
  78       # grep search-word <filename
  79 
  80 
  81    [j]<>filename
  82       # 為了讀寫"filename", 把檔案"filename"開啟, 並且分配檔案描述符"j"給它.
  83       # 如果檔案"filename"不存在, 那麼就建立它.
  84       # 如果檔案描述符"j"沒指定, 那預設是fd 0, stdin.
  85       #
  86       # 這種應用通常是為了寫到一個檔案中指定的地方.
  87       echo 1234567890 > File    # 寫字串到"File".
  88       exec 3<> File             # 開啟"File"並且給它分配fd 3.
  89       read -n 4 <&3             # 只讀4個字元.
  90       echo -n . >&3             # 寫一個小數點.
  91       exec 3>&-                 # 關閉fd 3.
  92       cat File                  # ==> 1234.67890
  93       # 隨機儲存.
  94 
  95 
  96 
  97    |
  98       # 管道.
  99       # 通用目的的處理和命令鏈工具.
 100       # 與">"很相似, 但是實際上更通用.
 101       # 對於想將命令, 指令碼, 檔案和程式串連起來的時候很有用.
 102       cat *.txt | sort | uniq > result-file
 103       # 對所有的.txt檔案的輸出進行排序, 並且刪除重複行,
 104       # 最後將結果儲存到"result-file"中.

可以將輸入輸出重定向和(或)管道的多個例項結合到一起寫在一行上.
1 command < input-file > output-file
   2 
   3 command1 | command2 | command3 > output-file

可以將多個輸出流重定向到一個檔案上.

1 ls -yz >> command.log 2>&1
   2 #  將錯誤選項"yz"的結果放到檔案"command.log"中.
   3 #  因為stderr被重定向到這個檔案中,
   4 #+ 所有的錯誤訊息也就都指向那裡了.
   5 
   6 #  注意, 下邊這個例子就不會給出相同的結果.
   7 ls -yz 2>&1 >> command.log
   8 #  輸出一個錯誤訊息, 但是並不寫到檔案中.
   9 
  10 #  如果將stdout和stderr都重定向,
  11 #+ 命令的順序會有些不同.

exec <filename 命令會將stdin重定向到檔案中. 從這句開始, 後邊的輸入就都來自於這個檔案了, 而不是標準輸入了(通常都是鍵盤輸入). 這樣就提供了一種按行讀取檔案的方法, 並且可以使用sed 和/或 awk來對每一行進行分析.

使用exec重定向標準輸入

1 #!/bin/bash
   2 # 使用'exec'重定向標準輸入.
   3 
   4 
   5 exec 6<&0          # 將檔案描述符#6與stdin連結起來.
   6                    # 儲存了stdin.
   7 
   8 exec < data-file   # stdin被檔案"data-file"所代替.
   9 
  10 read a1            # 讀取檔案"data-file"的第一行.
  11 read a2            # 讀取檔案"data-file"的第二行.
  12 
  13 echo
  14 echo "Following lines read from file."
  15 echo "-------------------------------"
  16 echo $a1
  17 echo $a2
  18 
  19 echo; echo; echo
  20 
  21 exec 0<&6 6<&-
  22 #  現在將stdin從fd #6中恢復, 因為剛才我們把stdin重定向到#6了,
  23 #+ 然後關閉fd #6 ( 6<&- ), 好讓這個描述符繼續被其他程序所使用.
  24 #
  25 # <&6 6<&-    這麼做也可以.
  26 
  27 echo -n "Enter data  "
  28 read b1  # 現在"read"已經恢復正常了, 就是從stdin中讀取.
  29 echo "Input read from stdin."
  30 echo "----------------------"
  31 echo "b1 = $b1"
  32 
  33 echo
  34 
  35 exit 0
使用exec來重定向stdout
1 #!/bin/bash
   2 # reassign-stdout.sh
   3 
   4 LOGFILE=logfile.txt
   5 
   6 exec 6>&1           # 將fd #6與stdout相連線.
   7                     # 儲存stdout.
   8 
   9 exec > $LOGFILE     # stdout就被檔案"logfile.txt"所代替了.
  10 
  11 # ----------------------------------------------------------- #
  12 # 在這塊中所有命令的輸出就都發向檔案 $LOGFILE.
  13 
  14 echo -n "Logfile: "
  15 date
  16 echo "-------------------------------------"
  17 echo
  18 
  19 echo "Output of \"ls -al\" command"
  20 echo
  21 ls -al
  22 echo; echo
  23 echo "Output of \"df\" command"
  24 echo
  25 df
  26 
  27 # ----------------------------------------------------------- #
  28 
  29 exec 1>&6 6>&-      # 恢復stdout, 然後關閉檔案描述符#6.
  30 
  31 echo
  32 echo "== stdout now restored to default == "
  33 echo
  34 ls -al
  35 echo
  36 
  37 exit 0
 使用exec在同一指令碼中重定向stdin和stdout
1 #!/bin/bash
   2 # upperconv.sh
   3 # 將一個指定的輸入檔案轉換為大寫.
   4 
   5 E_FILE_ACCESS=70
   6 E_WRONG_ARGS=71
   7 
   8 if [ ! -r "$1" ]     # 判斷指定的輸入檔案是否可讀?
   9 then
  10   echo "Can't read from input file!"
  11   echo "Usage: $0 input-file output-file"
  12   exit $E_FILE_ACCESS
  13 fi                   #  即使輸入檔案($1)沒被指定
  14                      #+ 也還是會以相同的錯誤退出(為什麼?).
  15 
  16 if [ -z "$2" ]
  17 then
  18   echo "Need to specify output file."
  19   echo "Usage: $0 input-file output-file"
  20   exit $E_WRONG_ARGS
  21 fi
  22 
  23 
  24 exec 4<&0
  25 exec < $1            # 將會從輸入檔案中讀取.
  26 
  27 exec 7>&1
  28 exec > $2            # 將寫到輸出檔案中.
  29                      # 假設輸出檔案是可寫的(新增檢查?).
  30 
  31 # -----------------------------------------------
  32     cat - | tr a-z A-Z   # 轉換為大寫.
  33 #   ^^^^^                # 從stdin中讀取.Reads from stdin.
  34 #           ^^^^^^^^^^   # 寫到stdout上.
  35 # 然而, stdin和stdout都被重定向了.
  36 # -----------------------------------------------
  37 
  38 exec 1>&7 7>&-       # 恢復 stout.
  39 exec 0<&4 4<&-       # 恢復 stdin.
  40 
  41 # 恢復之後, 下邊這行程式碼將會如期望的一樣列印到stdout上.
  42 echo "File \"$1\" written to \"$2\" as uppercase conversion."
  43 
  44 exit 0

I/O重定向是一種避免可怕的子shell中不可存取變數問題的方法.

避免子shell
1 #!/bin/bash
   2 # avoid-subshell.sh
   3 # Matthew Walker提出的建議.
   4 
   5 Lines=0
   6 
   7 echo
   8 
   9 cat myfile.txt | while read line;  #  (譯者注: 管道會產生子shell)
  10                  do {
  11                    echo $line
  12                    (( Lines++ ));  #  增加這個變數的值
  13                                    #+ 但是外部迴圈卻不能存取.
  14                                    #  子shell問題.
  15                  }
  16                  done
  17 
  18 echo "Number of lines read = $Lines"     # 0
  19                                          # 錯誤!
  20 
  21 echo "------------------------"
  22 
  23 
  24 exec 3<> myfile.txt
  25 while read line <&3
  26 do {
  27   echo "$line"
  28   (( Lines++ ));                   #  增加這個變數的值
  29                                    #+ 現在外部迴圈就可以存取了.
  30                                    #  沒有子shell, 現在就沒問題了.
  31 }
  32 done
  33 exec 3>&-
  34 
  35 echo "Number of lines read = $Lines"     # 8
  36 
  37 echo
  38 
  39 exit 0
  40 
  41 # 下邊這些行是指令碼的結果, 指令碼是不會走到這裡的.
  42 
  43 $ cat myfile.txt
  44 
  45 Line 1.
  46 Line 2.
  47 Line 3.
  48 Line 4.
  49 Line 5.
  50 Line 6.
  51 Line 7.
  52 Line 8.