2. 程式人生 > >Linux常用命令之sed(2)

Linux常用命令之sed(2)

阿新 • • 發佈：2018-03-09
代碼 並不會 獨立 command 不存在 chan posix 通用 示例

Sed

  • SED的英文全稱是 Stream EDitor，它是一個簡單而強大的文本解析轉換工具，在1973-1974年期間由貝爾實驗室的Lee E. McMahon開發，今天，它已經運行在所有的主流操作系統上了。
  • McMahon創建了一個通用的行編輯器，最終變成為了SED。SED的很多語法和特性都借鑒了ed編輯器。設計之初，它就已經支持正則表達式，SED可以從文件中接受類似於管道的輸入，也可以接受來自標準輸入流的輸入。
  • SED由自由軟件基金組織（FSF）開發和維護並且隨著GNU/Linux進行分發，因此，通常它也稱作 GNU SED。對於新手來說，SED的語法看起來可能有些神秘，但是，一旦掌握了它的語法，你就可以只用幾行代碼去解決非常復雜的任務，這就是SED的魅力所在。

DESCRIPTION

工作流

  1. 讀取： SED從輸入流（文件，管道或者標準輸入）中讀取一行並且存儲到它叫做 模式空間（pattern buffer） 的內部緩沖區
  2. 執行： 默認情況下，所有的SED命令都在模式空間中順序的執行，除非指定了行的地址，否則SED命令將會在所有的行上依次執行
  3. 顯示： 發送修改後的內容到輸出流。在發送數據之後，模式空間將會被清空。
  4. 在文件所有的內容都被處理完成之前，上述過程將會重復執行

註意

  • 模式空間 （pattern buffer） 是一塊活躍的緩沖區，在sed編輯器執行命令時它會保存待檢查的文本
  • 默認情況下，所有的SED命令都是在模式空間中執行，因此輸入文件並不會發生改變
  • 還有另外一個緩沖區叫做 保持空間 （hold buffer），在處理模式空間中的某些行時，可以用保持空間來臨時保存一些行。在每一個循環結束的時候，SED將會移除模式空間中的內容，但是該緩沖區中的內容在所有的循環過程中是持久存儲的。SED命令無法直接在該緩沖區中執行，因此SED允許數據在 保持空間 和 模式空間之間切換
  • 初始情況下，保持空間 和 模式空間 這兩個緩沖區都是空的
  • 如果沒有提供輸入文件的話，SED將會從標準輸入接收請求
  • 如果沒有提供地址範圍的話，默認情況下SED將會對所有的行進行操作

語法

sed [-n] [-e] 'command(s)' files 
sed
 
 [-n] -f scriptfile files
  • 第一種方式在命令行中使用單引號指定要執行的命令
  • 第二種方式則指定了包含SED命令的腳本文件。

當然，這兩種方法也可以同時使用，SED提供了很多參數用於控制這種行為。
讓我們看看如何指定多個SED命令。SED提供了delete命令用於刪除某些行，這裏讓我們刪除第一行，第二行和第五行：

$ cat books.txt 
1) A Storm of Swords, George R. R. Martin, 1216 
2) The Two Towers, J. R. R. Tolkien, 352 
3) The Alchemist, Paulo Coelho, 197 
4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
5) The Pilgrimage, Paulo Coelho, 288 
6) A Game of Thrones, George R. R. Martin, 864

使用Sed移除指定的行，刪除三行，使用-e選項指定三個獨立的命令

# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 6) A Game of Thrones, George R. R. Martin, 864
sed -e '1d' -e '2d' -e '5d' books.txt

將多個SED命令寫在一個文本文件中，然後將該文件作為SED命令的參數，SED可以對模式空間中的內容執行文件中的每一個命令

echo -e "1d\n2d\n5d" > commands.txt 
# 1d
# 2d
# 5d
cat commands.txt
# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 6) A Game of Thrones, George R. R. Martin, 864
sed -f commands.txt books.txt

標準選項

-n

  • 默認情況下，模式空間中的內容在處理完成後將會打印到標準輸出，該選項用於阻止該行為

    # 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '' books.txt

    -e

  • 指定要執行的命令，使用該參數，我們可以指定多個命令

    # 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
sed -n -e '1p' -e '2p' -e '3p' books.txt

-f

  • 指定包含要執行的命令的腳本文件

GNU選項

-n， –quiet, –slient

  • 與標準的-n選項相同

-e script，–expression=script

  • 與標準的-e選項相同

-f script-file， –file=script-file

  • 與標準的-f選項相同

  • 如果提供該選項的話，在編輯的文件是符號鏈接時，SED將會跟隨鏈接

    -i[SUFFIX]，–in-place[=SUFFIX]

  • 該選項用於對當前文件進行編輯，如果提供了SUFFIX的話，將會備份原始文件，否則將會覆蓋原始文件

-l N， –line-lenght=N

  • 該選項用於設置行的長度為N個字符

–posix

  • 該選項禁用所有的GNU擴展

-r，–regexp-extended

  • 該選項將啟用擴展的正則表達式

-u， –unbuffered

  • 指定該選項的時候，SED將會從輸入文件中加載最少的數據，並且更加頻繁的刷出到輸出緩沖區。在編輯tail -f命令的輸出，你不希望等待輸出的時候該選項是非常有用的。

-z，–null-data

  • 默認情況下，SED對每一行使用換行符分割，如果提供了該選項的話，它將使用NULL字符分割行

模式空間和保持空間

模式空間

$ vim books.txt 
1) A Storm of Swords, George R. R. Martin, 1216 
2) The Two Towers, J. R. R. Tolkien, 352 
3) The Alchemist, Paulo Coelho, 197 
4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
5) The Pilgrimage, Paulo Coelho,288 
6) A Game of Thrones, George R. R. Martin, 864

執行p命令

$ sed 'p' books.txt
1) A Storm of Swords, George R. R. Martin, 1216 
1) A Storm of Swords, George R. R. Martin, 1216 
2) The Two Towers, J. R. R. Tolkien, 352 
2) The Two Towers, J. R. R. Tolkien, 352 
3) The Alchemist, Paulo Coelho, 197 
3) The Alchemist, Paulo Coelho, 197 
4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
5) The Pilgrimage, Paulo Coelho, 288 
5) The Pilgrimage, Paulo Coelho, 288 
6) A Game of Thrones, George R. R. Martin, 864 
6) A Game of Thrones, George R. R. Martin, 864

被顯示了兩次!

默認情況下，SED將會輸出模式空間中的內容，另外，我們的命令中包含了輸出命令p，因此每一行被打印兩次。但是不要擔心，SED提供了-n參數用於禁止自動輸出模式空間的每一行的行為

$ sed -n 'p' books.txt 
1) A Storm of Swords, George R. R. Martin, 1216 
2) The Two Towers, J. R. R. Tolkien, 352 
3) The Alchemist, Paulo Coelho, 197 
4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
5) The Pilgrimage, Paulo Coelho, 288 
6) A Game of Thrones, George R. R. Martin, 864

行尋址

默認情況下，在SED中使用的命令會作用於文本數據的所有行。如果只想將命令作用於特定的行或者某些行，則需要使用 行尋址 功能。

  • 數字形式表示的行區間
  • 文本模式來過濾行
[address]command
數字方式的行尋址
# 3) The Alchemist, Paulo Coelho, 197 
sed -n '3p' books.txt
#2---5
sed -n '2,5 p' books.txt 
# 6) A Game of Thrones, George R. R. Martin, 864
sed -n '$ p' books.txt 
# 第三行到最後一行
sed -n '3,$ p' books.txt
# M, +n 將會打印出從第M行開始的下n行
sed -n '2,+4 p' books.txt
# M~N的形式，它告訴SED應該處理M行開始的每N行,50~5匹配行號50，55，60，65
# 奇數行
sed -n '1~2 p' books.txt 
# 偶數行
sed -n '2~2 p' books.txt
文本模式過濾器
/pattern/command

必須用正斜線將要指定的pattern封起來。sed編輯器會將該命令作用到包含指定文本模式的行上。

# 3) The Alchemist, Paulo Coelho, 197 
# 5) The Pilgrimage, Paulo Coelho, 288 
sed -n '/Paulo/ p' books.txt

# 第一次匹配到Alchemist開始輸出，直到第5行為止。
# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
sed -n '/Alchemist/, 5 p' books.txt

# 使用逗號（,）操作符指定匹配多個匹配的模式。下列的示例將會輸出Two和Pilgrimage之間的所有行
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
sed -n '/Two/, /Pilgrimage/ p' books.txt

# 第一次Two出現的位置開始輸出接下來的4行
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed -n '/Two/, +4 p' books.txt

保持空間

在處理模式空間中的某些行時，可以用保持空間來臨時保存一些行。有5條命令可用來操作保持空間

  • h 將模式空間復制到保持空間
  • H 將模式空間附加到保持空間
  • g 將保持空間復制到模式空間
  • G 將保持空間附加到模式空間
  • x 交換模式空間和保持空間的內容
# 1) A Storm of Swords, George R. R. Martin, 1216 , 2) The Two Towers, J. R. R. Tolkien, 352 
# - 3) The Alchemist, Paulo Coelho, 197 , 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# - 5) The Pilgrimage, Paulo Coelho, 288 , 6) A Game of Thrones, George R. R. Martin, 864
sed -n 'h;n;H;x;s/\n/, /;/Paulo/!b Print; s/^/- /; :Print;p' books.txt

刪除命令 d

[address1[,address2]]d

address1和address2是開始和截止地址，它們可以是行號或者字符串匹配模式，這兩種地址都是可選的。

#
sed 'd' books.txt

# 移除第四行
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '4d' books.txt 

# 移除N1到N2行
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '2, 4 d' books.txt   

# 除所有作者為Paulo Coelho的書籍
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '/Paulo Coelho/d' books.txt 

# 移除所有以Storm和Fellowship開頭的行
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '/Storm/,/Fellowship/d' books.txt

文件寫入命令 w

[address1[,address2]]w file

w指定是寫命令， file指的是存儲文件內容的文件名。使用file操作符的時候要小心，當提供了文件名但是文件不存在的時候它會自動創建，如果已經存在的話則會覆蓋原文件的內容。

# 創建文件books.txt的副本，在 w 和 file 之間只能有一個空格
sed -n 'w books.bak' books.txt
#
diff books.txt books.bak
# 會存儲文件中的偶數行到另一個文件
sed -n '2~2 w zing.txt' books.txt 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 6) A Game of Thrones, George R. R. Martin, 864
cat zing.txt 
# 存儲所有獨立作者的書到單獨的文件
sed -n -e '/Martin/ w Martin.txt' -e '/Paulo/ w Paulo.txt' -e '/Tolkien/ w Tolkien.txt' books.txt  
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 6) A Game of Thrones, George R. R. Martin, 864
cat Martin.txt
# 3) The Alchemist, Paulo Coelho, 197 
# 5) The Pilgrimage, Paulo Coelho, 288 
cat Paulo.txt
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
cat Tolkien.txt
追加命令 a
[address]a\ 
Append text
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 7) Adultry, Paulo Coelho, 234
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '4 a 7) Adultry, Paulo Coelho, 234' books.txt

# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
# 7) Adultry, Paulo Coelho, 234
sed '$ a 7) Adultry, Paulo Coelho, 234' books.txt

# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 7) Adultry, Paulo Coelho, 234
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '/The Alchemist/ a 7) Adultry, Paulo Coelho, 234' books.txt
行替換命令 c

SED通過 c 提供了 change 和 replace 命令，該命令幫助我們使用新文本替換已經存在的行，當提供行的地址範圍時，所有的行都被作為一組被替換為單行文本，下面是該命令的語法

[address1[,address2]]c\ 
Replace text
# 替換文本中的第三行為新的內容
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) Adultry, Paulo Coelho, 324
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '3 c 3) Adultry, Paulo Coelho, 324' books.txt

# 接受模式作為地址
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) Adultry, Paulo Coelho, 324
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864
sed '/The Alchemist/ c 3) Adultry, Paulo Coelho, 324' books.txt

# 將第4-6行內容替換為單行
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 4) Adultry, Paulo Coelho, 324
sed '4, 6 c 4) Adultry, Paulo Coelho, 324' books.txt
插入命令 i

插入命令與追加命令類似，唯一的區別是插入命令是在匹配的位置前插入新的一行。

[address]i\ 
Insert text
# 1) A Storm of Swords, George R. R. Martin, 1216 
# 2) The Two Towers, J. R. R. Tolkien, 352 
# 3) The Alchemist, Paulo Coelho, 197 
# 7) Adultry, Paulo Coelho, 324
# 4) The Fellowship of the Ring, J. R. R. Tolkien, 432 
# 5) The Pilgrimage, Paulo Coelho, 288 
# 6) A Game of Thrones, George R. R. Martin, 864

Linux常用命令之sed(2)

相關推薦

Linux常用命令之sed(2)

代碼 並不會 獨立 command 不存在 chan posix 通用 示例 Sed SED的英文全稱是 Stream EDitor，它是一個簡單而強大的文本解析轉換工具，在1973-1974年期間由貝爾實驗室的Lee E. McMahon開發，今天，它已經運行在所有的

Linux常用命令之sed

UC perm wid cross 每次 orm separate 當前 命令操作 sed NAME sed - stream editor for filtering and transforming text 文本流編輯，sed是一個“非交互式的”面向字符流的編輯器

Linux下常用命令之sed學習總結

linux sed sed命令 正則表達式 sed總結 Sed功能說明：Sed是linux下一個強大的文本文件處理工具，通過對文件增加、刪除、查找、查詢操作，配合正則表達式以實現工作中的各種需求。同時也是一名運維人員必須掌握的核心技能。---------------------------

[Linux]-Linux常用命令之文件解壓

壓縮 com nbsp linux常用命令 inux 不同 gunzip gzip all 不壓縮方式壓縮的文件需要不同的命令來解壓縮,下面是Linux的各種文件解壓命令。 對於.tar結尾的文件： tar -xf 對於.gz結尾的文件 ： gzip -d all.

Linux系列教程（九）——Linux常用命令之網絡和關機重啟命令

route 註意 端口號 post rac pos 名稱 window ebo 　　前一篇博客我們講解了Linux壓縮和解壓縮命令，使用的最多的是tar命令，因為現在很多源碼包都是.tar.gz的格式，通過 tar -zcvf 能完成解壓。然後對於.zip格式的文件，使用g

轉:linux常用命令之wget命令的使用

ping inux 斷點續傳 div htm pac 地址 .cn 密碼 一、介紹 Linux系統下載文件工具，用來從指定的URL下載文件 二、使用方法 1 2 3 4 5 6 7 8 語法:wget [參數] [URL地址] 選項: -c接著下載沒

linux常用命令之網絡命令

pretty linu mysqld see ethernet ice ble arr warn 發現網絡細節的命令:netstat ifconfig ping -b 原創 2016年07月19日 09:33:44 (1)netstat -i: 提供網絡接口的

Linux常用命令之系統關機命令

系統機關命令: 命令名稱：shutdown 命令路徑：/usr/sbin/shutdown 執行許可權：root功能描述：關機 語法：     shutdown Ex:      shutdown -h no

Linux常用命令之網路通訊命令

網路通訊命令 命令名稱：write 命令路徑：/usr/bin/write 執行許可權：所有使用者功能描述：向另外一個使用者發信息，以ctrl+D作為結束 語法：     write    <使用者名稱> Ex:&n

Linux常用命令之檔案搜尋命令

檔案搜尋命令 命令名稱：which 命令路徑：/usr/bin/which 執行許可權：所有使用者功能描述：顯示系統命令所在目錄 語法：while [命令名稱] Ex:    which   ls 相似命令:whereis [檔

Linux常用命令之建立使用者

建立使用者命令     建立使用者:    useradd  使用者名稱    (系統管理員可用此命令)    設定密碼    passwd  使用者名稱 &

Atitit 微信小程式的部署流程文件 目錄 1.1. 設定https 參照 Atitit tomcat linux 常用命令 1 1.2. 增加證書 騰訊雲和阿里雲都可申請免費證書，但要一天

Atitit 微信小程式的部署流程文件   目錄 1.1. 設定https  參照 Atitit tomcat linux 常用命令 1 1.2. 增加證書   騰訊雲和阿里雲都可申請免費證書，但要一天稽核  可以淘寶購買證書快速寫

Linux常用命令之筆記

一、Linux的目錄結構： 1./：根目錄；一般根目錄下之存放目錄，不存放檔案。 2./bin;/usr/bin(binaries):存放二進位制的可執行檔案。如常用命令ls\tar\mv\cat等。 3./boot;放置linux系統啟動時用到的一些檔案。 4./dev(dev

Linux基本命令之sed

語法格式sed [options] [sed-commands] [input-file]選項 [sed命令] [輸入檔案] 說明1、sed-commands既可以是單個sed命令，也可以是sed命令組合2、input-file（輸入檔案）是可選項，sed還能夠從標準輸入，如：管道獲取輸入 命令流程 s

Linux常用命令之cd

1,cd 命令 使用cd命令可以改變當前工作目錄 首先介紹三種切到當前使用者的主目錄的命令 [root@localhost bin]# cd /usr/local/bin/ [root@localhost bin]# pwd /usr/local/bin

Linux常用命令之ls

這篇文章主要介紹ls(list)的主要用法. ls命令說明: 以.開頭的檔案為隱藏檔案,需要-a引數才能顯示 . 代表當前目錄 ..代表上一級目錄 引數 含義 -a 顯示指定目

Linux常用命令之rm/cp/mv

今天學習了三條命令,現在總結一下: rm cp mv rm 檔名 remove的簡寫,功能:刪除檔案且不經過回收站永久刪除 拓展命令 rm -r ***    //刪除目錄,這個命令十分常用,cp中複製目錄同理 rm -f ***     //強制刪除即使沒有的

Linux常用命令之新手上路 （一）

個人說明：對於習慣了Windows平臺的Linux初學者來說，剛接觸Linux時是比較懵逼的，為了幫助和我一樣的小白更加快速的入門，我打算養成學習筆記的習慣，將自己在學習Linux和Java的所學所得都記錄在部落格上。 新手入門8個常見的任務和常用的命令     1、檢視當

經驗分享（11）linux常用命令之文字替換

linux常用命令之文字替換 1 vi vi test_file :%s/h/h1/g 註釋：全文替換，將h替換為h1 :1,4s/h/h1/g 註釋：將第1行到第4行的h替換為h1 :%s/\n/,/g 註釋：將換行符替換為, 2 sed s

Linux基礎命令之sed用法

sed ：流編輯器     1.sed：Stream Editor   行處理工具，流編輯器  對檔案內容逐行進行處理呼叫操作並顯示到STDOUT       &nbs