2. 程式人生 > >01-shell文字處理三劍客之grep

01-shell文字處理三劍客之grep

阿新 • • 發佈：2018-12-05

開篇：哈嘍，今天我想寫寫shell程式設計，打算平均一天一篇吧，這樣一個月後就可以進步比較多。
先從shell文字處理三劍客grep、sed、awk開始。聽說啊，要是我不會這個命令，就不好意思說自己會shell程式設計。

1 grep是什麼意思？

grep: Global search REgular expression and Print out the line.
文字搜尋工具，根據使用者指定的“模式（pattern）”對目標文字進行過濾，顯示被模式匹配到的行。
嘿嘿，我覺得學習grep，倒不如說是在學習模式匹配，也就是說正則表示式。
我們先來簡單實驗一下grep的用法：

[root@hadoop1 hadoop]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
 

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System
 
 message bus:/:/sbin/nologin
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin
rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin
avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
haldaemon:x:68:68:HAL daemon:/:/sbin/nologin
gdm:x:42:42::/var/lib/gdm:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
saslauth:x:498:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
itcast01:x:500:500:itcast01:/home/itcast01:/bin/bash
hadoop:x:501:501::/home/hadoop:/bin/bash
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/bash
[root@hadoop1 hadoop]# cat /etc/passwd |grep root
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@hadoop1 hadoop]# cat /etc/passwd |grep --color root
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@hadoop1 hadoop]#

2 正則表示式
grep雖簡單，但是模式匹配不簡單呀，接下來學習的都是正則表示式。學正則表示式有什麼好處？其實我們做大資料的話，要進行資料清洗，或者爬蟲等等，都要用正則表示式，用處還是大大的。
正則表示式：由一類字元書寫的模式，其中有些字元不表示字元的字面意義，而是表示控制或通配的功能；
同一個元字元所表達的含義可以不一樣，依此分為兩類：基礎正則表示式和擴充套件正則表示式。一定要明確你所寫的是屬於基礎正則表示式還是擴充套件正則表示式。
寫模式匹配一定要加單引號’ ‘,比如grep –color ‘r..t’ /etc/passwd

[root@hadoop1 hadoop]# grep --color 'r..t' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@hadoop1 hadoop]#

2.1 字元匹配
.：匹配任意單個字元
[]：匹配指定集合中的任意單個字元
[[:digit:]], [0-9]
[[:lower:]], [a-z]
[[:upper:]], [A-Z]
[[:alpha:]], [a-zA-Z]
[[:alnum:]], [0-9a-zA-Z]
[[:space:]]
[[:punct:]]

[[email protected] shelltest]# grep --color 'abcdef[[:digit:]][[:digit:]][0-9]' test
abcdef123
[[email protected] shelltest]# grep --color 'abcdef[[:digit:]]' test
abcdef123
[[email protected] shelltest]# grep --color 'abc' test
abcdef123
[[email protected] shelltest]# grep -o --color 'abc' test
abc
[[email protected] shelltest]#

[^]：匹配指定集合外的任意單個字元

[root@hadoop1 shelltest]# grep --color 'abcdef[^[:digit:]]' test
[root@hadoop1 shelltest]# 
[root@hadoop1 shelltest]# grep --color 'xielaoshi[^a-z]' test
xielaoshi121314
xiexiexielaoshi133
[root@hadoop1 shelltest]#

2.2匹配次數：
用於對其前面緊鄰的字元所能夠出現的次數作出限定。語法如下：
*: 匹配其前面的字元任意次，0,1或多次；
例如：grep ‘x*y’
xy, xxy, xxxy, y
\?：匹配其前面的字元0次或1次；
例如：grep ‘x\?y’
xy, xxy, y, xxxxxy, aby
+: 匹配其前面的字元出現至少1次；
{m}: 匹配其前面的字元m次；
例如：grep ‘x{2}y’
xy, xxy, y, xxxxxy, aby
{m,n}：匹配其前面的字元至少m次，至多n次；
例如: grep ‘x{2,4}y’
xy, xxy, y, xxxxxxy, aby
grep ‘x{0,4}y’
xy, xxy, y, xxxxxxxxxy, aby
grep ‘x{2,}y’
xy, xxy, y, xxxxxy
.*: 匹配任意長度的任意字元

實驗一下：

[root@hadoop1 shelltest]# vi test 
[root@hadoop1 shelltest]# cat test 
xielaoshi121314
xiexiexielaoshi133
xie123laoshi
xielaoshi
abcdef123

xy
xxy
xxxxy
y
aby
[root@hadoop1 shelltest]# grep --color 'x*y' test
xy
xxy
xxxxy
y
aby
[root@hadoop1 shelltest]# 
[root@hadoop1 shelltest]# grep --color 'x\+y' test
xy
xxy
xxxxy
[root@hadoop1 shelltest]# grep --color 'x\{2\}y' test
xxy
xxxxy
[root@hadoop1 shelltest]# grep --color 'x\{0,4\}y' test
xy
xxy
xxxxy
y
aby
[root@hadoop1 shelltest]# grep --color 'x\{2,\}y' test
xxy
xxxxy
[root@hadoop1 shelltest]# grep --color 'x.*i' test
xielaoshi121314
xiexiexielaoshi133
xie123laoshi
xielaoshi
[root@hadoop1 shelltest]#

如果你跟著敲命令，會不會感覺“\”不知道啥意思？其實它就是轉義字元。

2.3 位置錨定：

^: 行首錨定
        寫在模式的最左側
$: 行尾錨定
        寫在模式的最右側
^$: 空白行
\<: 詞首錨定, \b
        出現在要查詢的單詞模式的左側；\<char
\>：詞尾錨定, \b
        出現在要查詢的單詞模式的右側；char\>
\<pattern\>: 匹配單詞

[root@hadoop1 shelltest]# grep --color '\<r' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin
pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
[root@hadoop1 shelltest]# grep --color '\<ha' /etc/passwd
halt:x:7:0:halt:/sbin:/sbin/halt
haldaemon:x:68:68:HAL daemon:/:/sbin/nologin
hadoop:x:501:501::/home/hadoop:/bin/bash
[root@hadoop1 shelltest]# grep --color 'tor\>' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
[root@hadoop1 shelltest]# grep --color '\<root\>' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@hadoop1 shelltest]#

2.4 分組
()

後向引用：模式中，如果使用\(\)實現了分組，在某行文字的檢查中，如果\(\)的模式匹配到了某內容，此內容後面的模式中可以被引用；
    \1, \2, \3
模式自左而右，引用第#個左括號以及與其匹配右括號之間的模式匹配到的內容；

[root@hadoop1 shelltest]# cat test
xielaoshi121314
xiexiexielaoshi133
xie123laoshi
xielaoshi
abcdef123

xy
xxy
xxxxy
y
aby
abababy
by
bby
[root@hadoop1 shelltest
[root@hadoop1 shelltest]# grep --color 'ab*y' test
aby
abababy
[root@hadoop1 shelltest]# grep --color 'ab\{1\}y' test
aby
abababy
[root@hadoop1 shelltest]# vi test 
[root@hadoop1 shelltest]# grep --color 'ab\{1,\}' test
abcdef123
aby
abbbby
abababy
[root@hadoop1 shelltest]# grep --color '\(ab\)\{1,\}y' test
aby
abababy
[root@hadoop1 shelltest]#

後向引用：

[[email protected] shelltest]# grep --color '\(ab\)\{1,\}y\1' test
abababyab

3 grep選項
-v: 反向選取
-o: 僅顯示匹配到內容
-i: 忽略字元大小寫
-E: 使用擴充套件正則表示式
-A #: 顯示匹配字元的下面的行數內容
-B #：顯示匹配字元的下面的行數內容
-C #：顯示匹配字元的上下面的行數內容

[root@hadoop1 shelltest]# grep -A 2 'abababyab' test
abababyab
by
bby
[root@hadoop1 shelltest]# grep -B 2 'abababyab' test
aby
abbbby
abababyab
[root@hadoop1 shelltest]# grep -C 2 'abababyab' test
aby
abbbby
abababyab
by
bby
[root@hadoop1 shelltest]#

以上三個命令在查詢日誌的時候很有用。

4 egrep及擴充套件的正則表示式
擴充套件正則表示式的元字元：
字元匹配：
.
[]
[^]
匹配次數限定：
*
?: 匹配其前面字元0次或1次；
+：匹配其前面的字元至少1次；
{m}：匹配其前面的字元m次；
{m,n}：{m,}, {0,n}
錨定：
^
$
\<, >: \b
分組：
()

            支援後向引用：\1, \2, ...
        或者：
            a|b: a或者b
            ab|cd：

    # grep -E 'pattern' file...
    # egrep 'pattern' file...

其實擴充套件正則表示式相比較於基礎正則表示式，擴充套件正則表示式少了‘\’斜槓。

[root@hadoop1 shelltest]# grep --color 'xie[1x]' test
xiexiexielaoshi133
xie123laoshi
[root@hadoop1 shelltest]# egrep --color 'xie1|x' test
xielaoshi121314
xiexiexielaoshi133
xie123laoshi
xielaoshi
xy
xxy
xxxxy
[root@hadoop1 shelltest]# grep --color 'xie1\|x' test
xielaoshi121314
xiexiexielaoshi133
xie123laoshi
xielaoshi
xy
xxy
xxxxy
[root@hadoop1 shelltest]# grep -E --color 'xie1|x' test
xielaoshi121314
xiexiexielaoshi133
xie123laoshi
xielaoshi
xy
xxy
xxxxy
[root@hadoop1 shelltest]# grep --color 'xie\(1\|x\)' test
xiexiexielaoshi133
xie123laoshi
[root@hadoop1 shelltest]#

好了，有點累了，今天就先玩到這裡吧。如果你看到此文，想進一步學習或者和我溝通，加我微信公眾號：名字：五十年後
see you again! !
這裡寫圖片描述

相關推薦

01-shell文字處理三劍客之grep

開篇：哈嘍，今天我想寫寫shell程式設計，打算平均一天一篇吧，這樣一個月後就可以進步比較多。 先從shell文字處理三劍客grep、sed、awk開始。聽說啊，要是我不會這個命令，就不好意思說自己會shell程式設計。 1 grep是什麼意思？ grep: Global se

02-shell文字處理三劍客之sed

sed 是流編輯器，但是它不會修改原始檔。 sed (流文字編輯器) 用法：sed OPTIONS… [SCRIPT] [INPUTFILE…] -r: 使用擴充套件的正則表示式; -n, –quiet, –silent: 不輸出模式空間的內容； -i：直接編輯原檔案； -

文字處理三劍客之grep

grep：根據使用者指定的“模式”對目標文字進行匹配檢查，列印匹配到的行 模式：用正則表示式字元所編寫的過濾條件 grep [option] pattern [file...] --color=auto：對匹配到的文字著色顯示 -v：顯示不能夠被pattern匹配到的行 -

運維之路-文字處理-三劍客（grep、sed、awk）

轉載：https://blog.csdn.net/zisefeizhu/article/details/82526749 目錄  grep 支援的正則 描述 輸出控制 描述 內容行控制 描述 示例： sed Usage: 命令 描述 地址 描述 匹配刪除（d）  替

SHELL文字處理三劍客（sed、grep、awk）

一、grep文字過濾器 1. 基本介紹 Global search regular expression and print out theline 全面搜尋研究正則表示式並顯示出來 grep命令是一種強大的文字搜尋工具根據使用者指定的

shell文字處理三劍客(awk sed grep)

一.grep：文字過濾器 根據正則表示式來工作，由正則表示式或者字元及基本的文字字元所編寫的過濾條件 tr 'a-z' 'A-Z' < file          ###把passwd中的小寫轉換為大寫 ^x      ###以x開頭的 x$      ###以

4.shell程式設計-文字處理三劍客之sed

4.1.sed的選項  sed，流編輯器。對標準輸出或檔案進行逐行處理。 語法格式 第一種：stdout | sed [option] "pattern command" 第二種：sed [option] "pattern command" file  選項 -n&

謝煙客---------Linux之文本處理三劍客之grep

linux基礎Linux之文本處理三劍客介紹 awk 名稱得自於它的創始人阿爾佛雷德·艾侯、彼得·溫伯格和布萊恩·柯林漢姓氏的首個字母,它具備了一個完整的語言所應具有的幾乎所有精美特性，AWK是一個解釋器，三位創建者已將它正式定義為“樣式掃描和處理語言”。它允許您創建簡短的程序，這些程序讀取輸入文件、為

文本處理三劍客之 grep

digi pro 文件路徑 his 1-1 基本 文本搜索工具 ... 大寫 grep簡介grep(Global search REgular expression and Print out the line)是Linux上的文本處理三劍客之一,另外兩個是sed和awk.

linux文本處理三劍客之grep命令詳解

gawk 軟件 upper edit 進制 使用 第一個 空格 earch Linux文本處理三劍客之grep grep：文本過濾(模式：pattern)工具 grep, egrep, fgrep（不支持正則表達式搜索） sed：stream editor，

Linux文本處理三劍客之---grep

Linux 命令 grep grep grep: Global search REgular expression and Print out the line作用：文本搜索工具，根據用戶指定的“模式”對目標文本逐行進行匹配檢查；打印匹配到的行模式：由正則表達式字符及文本字符所編寫的過

文本處理三劍客之grep

grep match 字母 res 擴展的正則表達式 文件中 string digi 形式 grep系：grep：Global search Regular Expression and Print out the line.利用正則表達式進行全局搜索並將匹配到的行顯示出來

文字處理三劍客之AWK

AWK簡介    AWK是一件上古神器，用這句話來形容AWK是最貼切不過了。    縱觀計算機發展的歷史，我們發現，awk幾乎是伴隨著計算機作業系統的發展一路走來。1970年作為計算機計時元年，誕生了UNIX和C語言這兩種偉大的事物。在

Linux進階篇--文字處理三劍客之AWK

Linux進階篇–文字處理三劍客之AWK 本章概要 awk介紹 awk基本用法 awk變數 awk格式化 awk操作符 awk條件判斷 awk迴圈 awk陣列 awk函式 呼叫系統命令 一、 awk介紹 awk：Aho, Weinberger, Kerni

文字處理三劍客之awk（原創）

AWK是一種優良的文字處理工具，Linux及Unix環境中現有的功能最強大的資料處理引擎之一。這種程式設計及資料操作語言（其名稱得自於它的創始人阿爾佛雷德·艾侯(Alfred Aho)、彼得·溫伯格(Peter Jay Weinberger)和布萊恩·柯林漢(Brian Wi

Linux文字處理三劍客之awk

awk簡介 awk是一種解釋執行的程式語言，用來專門處理文字資料，其名稱是由它們設計者的名字縮寫而來 ———Afred Aho,Peter Weinberger與 Brian Kernighan。常見版本有： - awk： 最原初的版本，它由 AT&am

Linux文本處理三劍客之grep

劃線 指定 shu div 技術分享 日常 memfree 固定 過濾 簡介 grep命令，用於在一個文本文件中或者從STDIN中，根據用戶給出的模式（pattern）過濾出所需要的信息。 grep以及三劍客中的另外兩個工具sed和awk都是基於行處理的，它們會一行行讀入數

Linux文字處理三劍客awk、sed、grep入門

AWK命令簡介 AWK是一門解釋型的程式語言，它的名字來源於它的三位作者的姓氏：Alfred Aho，Peter Weinberger和Brian Kernighan。AWK能夠應用於廣泛的計算和資料處理任務。所有的GNU/Linux發行版都自帶GAWK，即GNU AWK，

Shell程式設計5_文字處理三劍客(awk)

文字處理三劍客(awk) 1.awk介紹 AWK:三位創造者Aho、Weinberger和Kernighan統稱 官方定義：一個優秀的樣式掃描與處理工具 定位：AWK是一種用於處理文字的程式語言工具，主要用於格式化報文或從一個大的文字檔案中抽取資

文字處理三劍客 grep sed awk

一、正則表示式       正則表示式是對字串（包括普通字元（例如，a 到 z 之間的字母）和特殊字元（稱為“元字元”））操作的一種邏輯公式，就是用事先定義好的一些特定字元、及這些特定字元的組合，組成一個“規則字串”，這個 “規則字串”用來表達對字串的一種過濾邏輯。正則表示