鳥哥的Linux私房菜基礎篇 第十一章 正則表示式與檔案格式化處理
阿新 • • 發佈：2018-12-14
1. 正則的概念
正則表示式就是處理字串的方法，他是以行為單位來進行字串的處理行為， 正則表示式通過一些特殊符號的輔助，可以讓使用者輕易的達到“搜尋/刪除/取代”某特定字串的處理程式！
2. 基礎正則表示式
-
- grep 工具
正則表示式也需要支援工具程式來輔助才行，以介紹grep為例。
grep 的基本用法：
grep [-A] [-B] [--color=auto] '搜尋字串' filename #auto的選項表示自動加上顏色 # -A 表示after # -B 表示befor eg: dmesg |grep -n -A3 -B2 --color=auto 'qx' dmesg | grep -n '[^a-z]oo'
字元彙總：
| 字元 | 意義 |
|---|---|
| ^word | 以此開頭 |
| word$ | 以此結尾 |
| . | 代表一個字元，如: grep e.e file, //eae eve |
| \ | 轉義 |
| * | 重複前一個字元： grep e* file // eeeee ee |
| [n1- n2] | 如[A-Z] 為大寫字母 |
| [^list] | 列出不要的字串和範圍，[^A-Z] |
| {n,m} | 重複前一個字元的次數為n-m，如g{2,3},ggg |
-
- sed工具
增加和刪除：
sed ' 2,5d' //刪除2-5行 sed '2a drink tea' //第2行下面增加一行 sed '2,5c newcontent' //以行為單位進行取代,將2-5行內容替換為一行新內容 sed 's/old/new/g' //搜尋並取代。
取代：
eg: 取出IP地址
ifconfig eth0|grep inet |sed 's/^.*inet //g' |sed 's/ netmask.*$//g'
. 表示任意字元，* 表示任意字元的序列， .*就表示一串任意字元
修改檔案內容： sed 的“ -i ”選項可以直接修改檔案內容，如下：
sed -i 's/\.$/\!/g' regular_express.txt
3. 正則表示式的延伸
去除空白行和行首為#的：
grep -v -E '^$|^#' etcfile
或者： egrep -v '^$|^#' etcfile
4. 檔案的格式化與相關處理
通過資料流重定向，配合printf，awk指令。
printf
例如我們要安照下面的版式進行輸出：
Name Chinese English Math Average
DmTsai 80 60 92 77.33
VBird 75 55 80 70.00
Ken 60 90 70 73.33
printf ‘列印格式’ 實際內容 用法類似C語言的printf，
方面的幾個特殊樣式：
\a 警告聲音輸出
\b 倒退鍵（backspace）
\f 清除螢幕 （form feed）
\n 輸出新的一行
\r 亦即 Enter 按鍵
\t 水平的 [tab] 按鍵
\v 垂直的 [tab] 按鍵
\xNN NN 為兩位數的數字，可以轉換數字成為字元。
關於 C 程式語言內，常見的變數格式
%ns 那個 n 是數字， s 代表 string ，亦即多少個字元；
%ni 那個 n 是數字， i 代表 integer ，亦即多少整數碼數；
%N.nf 那個 n 與 N 都是數字， f 代表 floating （浮點），如果有小數碼數，
例子：
printf ‘%s\t %s\t %s\t %s\t %s\t \n’ $（cat printf.txt）
awk ，資料處理工具
awk '{print $1 "\t" $3}' file //取出1，3行
| – | – |
|---|---|
| $0 | 表示取出整行的資料 |
| NR | 表示該資料的行數 |
| NF | 每一行的欄位總數 |
| FS | 目前的分割字元，預設是空格 |
awk 'BEGIN {FS=" "} $3<10 {print $1 "\t" $3}' file //取出第三列小於10的
Name 1st 2nd 3th
VBird 23000 24000 25000
DMTsai 21000 20000 23000
Bird2 43000 42000 41000
使用awk輸出為：
Name 1st 2nd 3th Total
VBird 23000 24000 25000 72000.00
DMTsai 21000 20000 23000 64000.00
Bird2 43000 42000 41000 126000.0
命令為：
cat pay.txt | \
> awk ' {if(NR==1) printf "%10s,%10s,%10s,%10s\n ",$1,$2,$3,$4,"total"} \
> NR>=2 {total=$2+$3+$4
> printf "%10s,%10s,%10s,%10s,%10.2f\n",$1,$2,$3,$4,$total}'
檔案比較工具
- diff
1 檔案比較：
如，將passwd檔案做如下操作：
cat passwd | sed -e '4d' -e '6c no six line' > passwd.nex
diff passwd passwd.nex
2 目錄對比
可以對比整個目錄下的區別
- cmp 以位元組為單位進行對比
- patch 結合diff，產生patch檔案，從而，對舊檔案進行更新，或者對新檔案進行恢復：
diff -Naur passwd.old passwd.new > passwd.patch
patch -p0 <passwd.patch 更新
patch -R -p0 <passwd.patch 恢復