1. 程式人生 > >系統啟動與內核管理 ;AWK部分 重要內容 (實驗及awk的常見面試題)

系統啟動與內核管理 ;AWK部分 重要內容 (實驗及awk的常見面試題)

iptable tst -s lin true 開機自動啟動 運行 模式匹配 else if

CentOS6啟動流程
1.加載BIOS的硬件信息,獲取第一個啟動設備
2.讀取第一個啟動設備MBR的引導加載程序(grub)的啟動信息
3.加載核心操作系統的核心信息,核心開始解壓縮,並嘗試驅動所有的硬件設備
4.核心執行init程序,並獲取默認的運行信息
5.init程序執行/etc/rc.d/rc.sysinit文件
6.啟動核心的外掛模塊
7.init執行運行的各個批處理文件(scripts)
8.init執行/etc/rc.d/rc.local
9.執行/bin/login程序,等待用戶登錄
10.登錄之後開始以Shell控制主機
制作centos6系統的ramdisk文件
目的 掌握centos6系統中的啟動順序中/boot目錄的作用,制作啟動時所需的文件ramdisk文件。
前提 可用的centos6系統。
/boot目錄作用
在系統啟動以後,/boot整目錄內容就沒什麽用了,甚至可以把boot目錄刪除,只要不重啟,系統仍然能正常運行。
利用mkinitrd命令創建ramdisk文件 為當前正在使用的內核重新制作ramdisk文件,使用mkinitrd命令。
【例1】制作ramdisk文件
為了證明制作一個ramdisk文件而且啟動正常,則先刪除ramdisk文件。
[root@magedu ~]# ls /boot/initramfs-2.6.32-696.el6.x86_64.img
/boot/initramfs-2.6.32-696.el6.x86_64.img
[root@magedu boot]# rm -f initramfs-2.6.32-696.el6.x86_64.img
註意,該文件名不能隨意定義,因為在啟動文件中是已經定義好的了:
[root@magedu boot]# tail -5 /boot/grub/grub.conf
hiddenmenu
title CentOS 6 (2.6.32-696.el6.x86_64)
root (hd0,0)
kernel /vmlinuz-2.6.32-696.el6.x86_64 ro root=/dev/mapper/vg_magedu-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_LVM_LV=vg_magedu/lv_swap rd_NO_MD rd_LVM_LV=vg_magedu/lv_root SYSFONT=latarcyrheb-sun16 crashkernel=auto KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet
initrd /initramfs-2.6.32-696.el6.x86_64.img
最後一行,initrd指明了該文件的完整名稱,這就是之所以為什麽不能隨意指定文件名的原因。
制作ramdisk文件:
[root@magedu boot]# mkinitrd /boot/initramfs-2.6.32-696.el6.x86_64.img $(uname -r)
時間可能會稍長一些,之後,就可在/boot目錄中新創建了initramfs-2.6.32-696.el6.x86_64.img文件。可以查看該文件:
[root@magedu boot]# cp initramfs-2.6.32-696.el6.x86_64.img /tmp/
解壓該文件:
[root@magedu tmp]# zcat initramfs-2.6.32-696.el6.x86_64.img |cpio -id
152872 blocks
可以使用ls命令查看其結果。現在系統上的ramdisk文件已經被刪除,而且手動創建了一個ramdisk文件,此時重啟系統使用reboot命令,仍然可以正常啟動。
配置centos6系統各服務的啟動運行級別
目的 掌握centos6系統中配置開機啟動時服務的運行級別。
前提 可用的centos6系統。
實驗步驟
1、runlevel命令:查看上一次及當前系統啟動的運行級別
[root@magedu ~]# runlevel
N 5
N表示上一次切換級別是無切換過。
5表示當前運行級別是有圖形化的完整的多用戶模式。
2、chkconfig命令:查看當前系統啟動時服務的運行級別
[root@magedu ~]# chkconfig --list
NetworkManager 0:off 1:off 2:on 3:on 4:on 5:on 6:off
abrt-ccpp ? ? 0:off 1:off 2:off 3:on 4:off 5:on 6:off
abrtd ? ? ? ? 0:off 1:off 2:off 3:on 4:off 5:on 6:off
acpid ? ? ? ? 0:off 1:off 2:on 3:on 4:on 5:on 6:off
atd ? ? ? ? ? 0:off 1:off 2:off 3:on 4:on 5:on 6:off
...
以crond服務為例,查看開機啟動時在各運行級別中是否開機啟動:
[root@magedu ~]# chkconfig --list|grep crond
crond ? ? ? ? 0:off 1:off 2:on 3:on 4:on 5:on 6:off
從結果看crond服務分別在0-6的運行級別中開機分別為: 在0級別關機模式中是關閉的; 在1級別單用戶模式中開機自動關閉; 在2級別沒有網絡的多用戶模式中開機自動啟動; 在3級別完整的多用戶模式中的開機自動啟動; 在4級別自定義模式中開機自動啟動; 在5級別有圖形化的完整的多用戶模式中開機自動啟動; 在6級別重啟模式中開機自動關閉。
[root@magedu ~]# ll /etc/rc.d/rc?.d/???crond
lrwxrwxrwx. 1 root root 15 May 16 17:47 /etc/rc.d/rc0.d/K60crond -> ../init.d/crond
lrwxrwxrwx. 1 root root 15 May 16 17:47 /etc/rc.d/rc1.d/K60crond -> ../init.d/crond
lrwxrwxrwx. 1 root root 15 May 16 17:47 /etc/rc.d/rc2.d/S90crond -> ../init.d/crond
lrwxrwxrwx. 1 root root 15 May 16 17:47 /etc/rc.d/rc3.d/S90crond -> ../init.d/crond
lrwxrwxrwx. 1 root root 15 May 16 17:47 /etc/rc.d/rc4.d/S90crond -> ../init.d/crond
lrwxrwxrwx. 1 root root 15 May 16 17:47 /etc/rc.d/rc5.d/S90crond -> ../init.d/crond
lrwxrwxrwx. 1 root root 15 May 16 17:47 /etc/rc.d/rc6.d/K60crond -> ../init.d/crond
此結果說明rc0.d-rc6.d分別是設置各個啟動運行級別時需要啟動和停止的服務,而在其目錄下K開頭的文件都是開機自動關閉的服務,S開頭的文件都是開機自動啟動的服務。
列出指定crond服務開機啟動各級別是否是自動關閉還是自動開啟:
[root@magedu ~]# chkconfig --list crond
crond ? ? ? ? 0:off 1:off 2:on 3:on 4:on 5:on 6:off
3、指定crond服務,在2、3、4、5運行級別時自動啟動
[root@magedu ~]# chkconfig crond on
默認是在2、3、4、5級別進行設置,或單獨指定3和5級別開機時自動啟動:
[root@magedu ~]# chkconfig --level 35 crond on
當然,也可設置crond服務在2/3/4/5運行級別自動關閉,默認也是在2、3、4、5級別進行設置:
[root@magedu ~]# chkconfig crond off
或單獨指定2和4運行級別的自動關閉:
[root@magedu ~]# chkconfig --level 24 crond off
4、自定義服務啟動腳本,並添加到啟動項中 編寫mageserv服務啟動樣例腳本:
[root@magedu ~]# vim /etc/init.d/mageserv
#!/bin/bash
#

chkconfig: 2345 80 30

description: This is a service script

. /etc/init.d/functions

check_num(){
if [ ! $1 -eq 1 ];then
echo "Usage:$0 [start|stop|restart|status]"
exit 1
fi
}

check_argument(){
if [[ ! $1 =~ ^(start)|(stop)|(restart)|(status)$ ]];then
echo "Usage:$0 [start|stop|restart|status]"
exit 1
fi
}

main(){
script_name=mageserv
if [[ $2 = start ]];then
if [ ! -e /var/lock/subsys/${script_name} ];then
touch /var/lock/subsys/${script_name}
action "啟動成功" true
else
echo "啟動成功"
fi
elif [[ $2 = stop ]];then
if [ -e /var/lock/subsys/${script_name} ];then
rm -rf /var/lock/subsys/${script_name}
action "停止完成" true
else
action "停止完成" false
fi
elif [[ $2 = restart ]];then
if [ -e /var/lock/subsys/${script_name} ];then
rm -rf /var/lock/subsys/${script_name}
action "停止完成" true
touch /var/lock/subsys/${script_name}
action "啟動成功" true
else
action "停止完成" false
touch /var/lock/subsys/${script_name}
action "啟動成功" true
fi
elif [[ $2 = status ]];then
if [ -e /var/lock/subsys/${script_name} ];then
echo "$script_name is runing..."
else
echo "mageserv is dead!"
fi
fi
}

check_num $#
check_argument $1
main $0 $1
添加執行權限:
[root@magedu ~]# chmod +x /etc/init.d/mageserv
把mageserv服務加入系統服務管裏中:
[root@magedu ~]# chkconfig --add mageserv
添加mageserv服務開機自啟動: ? [root@magedu ~]# chkconfig mageserv on
或指定35啟動級別時自動啟動:
[root@magedu ~]# chkconfig mageserv off
[root@magedu ~]# chkconfig mageserv on --level 35
註意:改變啟動級別,先關閉啟動運行時的開機自動啟動。 ? 查看mageserv服務設置的默認啟動級別:
[root@magedu ~]# chkconfig --list mageserv
mageserv 0:off 1:off 2:off 3:on 4:off 5:on 6:off
查看:
[root@magedu ~]# ll /etc/rc?.d/???mageserv
lrwxrwxrwx 1 root root 18 Jul 28 06:31 /etc/rc0.d/K30mageserv -> ../init.d/mageserv
lrwxrwxrwx 1 root root 18 Jul 28 06:31 /etc/rc1.d/K30mageserv -> ../init.d/mageserv
lrwxrwxrwx 1 root root 18 Jul 28 06:34 /etc/rc2.d/K30mageserv -> ../init.d/mageserv
lrwxrwxrwx 1 root root 18 Jul 28 06:35 /etc/rc3.d/S80mageserv -> ../init.d/mageserv
lrwxrwxrwx 1 root root 18 Jul 28 06:34 /etc/rc4.d/K30mageserv -> ../init.d/mageserv
lrwxrwxrwx 1 root root 18 Jul 28 06:35 /etc/rc5.d/S80mageserv -> ../init.d/mageserv
lrwxrwxrwx 1 root root 18 Jul 28 06:31 /etc/rc6.d/K30mageserv -> ../init.d/mageserv
使用系統服務管理service命令管理mageserv服務:
[root@magedu ~]# service mageserv start
啟動成功 [ OK ]

[root@magedu ~]# service mageserv restart
停止完成 [ OK ]
啟動成功 [ OK ]

[root@magedu ~]# service mageserv status
mageserv is runing...

[root@magedu ~]# service mageserv stop
停止完成 [ OK ]

[root@magedu ~]# service mageserv status
mageserv is dead!
當然,也可以直接使用該服務腳本文件直接運行:
[root@magedu ~]# /etc/init.d/mageserv
Usage:/etc/init.d/mageserv [start|stop|restart|status]

[root@magedu ~]# /etc/init.d/mageserv start
啟動成功 [ OK ]

[root@magedu ~]# /etc/init.d/mageserv restart
停止完成 [ OK ]
啟動成功 [ OK ]

[root@magedu ~]# /etc/init.d/mageserv status
mageserv is runing...

[root@magedu ~]# /etc/init.d/mageserv stop
停止完成 [ OK ]

[root@magedu ~]# /etc/init.d/mageserv status
mageserv is dead!
註意: 正常級別下,最後啟動一個服務/etc/rc5.d/S99local沒有鏈接至/etc/rc.d/init.d目錄下的一個服務腳本,而是指向了/etc/rc.d/rc.local腳本。不便或不需要寫為服務腳本放置於/etc/rc.d/init.d/目錄,且又想開機時自動運行的命令,可直接放置於/etc/rc.d/rc.loal文件中。/etc/rc.d/rc.local在指定運行級別腳本後運行。
該文件是一個軟連接:
[root@magedu ~]# ll /etc/rc5.d/S99local
lrwxrwxrwx. 1 root root 11 May 16 17:45 /etc/rc5.d/S99local -> ../rc.local
rc.local文件也是一個軟連接:
[root@magedu ~]# ll /etc/rc.local
lrwxrwxrwx. 1 root root 13 May 16 17:45 /etc/rc.local -> rc.d/rc.local
所以,最終用戶自定義的一個啟動腳本文件位置是/etc/rc.d/rc.local。 ? [root@magedu ~]# cat /etc/rc.d/rc.local #!/bin/sh # # This script will be executed after all the other init scripts. # You can put your own initialization stuff in here if you don‘t # want to do the full Sys V style init stuff.
touch /var/lock/subsys/local

AWK部分
awk變量? 變量:內置和自定義變量? FS:輸入字段分隔符,默認為空白字符awk -v FS=‘:‘ ‘{print $1,FS,$3}’ /etc/passwdawk –F: ‘{print $1,$3,$7}’ /etc/passwd? OFS:輸出字段分隔符,默認為空白字符awk -v FS=‘:’ -v OFS=‘:’ ‘{print $1,$3,$7}’ /etc/passwd? RS:輸入記錄分隔符,指定輸入時的換行符awk -v RS=‘ ‘ ‘{print }’ /etc/passwd? ORS:輸出記錄分隔符,輸出時用指定符號代替換行符awk -v RS=‘ ‘ -v ORS=‘###‘‘{print }’ /etc/passwd? NF:字段數量awk -F:‘{print NF}’ /etc/fstab 引用變量時,變量前不需加$awk -F:‘{print $(NF-1)}‘ /etc/passwd? NR:記錄號 awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab
FNR:各文件分別計數,記錄號
awk ‘{print FNR}‘ /etc/fstab /etc/inittab
?FILENAME:當前文件名
awk ‘{print FILENAME}’ /etc/fstab
?ARGC:命令行參數的個數
awk ‘{print ARGC}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab
?ARGV:數組,保存的是命令行所給定的各參數
awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab
awk -F: -f awkscript script=“awk” /etc/passwd
Printf命令
格式符:與item一一對應
%c:顯示字符的ASCII碼
%d, %i:顯示十進制整數
%e, %E:顯示科學計數法數值
%f:顯示為浮點數
%g, %G:以科學計數法或浮點形式顯示數值
%s:顯示字符串
%u:無符號整數
%%:顯示%自身
? 修飾符
#[.#] 第一個數字控制顯示的寬度;第二個#表示小數點後精度,%3.1f

  • 左對齊(默認右對齊) %-15s + 顯示數值的正負符號 %+d
    賦值操作符:
    =, +=, -=, *=, /=, %=, ^=,++, --
    ?下面兩語句有何不同
    ? awk ‘BEGIN{i=0;print ++i,i}’
    ? awk ‘BEGIN{i=0;print i++,i}’
    比較操作符:
    ==, !=, >, >=, <, <=
    ?模式匹配符:
    ~:左邊是否和右邊匹配,包含
    !~:是否不匹配
    ?示例:
    awk -F: ‘$0 ~ /root/{print $1}‘ /etc/passwd
    awk ‘$0~“^root"‘ /etc/passwd
    awk ‘$0 !~ /root/‘ /etc/passwd
    awk -F: ‘$3==0’ /etc/passwd
    邏輯操作符:與&&,或||,非!
    ?示例:
    ? awk -F: ‘$3>=0 && $3<=1000 {print $1}‘ /etc/passwd
    ? awk -F: ‘$3==0 || $3>=1000 {print $1}‘ /etc/passwd
    ? awk -F: ‘!($3==0) {print $1}‘ /etc/passwd
    ? awk -F: ‘!($3>=500) {print $3}’ /etc/passwd
    ?條件表達式(三目表達式)
    selector?if-true-expression:if-false-expression
    ? 示例:
    awk -F: ‘{$3>=1000?usertype="Common User":usertype="
    SysUser";printf "%15s:%-s\n",$1,usertype}‘ /etc/passwd
    awk PATTERN
    PATTERN:根據pattern條件,過濾匹配的行,再做處理
    (1)如果未指定:空模式,匹配每一行
    (2) /regular expression/:僅處理能夠模式匹配到的行,需要用/ /括起來
    awk ‘/^UUID/{print $1}‘ /etc/fstab
    awk ‘!/^UUID/{print $1}‘ /etc/fstab
    (3) relational expression: 關系表達式,結果為“真”才會被處理
    真:結果為非0值,非空字符串
    假:結果為空字符串或0值
    BEGIN/END模式
    BEGIN{}:僅在開始處理文件中的文本之前執行一次
    END{}:僅在文本處理完成之後執行一次
    面試題
    取連接主機的ip數量
    ss -nt|awk ‘/^ESTAB/{print $5}‘ |awk -F: ‘{print $1}‘
    ss -nt|awk -F"([[:space:]]+|:)" ‘/^ESTAB/{print $6}‘
    ss -nt|awk -F"([[:space:]]+|:)" ‘/^ESTAB/{print $(NF-2)}‘
    ss -nt|awk -F"([[:space:]]+|:)" ‘/^ESTAB/{print $(NF-2)}‘|sort |uniq -c| sort -nr|head
    Sed 命令取出b開頭的段至f開頭的段
    sed -n ‘/^b/,/^f/p‘ /etc/passwd
    awk ‘/^b/,/^f/‘ /etc/passwd
    取分區利用率
    df |awk -F"([[:space:]]+|%)" ‘/^\/dev\//{if($5<10){print $5,"great" }else if($5<80){print $5,"warning"}else{print $5,"error"}}‘
    Shell部分
    取100以內的和 1、seq -s+ 100|bc
    2、i=1;sum=0;while [ $i -le 100 ];do let sum+=i;let i++;done;echo $sum
    3、for((sum=0,i=1;i<=100;i++));do let sum+=i ;done;echo $sum
    awk 部分 取100以內的和
    1、awk ‘BEGIN{i=1;sum=0;while(i<=100){sum+=i;i++};print sum}‘
    2、awk ‘BEGIN{sum=0;for(i=1;i<=100;i++){sum+=i};print sum}‘
    取最大值 最小值:
    Awk-F, ‘{for(i=1;i<=NF;i++){if(i==1){max=$i;min=$i}else{if($i>max)max=$i;if($i<min)min=$i}};print "max="max,"min="min}‘ num.txt
    防DDOS*** (******)
    for ip in ss -nt|awk -F"[[:space:]]+|:" ‘/^ESTAB/{print $6}‘|sort |uniq -c|awk ‘$1&gt;=3{print $2}‘;do iptables -A INPUT -s $ip -j REJECT;done
    改寫awk 調用iptables
    參考
    awk ‘BEGIN{ip="192.168.35.6";system("iptables -A INPUT -s "ip" -j REJECT")}‘
    for ip in awk ‘{print $1}‘ /var/log/httpd/access_log |sort |uniq -c|sort -nr|head|awk ‘{print $2}‘;do iptables -A INPUT -s $ip -j REJECT;done
    三種方式取值:
    awk -F"/" ‘{print $3}‘ url.txt
    cut -d/ -f3 url.txt
    sed -rn ‘s@.//([^/]+)/.@\1@p‘ url.txt

Awk部分加{}與不加{}的區別:
[root@centos7 ~]#awk ‘!line[$0]++{print $0,line[$0]}‘ f1.txt
aa 1
bb 1
cc 1
aaaa 1
bbb 1
dd 1
[root@centos7 ~]#awk ‘{!line[$0]++;print $0,line[$0]}‘ f1.txt
aa 1
bb 1
cc 1
aaaa 1
bbb 1
aa 2
cc 2
dd 1
bb 2
cc 3
aaaa 2
取TCP狀態出現的次數:
[root@centos7 ~]#ss -nta > state.log
[root@centos7 ~]#awk ‘NR!=1{state[$1]++}END{for(i in state){print i,state[i]}}‘ state.log
SYN-RECV 1
LISTEN 59
ESTAB 44
FIN-WAIT-2 1
TIME-WAIT 3593
取男生和女生的平均成績:(兩種不同的方法) 1.‘NR!=1{if($2=="m"){m_sum+=$3;m_num++}else{f_sum+=$3;f_num++}}END{print "male:"m_sum/m_num,"female:"f_sum/f_num}‘ score.txt
2.‘NR!=1{sum[$2]+=$3;num[$2]++}END{for(i in sum){print i":"sum[i]/num[i]}}‘ score.txt
m:89.5
f:92.5
統計ip地址出現的次數:
awk ‘{ip[$1]++}END{for(i in ip){print ip[i],i}}‘ /var/log/httpd/access_log

split(s,array,[r]):以r為分隔符,切割字符串s,並將切割後的結果保存至array所表示的數組中,第一個索引值為1,第二個索引值為2,…:
netstat -tn | awk ‘/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}‘

系統啟動與內核管理 ;AWK部分 重要內容 (實驗及awk的常見面試題)