Linux系統是否被植入木馬的排查流程梳理
阿新 • • 發佈：2018-02-08
ado 別人 什麽 業務 utils sniffer 行鎖 ebo boot 在日常繁瑣的運維工作中，對linux服務器進行安全檢查是一個非常重要的環節。今天，分享一下如何檢查linux系統是否遭受了入侵？
一、是否入侵檢查
1）檢查系統日誌
檢查系統錯誤登陸日誌，統計IP重試次數（last命令是查看系統登陸日誌，比如系統被reboot或登陸情況）
[root@localhost ~]# last
2）檢查系統用戶
查看是否有異常的系統用戶
[root@localhost ~]# cat /etc/passwd
查看是否產生了新用戶，UID和GID為0的用戶
[root@localhost ~]# grep "0" /etc/passwd
查看passwd的修改時間，判斷是否在不知的情況下添加用戶
[root@localhost ~]# ls -l /etc/passwd
查看是否存在特權用戶
[root@localhost ~]# awk -F: '$3==0 {print $1}' /etc/passwd
查看是否存在空口令帳戶
[root@localhost ~]# awk -F: 'length($2)==0 {print $1}' /etc/shadow
3）檢查異常進程
註意UID為0的進程
使用ps -ef命令查看進程
察看該進程所打開的端口和文件
[root@localhost ~]# lsof -p pid命令查看
檢查隱藏進程
[root@localhost ~]# ps -ef | awk '{print }' | sort -n | uniq >1
[root@localhost ~]# ls /porc |sort -n|uniq >2
[root@localhost ~]# diff 1 2
4）檢查異常系統文件
[root@localhost ~]# find / -uid 0 –perm -4000 –print
[root@localhost ~]# find / -size +10000k –print
[root@localhost ~]# find / -name "…" –print
[root@localhost ~]# find / -name ".." –print
[root@localhost ~]# find / -name "." –print
[root@localhost ~]# find / -name " " –print
5）檢查系統文件完整性
[root@localhost ~]# rpm –qf /bin/ls
[root@localhost ~]# rpm -qf /bin/login
[root@localhost ~]# md5sum –b 文件名
[root@localhost ~]# md5sum –t 文件名
6）檢查RPM的完整性
[root@localhost ~]# rpm -Va #註意相關的/sbin,/bin,/usr/sbin,/usr/bin
輸出格式說明：
S – File size differs
M – Mode differs (permissions)
5 – MD5 sum differs
D – Device number mismatch
L – readLink path mismatch
U – user ownership differs
G – group ownership differs
T – modification time differs
7）檢查網絡
[root@localhost ~]# ip link | grep PROMISC（正常網卡不該在promisc模式，可能存在sniffer）
[root@localhost ~]# lsof –i
[root@localhost ~]# netstat –nap（察看不正常打開的TCP/UDP端口)
[root@localhost ~]# arp –a
8）檢查系統計劃任務
[root@localhost ~]# crontab –u root –l
[root@localhost ~]# cat /etc/crontab
[root@localhost ~]# ls /etc/cron.*
9）檢查系統後門
[root@localhost ~]# cat /etc/crontab
[root@localhost ~]# ls /var/spool/cron/
[root@localhost ~]# cat /etc/rc.d/rc.local
[root@localhost ~]# ls /etc/rc.d
[root@localhost ~]# ls /etc/rc3.d
10）檢查系統服務
[root@localhost ~]# chkconfig —list
[root@localhost ~]# rpcinfo -p（查看RPC服務）
11）檢查rootkit
[root@localhost ~]# rkhunter -c
[root@localhost ~]# chkrootkit -q二、linux系統被入侵/中毒的表象
比較常見的中毒表現在以下三個方面： 1）服務器出去的帶寬會跑高這個是中毒的一個特征。 因為服務器中毒之後被別人拿去利用，常見的就是拿去當肉雞攻擊別人；再者就是拿你的數據之類的。 所以服務器帶寬方面需要特別註意下，如果服務器出去的帶寬跑很高，那肯定有些異常，需要及時檢查一下！ 2）系統裏會產生多余的不明的用戶 中毒或者被入侵之後會導致系統裏產生一些不明用戶或者登陸日誌，所以這方面的檢查也是可以看出一些異常的。 3）開機是否啟動一些不明服務和crond任務裏是否有一些來歷不明的任務？ 因為中毒會隨系統的啟動而啟動的，所以一般會開機啟動，檢查一下啟動的服務或者文件是否有異常，一般會在/etc/rc.local和crondtab -l 顯示出來。
三、順便說下一次Linux系統被入侵/中毒的解決過程
在工作中碰到系統經常卡，而且有時候遠程連接不上，從本地以及遠程檢查一下這個系統，發現有不明的系統進程。
初步判斷就是可能中毒了！！！
解決過程：
1）在監控裏檢查一下這臺服務器的帶寬，發現服務器出去的帶寬跑很高，所以才會導致遠程連接卡甚至連接不上，這是一個原因。
為什麽服務器出去的帶寬這麽高且超出了開通的帶寬值？這個原因只能進入服務器系統裏檢查了。
2）遠程進入系統裏檢查了下， ps -aux查到不明進程 ，立刻關閉它。
3）檢查一下開機啟動項：
#chkconfig --list | grep 3:on
服務器啟動級別是3的，我檢查一下了開機啟動項，沒有特別明顯的服務。
然後檢查了一下開機啟動的一個文件
#more /etc/rc.local
看到這個文件裏被添加了很多未知項，註釋了它。
4）然後在遠程連接這臺服務器的時候，還是有些卡。
檢查了一下系統的計劃任務crond，使用crondtab -l 命令進行查看，看到很多註釋行。
這些註釋行與/etc/rc.local的內容差不多。最後備份下/var/spool/cron/root文件（也就是root下的crontab計劃任務內容），就刪除了crontab內容，然後停止crond任務，並chkconfig crond off 禁用它開機啟動。
5）為了徹底清除危害，我檢查了一下系統的登陸日誌（last命令查看），看到除了root用戶之外還有其它的用戶登陸過。
檢查了一下/etc/passwd ，看到有不明的用戶，立刻用usermod -L XXX 禁用這些用戶。
然後更新了下系統的復雜密碼。
----------------------------------------------------
禁用/鎖定用戶登錄系統的方法
1. usermod -L username 鎖定用戶
usermod -U username 解鎖
2. passwd -l username 鎖定用戶
passwd -u username 解鎖
3.修改用戶的shell類型為/sbin/nologin（/etc/passwd文件裏修改）
4.在/etc/下創建空文件nologin，這樣就鎖定了除root之外的全部用戶
----------------------------------------------------四、怎樣確保linux系統安全
1）從以往碰到的實例來分析，密碼太簡單是一個錯
用戶名默認，密碼太簡單是最容易被入侵的對象，所以切忌不要使用太過於簡單的密碼，先前碰到的那位客戶就是使用了太簡單的且規則的密碼 1q2w3e4r5t， 這種密碼在掃描的軟件裏是通用的，所以很容易被別人掃描出來的。
2）不要使用默認的遠程端口，避免被掃描到
掃描的人都是根據端口掃描，然後再進行密碼掃描，默認的端口往往就是掃描器的對象，他們掃描一個大的IP 段，哪些開放22端口且認為是ssh服務的linux系統，所以才會猜這機器的密碼。更改遠程端口也是安全的一個措施！
3）使用一些安全策略進行保護系統開放的端口
使用iptables或者配置/etc/hosts.deny 和/etc/hosts.allow進行白名單設置
可以對/etc/passwd、/etc/group、/etc/sudoers、/etc/shadow等用戶信息文件進行鎖定（chattr +ai）
4）禁ping設置
# echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
---------------------------------------------------------
發現一次服務器被getshell滲透的解決辦法：
1）使用top命令發現一個python程序占用了95%的cpu
2）使用ps -ef|grep python發現下面程序：
python -c import pty;pty.spamn("/bin/sh")
這個程序命令表示通過webshell反彈shell回來之後獲取真正的ttyshell進行滲透到服務器裏。kill掉這個進程！
3）發現在/var/spool/cron下面設置了一個nobody的定時執行上面獲取getshell的滲透命令！果斷刪除這個任務！
4）ss -a發現一個可疑ip以及它的進程，果斷在iptables裏禁止這個ip的所有請求：
-I INPUT -s 180.125.131.192 -j DROP
-----------------------------------------------------------------------------------------------------------
比如：
在一臺服務器上，已經啟動了80端口的nginx進程，但是執行“lsof －i:80”或者"ps -ef"命令後，沒有任何信息輸出！這是為什麽？
懷疑機器上的ps命令被人黑了！執行：
[root@locahost ~]# which ps
/bin/ps
[root@locahost ~]# ls -l /bin/ps
-rwxr-xr-x. 1 root root 85304 5月 11 2016 /bin/ps
[root@locahost ~]# stat /bin/ps
File: "/bin/ps"
Size: 85304 Blocks: 168 IO Block: 4096 普通文件
Device: fc02h/64514d Inode: 13549 Links: 1
Access: (0755/-rwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2017-05-07 17:14:37.862999884 +0800
Modify: 2016-05-11 07:23:09.000000000 +0800
Change: 2017-05-07 17:14:37.146999967 +0800
發現ps命令的二進制文件果然在近期被改動過。
解決辦法：可以拷貝別的機器上的/bin/ps二進制文件覆蓋本機的這個文件。
-------------------------記一次Linux操作系統被入侵的排查過程--------------------------------------
某天突然發現IDC機房一臺測試服務器的流量異常，幾乎占滿了機房的總帶寬，導致其他服務器程序運行業務受阻！
意識到了這臺測試機被人種了木馬，於是開始了緊張的排查過程：
1）運行ps和top命令
發現了兩個陌生名稱的程序（比如mei34hu）占用了大部分CPU資源，顯然這是別人植入的程序！
果斷嘗試kill掉這兩個進程，kill後，測試機流量明顯降下去。然而不幸的是，不一會兒又恢復了之前的狀態。
2）將IDC這臺測試機的外網關閉。遠程通過跳板機內網登陸這臺機器。
3）查看這些陌生程序所在路徑
查找程序路徑：
ls /proc/進程號/exe，然後再次kill掉進程，又會生成一個新的進程名，發現路徑也是隨機在PATH變量的路徑中變換，有時在/bin目錄，有時在/sbin，有時在/usr/bin目錄中。
看來還有後臺主控程序在作怪，繼續查找。
4）嘗試查找跟蹤程序
查看/bin，/sbin，/usr/bin等目錄下是否存在以.開頭的文件名，發現不少，而且部分程序移除後會自動生成。
[root@localhost ~]# ls /usr/bin/. //按Tab鍵補全
./ ../ .ssh.hmac
這說明還沒找到主控程序。
5）接著用strace命令跟蹤這些陌生程序：
[root@localhost ~]# strace /bin/mei34hu
結果發現在跟蹤了這個程序後，它居然自殺了（把自己進程文件幹掉了)！然後想用netstat看下網絡連接情況，結果居然查不到任何對外的網絡連接，於是開始懷疑命令被修改過了。
使用stat 查看系統命令ps、ls 、netstat、pstree等等：
[root@localhost ~]# which ps
/usr/bin/ps
[root@localhost ~]# which ls
alias ls='ls --color=auto'
/usr/bin/ls
[root@localhost ~]# which netstat
/usr/bin/netstat
[root@localhost ~]# stat /usr/bin/netstat
[root@localhost ~]# stat /usr/bin/ps
[root@localhost ~]# stat /usr/bin/ls
......
發現修改時間都是在最近的3天內，這讓我猛然想起傳說中的rootkit用戶態級病毒！！
有可能是這臺測試機剛安裝好系統後，設置了root密碼為123456，之後又把它放到過公網上被人入侵了。
接著查一下它在相關路徑中還放了哪些程序：
[root@localhost ~]# find /bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]# find /usr/bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]# find /use/sbin -mtime -3 -type f | xargs rm -f
[root@localhost ~]# find /sbin -mtime -3 -type f | xargs rm -f
將上面查找出的3天前的程序統統都刪掉，並強制斷電，重啟服務器！然而可恨的是這些程序在機器重啟後又好端端的運行以來！
很明顯，這些程序都被設置了開機自啟動
6）查看系統啟動項
[root@localhost ~]# find /etc/rc.d/ -mtime -3 ! -type d
果然這些程序都被設置了開機自啟動。於是，就再來一次刪除，然後暴力重啟服務器。
[root@localhost ~]# find /bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]# find /usr/bin -mtime -3 -type f | xargs rm -f
[root@localhost ~]# find /use/sbin -mtime -3 -type f | xargs rm -f
[root@localhost ~]# find /sbin -mtime -3 -type f | xargs rm -f
[root@localhost ~]# find /etc/rc.d/ -mtime -3 ! -type d | xargs rm -f
重啟完服務器後，用top命令查看，系統CPU使用率也不高了。居然這樣就被幹掉了。
7）顧慮到系統常用命令中（如ls，ps等）可能會隱藏啟動進程，這樣一旦執行又會拉起木馬程序。於是再查看下系統中是否創建了除root以外的管理員賬號：
[root@localhost ~]# awk -F":" '{if($3 == 0) print $1}' /etc/passwd
root
結果發現只輸入了root這一個用戶，說明系統用戶是正常的。
其實，當系統被感染rootkit後，系統已經變得不可靠了，唯一的辦法就是重裝系統了。
8）對於一些常用命令程序的修復思路：找出常用命令所在的rpm包，然後強制刪除，最後在通過yum安裝（由於外網已拿掉，可以通過squid代理上網的yum下載）
[root@localhost ~]# rpm -qf /bin/ps
[root@localhost ~]# rpm -qf /bin/ls
[root@localhost ~]# rpm -qf /bin/netstat
[root@localhost ~]# rpm -qf /usr/bin/pstree
然後將上面命令查找出來的rpm包強制卸載
[root@localhost ~]# rpm -e --nodeps ......
[root@localhost ~]# rpm -e --nodeps ......
[root@localhost ~]# rpm -e --nodeps ......
[root@localhost ~]# rpm -e --nodeps ......
接著再重新安裝
[root@localhost ~]# yum install -y procps coreutils net-tools psmisc
最後重啟下系統即可。除了上面這次排查之外，還可以：
1）結合服務器的系統日誌/var/log/messages、/var/log/secure進行仔細檢查。
2）將可疑文件設為不可執行，用chattr +ai將幾個重要目錄改為不可添加和修改，再將進程殺了，再重啟
3）chkrootkit之類的工具查一下
對於以上這些梳理的木馬排查的思路要清楚，排查手段要熟練。遇到問題不要慌，靜下心，細查系統日誌，根據上面的排查思路來一步步處理，這樣Hacker就基本"投降"了~~~Linux系統是否被植入木馬的排查流程梳理