使用ecs 服務器時啟動過慢
問題比較棘手，我排除了CPU、內存不足引起的問題；排除了硬盤空間不足引起的問題；我甚至去觀察了網絡I/O、硬盤I/O情況，都非常正常。程序被阻塞一般來說一定是要等待某個資源，而現在的情況是所有資源都充足，所以我幾乎想不到是什麽問題引起的。我開始懷疑是KVM Hypervisor虛擬化的問題（用的是虛擬機）我改變了策略在VMWare開了兩臺虛擬機上直接下載Tomcat啟動。其中一臺很快啟動，另一臺居然也被阻塞，問題被重現了。眼看要在美女面前丟臉，我光輝偉岸的形象要蕩然無存。這種情況下我不能去“擼”代碼吧？況且Tomcat那麽多人用，真有這麽明顯的Bug早就炸開鍋了。（Tomcat還是很靠譜的不像xxxxStack那麽狗屎）仔細想想我需要找到Tomcat停止在了哪裏？代碼裏發生了什麽事情，但是我又不可能去擼代碼。無可奈何的情況下我決定試一下 strace
strace -f -o strace.out ./catalina.sh run
strace有很多參數，我用了二個參數
-f 跟蹤fork的子進程，通俗的說會跟蹤所有線程的系統調用
-o把內容輸出到文件
其他參數請自行搜索下面分析strace.out文件，分析的方法是從下往上（被阻塞的地方肯定是在最後咯）。首先我們需要去掉Tomcat停止引起的System Call，它們不是我們需要的。從後往前搜索找到SIGINT
紅色部分以上就是引起阻塞的系統調用了，上面有一大堆一大堆的futex
的調用，它是Linux中的一種輕量級的同步方法，所以我們可以判斷出最上面肯定是有某個System Call就是阻塞的真正元兇。跳過所有的futex
：
這個read
就是引起後面一串futex
的真正原因，strace非常聰明它不僅僅給出了System Call還給出了傳遞的參數和返回值，read讀取的是51號文件句柄，沒有返回成功(unfinished)。順著這條路，我們看一下51號文件句柄是什麽
/dev/random是Linux下的隨機函數生成器，讀取它相當於生成隨機數字。搜索它，第一個是wiki
至此似乎一切真相大白了，/dev/random會根據噪音
深入分析
如果用Tomcat /dev/random作為關鍵字基本上就能夠回答我們的疑惑了。Tocmat的Session ID是通過SHA1算法計算得到的，計算Session ID的時候必須有一個密鑰。為了提高安全性Tomcat在啟動的時候回通過隨機生成一個密鑰。在 http://wiki.apache.org/tomcat/HowTo/FasterStartUp (Entropy Source部分)有一段解釋。stackoverflow上面也有一大批這方面的說明，所以這裏就不再多做介紹。明白了問題的原因解決起來就非常簡單了——替換/dev/random為/dev/unrandom，用偽隨機函數生成器(/dev/urandom)來替代隨機函數生成器(/dev/random)。
通過修改Tomcat啟動文件-Djava.security.egd=file:/dev/urandom
通過修改JRE中的java.security文件securerandom.source=file:/dev/urandom
當然JVM的開發者不是傻瓜，Tomcat的開發者也不是二百五。他們之所以沒有選擇/dev/urandom是為了提高系統的安全性，/dev/urandom並不是真正的隨機行為。（其實一般情況下/dev/urandom也是足夠安全的不太容易被“重復”）
徹底解決問題
上面介紹的兩種方式都是用/dev/urandom替換/dev/random，其實還有第三種方式——增大/dev/random的熵池。問題的原因是由於熵池不夠大，所以增大它是最徹底的方法。通過cat /proc/sys/kernel/random/entropy_avail
我們可以查看現在的熵池大小；我們需要找到一種方式來提高這個值就行了。如果你的CPU帶有DRNG特性，可以充分利用硬件來提高熵池產生的速度 。通過cat /proc/cpuinfo | grep rdrand
可以查看自己的CPU是否支持，一般來說Intel的Ivy_Bridge架構的CPU都支持（i3、i5需要註意是否采用該種架構，i7和xeon基本上都支持）；AMD的CPU在2015年以後生成的都支持。（如果你是虛擬機需要開啟額外的參數)。如果你的硬件不支持，也沒有關系，我們可以讓/dev/unrandom來做“熵源”。以Centos7為例，
yum install rngd-tools
或者yum install rng-tools
安裝rngd服務（熵服務）
systemctl start rngd
啟動服務
如果你的CPU不支持DRNG特性或者像我一樣使用虛擬機，可以使用/dev/unrandom來模擬。
cp /usr/lib/systemd/system/rngd.service /etc/systemd/system
編輯/etc/systemd/system/rngd.service
service小結，ExecStart=/sbin/rngd -f -r /dev/urandom
systemctl daemon-reload
重新載入服務
systemctl restart rngd
重啟服務
經過上面的修改，我們再觀察/proc/sys/kernel/random/entropy_avail
基本上在3000左右。我們可以測試一下隨機數的生成速度
watch -n 1 cat /proc/sys/kernel/random/entropy_avail
觀察這個值
新打開一個shell，用dd命令測試隨機數。dd if=/dev/random of=random.dat count=40960
[[email protected] bin]# dd if=/dev/random of=random.dat count=40960記錄了0+40960 的讀入記錄了6004+1 的寫出3074362字節(3.1 MB)已復制，5.01017 秒，614 kB/秒
5秒產生了40960個隨機數，/proc/sys/kernel/random/entropy_avail會有劇烈的變化，所有隨機數產生之後它又會保持在3000左右。
選擇哪種解決方法
個人建議選擇第三種方式，熵池不僅僅Tomcat用，Linux下的所有應用程序產生隨機數都會用到這個，所以不僅僅是Tomcat可能被阻塞。如果你搜索會發現Apache、Nginx、OpenSSL都被這個問題坑過。如果我們通過修改Java的配置來解決這個問題其實只是解決Java應用程序的問題，只能是治標不治本。根治的方法應該是通過rngd
提高隨機數生成的速度。
總結
經驗不是經歷。用別人的經驗解決一個問題不難，難的是自己從頭走一遍這條路，更加難的是推翻前人的經驗對一個問題能夠有自己的看法和領悟。這個案例加深了我對strace
的理解，對於空中加油
這種類型的系統調試有了自己的經驗；通過對原因的深入分析我找到了更好的辦法。這就是康德精神——思考、批判、理性。
如何重現故障
可以很容易的重現文章中描述的故障
systemctl stop rngd
停止rngd服務（如果你有啟動rngd）
查看當前熵池的大小cat /proc/sys/kernel/random/entropy_avail
head -c1024 /dev/random
，強制消費1024個隨機數，系統會長時間沒有反應。直接ctrl+c
再次查看熵池的大小cat /proc/sys/kernel/random/entropy_avail
，保證它的大小在盡可能的小
啟動tomcat，會發現長時間很長時間的等待
作者：把愛放下會走更遠
鏈接：http://www.jianshu.com/p/576d356dc163
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。
原文鏈接 @ http://www.jianshu.com/p/576d356dc163
使用ecs 服務器時啟動過慢