2. 程式人生 > >一例併發導致網站cpu 佔用100% 的處理

一例併發導致網站cpu 佔用100% 的處理

阿新 • • 發佈：2019-02-18

最近在早上更新公司網站的客戶管理系統的程式程式碼，更新過後對網站的頁面進行了簡單的訪問測試，都正常，沒有問題。就沒在管。可是過了會，有人反映網站開啟很慢。我於是趕快檢查，確實很慢，半天打不開。然後用遠端桌面開啟伺服器，也是很慢，過了好一會才進到伺服器，開啟工作管理員，發覺客戶管理系統所在的程序w3wp.exe cpu佔用高達100% 。觀察了一會，一直如此，因為並不清楚問題所在，但是這個問題必須馬上解決。嘗試結束此程序，結束後cpu 佔用馬上下來了。這個時候系統馬上重新開啟了一個客戶管理系統所在網站的新程序。此時再訪問客戶管理系統網站，一切都正常。觀察了一段時間，不再出現cpu 佔用100% 的問題。

在windows 事件檢視器中檢視應用程式日誌，發現了sqlserver大量超時資訊。這說明不了什麼，因為w3wp.exe 把cpu都佔用了，自然超時。其他的就是發現了另一個網站 有關redis的操作出現了錯誤。難道是這裡的問題？可又覺得不像，一個網站出現的問題怎麼會影響另一個，又不是在一個程序中。只有先放放了。

第二天上午，由於客服管理系統有新內容更新，再次更新，這次更新過後，同樣的問題又出現了，結束程序後，此問題又消失。看了windows 事件日誌，還是和昨天差不多的樣子。這次我查了下錯誤日誌，發覺大致有3個錯誤比較多。第一個：伺服器無法在已傳送 HTTP 標頭之後設定狀態，因為這個錯誤其他網站MVC類的網站也有，應該不是cpu 佔用100% 導致的。第二個錯誤是：

未將物件引用設定到物件的例項，是在訪問/service/GetReviewMode 出現的，查了下這個action 的寫法，感覺沒什麼問題 。 第三個錯誤：

已添加了具有相同鍵的項 ，同樣是在訪問/service/GetReviewMode 出現的。也沒看出什麼問題。決定再放一放看。
第三天上午，再次更新網站，同樣的問題又出現了。結束程序，問題消失。但這次卻不能掉以輕心，第三次出現，而且是因為在更新時出現，前兩次還可以解釋為湊巧，這次卻再不能這樣解釋了。而我看了錯誤日誌，仍然是訪問/service/GetReviewMode 導致兩個錯誤，一個是未將物件引用設定到物件的例項，另一個是已添加了具有相同鍵的項。這次我仔細看了這兩個錯誤的堆疊提示。
 
其中未將物件引用設定為物件例項的有兩種，第一種：
在 SXF.Utils.EnumDescription.GetFieldTexts(Type enumType, SortType sortType)
   在 SXF.Utils.EnumDescription.GetFieldTexts(Type enumType)
   在 SXF.Utils.EnumDescription.GetFieldText(Object enumValue)
   在 LMSoft.Web.Controllers.ServiceController.GetReviewMode(Int32 status)
第二種： 
在 System.Collections.Generic.Dictionary`2.Insert(TKey key, TValue value, Boolean add)
   在 SXF.Utils.EnumDescription.GetFieldTexts(Type enumType, SortType sortType)
   在 SXF.Utils.EnumDescription.GetFieldTexts(Type enumType)
   在 SXF.Utils.EnumDescription.GetFieldText(Object enumValue)
   在 LMSoft.Web.Controllers.ServiceController.GetReviewMode(Int32 status)
而已添加了具有相同鍵的項的堆疊提示是：
在 System.ThrowHelper.ThrowArgumentException(ExceptionResource resource)
   在 System.Collections.Generic.Dictionary`2.Insert(TKey key, TValue value, Boolean add)
   在 SXF.Utils.EnumDescription.GetFieldTexts(Type enumType, SortType sortType)
   在 SXF.Utils.EnumDescription.GetFieldTexts(Type enumType)
   在 SXF.Utils.EnumDescription.GetFieldText(Object enumValue)
   在 LMSoft.Web.Controllers.ServiceController.GetReviewMode(Int32 status)
這三個錯誤都指向了一個action :GetReviewMode的同一個方法:GetFieldText ，難道這個方法有問題？於是百度，並沒有搜尋到可用的資訊。於是我搜索：
System.Collections.Generic.Dictionary`2.Insert， 這次搜尋到一篇文章，介紹說在單執行緒的時候C# dictionary插入資料，不會出現問題，多執行緒的時候會出現未將物件引用設定為物件例項的錯誤。我這個方法確實是向dictionary中插入資料了，難道是這裡的問題？於是我進行分析，此action 是我在分頁中用ajax呼叫的，用來顯示回訪狀態，並且每頁顯示10行，在載入的時候要呼叫10次，如果公司有多個人同時訪問這個列表頁面，確實可能導致併發問題。於是我分析GetFieldText 方法程式碼：
/// <summary>
        /// 獲得指定列舉型別中，指定值的描述文字
        /// </summary>
        /// <param name="enumValue">列舉值，不要作任何型別轉換</param>
        /// <returns>描述字串</returns>
        public static string GetFieldText(object enumValue)
        {
            List<EnumDescription> fieldTexts = GetFieldTexts(enumValue.GetType()) as List<EnumDescription>;
            if (CollectionHelper.IsNullOrEmpty<EnumDescription>(fieldTexts))
            {
                return string.Empty;
            }
            EnumDescription description = fieldTexts.Find(item => item.m_fieldIno.Name.Equals(enumValue.ToString()));
            if (description == null)
            {
                return string.Empty;
            }
            return description.Description;
        }

這個方法呼叫了GetFieldTexts 方法，而從堆疊輸出上看，就是在這裡出錯的，此方法的原始碼是這樣寫的：
/// <summary>
        /// 獲取列舉型別定義的所有文字，按定義的順序返回
        /// </summary>
        /// <param name="enumType">列舉型別</param>
        /// <returns>所有定義的文字</returns>
        public static IList<EnumDescription> GetFieldTexts(Type enumType)
        {
            return GetFieldTexts(enumType, SortType.Default);
        }
        /// <summary>
        /// 獲取列舉型別定義的所有文字
        /// </summary>
        /// <param name="enumType">列舉型別</param>
        /// <param name="sortType">排序型別</param>
        /// <returns>列舉描述集合</returns>
        public static IList<EnumDescription> GetFieldTexts(Type enumType, SortType sortType)
        {
            if (!EnumDescriptionCache.ContainsKey(enumType.FullName))
            {
                FieldInfo[] fields = enumType.GetFields();
                IList<EnumDescription> list = new List<EnumDescription>();
                foreach (FieldInfo info in fields)
                {
                    object[] customAttributes = info.GetCustomAttributes(typeof(EnumDescription), false);
                    if (customAttributes.Length == 1)
                    {
                        EnumDescription item = (EnumDescription) customAttributes[0];
                        item.m_fieldIno = info;
                        list.Add(item);
                    }
                }
                EnumDescriptionCache.Add(enumType.FullName, list);
            }
            IList<EnumDescription> list2 = EnumDescriptionCache[enumType.FullName];
            if (list2.Count <= 0)
            {
                throw new NotSupportedException("列舉型別[" + enumType.Name + "]未定義屬性EnumValueDescription");
            }
            if (sortType != SortType.Default)
            {
                for (int i = 0; i < list2.Count; i++)
                {
                    for (int j = i; j < list2.Count; j++)
                    {
                        bool flag = false;
                        switch (sortType)
                        {
                            case SortType.DisplayText:
                                if (string.Compare(list2[i].Description, list2[j].Description) > 0)
                                {
                                    flag = true;
                                }
                                break;

                            case SortType.Rank:
                                if (list2[i].EnumRank > list2[j].EnumRank)
                                {
                                    flag = true;
                                }
                                break;
                        }
                        if (flag)
                        {
                            EnumDescription description2 = list2[i];
                            list2[i] = list2[j];
                            list2[j] = description2;
                        }
                    }
                }
            }
            return list2;
        }

這裡先判斷:
if (!EnumDescriptionCache.ContainsKey(enumType.FullName))

然後在不包含的情況下，經過一系列處理插入：
EnumDescriptionCache.Add(enumType.FullName, list);
單執行緒下這樣是沒問題的，但是如果是多執行緒，則這樣處理，沒有鎖定 EnumDescriptionCache 物件，卻是可以導致重複插入的。我看了下 EnumDescriptionCache 的定義，此變數是靜態的。
private static IDictionary<string, IList<EnumDescription>> EnumDescriptionCache = new Dictionary<string, IList<EnumDescription>>();

我們知道一個類的靜態變數，是可以在不同執行緒間公用的。到這裡，幾乎可以確認就是這裡的問題了。而為什麼會在網站更新後才會出現這個問題，那是因為，靜態變數在初始化後在整個應用程式域中一直存在，一旦dll 檔案更新，才會重新初始化。知道是這裡的問題，因此對GetFieldTexts 方法在更新 EnumDescriptionCache 靜態變數時使用鎖來進行處理，防止在處理工程中其他使用者改變這個靜態變數的值。程式碼如下：
/// <summary>
        /// 獲取列舉型別定義的所有文字
        /// </summary>
        /// <param name="enumType">列舉型別</param>
        /// <param name="sortType">排序型別</param>
        /// <returns>列舉描述集合</returns>
        public static IList<EnumDescription> GetFieldTexts(Type enumType, SortType sortType)
        {
            Monitor.Enter(EnumDescriptionCache);
            try
            {
                if (!EnumDescriptionCache.ContainsKey(enumType.FullName))
                {
                    FieldInfo[] fields = enumType.GetFields();
                    IList<EnumDescription> list = new List<EnumDescription>();
                    foreach (FieldInfo info in fields)
                    {
                        object[] customAttributes = info.GetCustomAttributes(typeof(EnumDescription), false);
                        if (customAttributes.Length == 1)
                        {
                            EnumDescription item = (EnumDescription)customAttributes[0];
                            item.m_fieldIno = info;
                            list.Add(item);
                        }
                    }
                    EnumDescriptionCache.Add(enumType.FullName, list);
                }
                IList<EnumDescription> list2 = EnumDescriptionCache[enumType.FullName];
                if (list2.Count <= 0)
                {
                    throw new NotSupportedException("列舉型別[" + enumType.Name + "]未定義屬性EnumValueDescription");
                }
                if (sortType != SortType.Default)
                {
                    for (int i = 0; i < list2.Count; i++)
                    {
                        for (int j = i; j < list2.Count; j++)
                        {
                            bool flag = false;
                            switch (sortType)
                            {
                                case SortType.DisplayText:
                                    if (string.Compare(list2[i].Description, list2[j].Description, StringComparison.Ordinal) > 0)
                                    {
                                        flag = true;
                                    }
                                    break;

                                case SortType.Rank:
                                    if (list2[i].EnumRank > list2[j].EnumRank)
                                    {
                                        flag = true;
                                    }
                                    break;
                            }
                            if (flag)
                            {
                                EnumDescription description2 = list2[i];
                                list2[i] = list2[j];
                                list2[j] = description2;
                            }
                        }
                    }
                }
                return list2;
            }
            finally
            {
                Monitor.Exit(EnumDescriptionCache);
            }

        }

在try 之前加入了Monitor.Enter(EnumDescriptionCache); 進行加鎖，在finally 中進行解鎖：Monitor.Exit(EnumDescriptionCache); 至於為什麼不使用 lock 進行加鎖和解鎖，是因為我看到一篇文章介紹 Lock 與 Monitor 的區別，解釋說：Lock關鍵字實際上是一個語法糖，它將Monitor物件進行封裝，給object加上一個互斥鎖 。也就是說 Lock 實際最終使用的仍然是Monitor 。更改程式碼後在本地進行了測試，然後上傳到伺服器，對伺服器進行監控，這次更新程式碼，未出現客戶管理系統網站cpu 佔用 100% 的情況。上線，經過兩天觀察，沒有再出現cpu 佔用100% 的情況，可以肯定這個問題就是此方法中靜態變數在修改的時候沒有考慮到併發情況導致
本篇文章參考的資料：
http://www.cnblogs.com/chengxingliang/p/3150731.html

http://blog.csdn.net/gaobobo138968/article/details/43672785

相關推薦

一例併發導致網站cpu 佔用100% 的處理

最近在早上更新公司網站的客戶管理系統的程式程式碼，更新過後對網站的頁面進行了簡單的訪問測試，都正常，沒有問題。就沒在管。可是過了會，有人反映網站開啟很慢。我於是趕快檢查，確實很慢，半天打不開。然後用遠端桌面開啟伺服器，也是很慢，過了好一會才進到伺服器，開啟工作管理員，發覺客

Java應用CPU佔用100%原因分析

在linux環境下部署的應用，有時候出於各種原因，出現cpu佔用100%的情況。這時候，就需要快速分析定位cpu佔用的原因。 通常，通過linux系統的top命令，可以看出具體哪個程序佔用了過多的cpu資源。但如果發現是java程序，那麼就需要進一步分析是java程序中的具體哪個執行

linux cpu佔用100%排查

某伺服器上部署了若干tomcat例項，即若干垂直切分的Java站點服務，以及若干Java微服務，突然收到運維的CPU異常告警。 問：如何定位是哪個服務程序導致CPU過載，哪個執行緒導致CPU過載，哪段程式碼導致CPU過載？ 步驟一、找到最耗CPU的程序 工具：top 方法：

Java應用CPU佔用100%原因分析（轉載）

在linux環境下部署的應用，有時候出於各種原因，出現cpu佔用100%的情況。這時候，就需要快速分析定位cpu佔用的原因。 通常，通過linux系統的top命令，可以看出具體哪個程序佔用了過多的cpu資源。但如果發現是java程序，那麼就需要進一步分析是java程序中的具

記錄一次併發導致的錢包金額不一致，後者覆蓋前者

使用的是hibernate  JPA, mysql 5.6 假設            執行緒T1讀取錢包金額為100 同時      &n

VMware執行後，CPU佔用100%的問題解決

1.虛擬機器的記憶體引數過大，高於實體記憶體 http://www.51testing.com/?uid-166582-action-viewspace-itemid-145093 http://www.51testing.com/?uid-166582-action-vie

Java專案伺服器cpu佔用100%解決辦法

 專案上線後執行一段時間，突然發現cpu 8個邏輯核心都佔用100%，心情很緊張，然後就在網上找了一些解決方法，具體如下：         1.查詢哪些程序在耗cpu          進入伺服器，top 命令看一下，發現程序6633佔用了800%         [[e

解決MySQL CPU佔用100%的經驗總結

朋友主機 (Windows 2003 + IIS + PHP + MySQL) 近來 MySQL 服務程序 (MySQLd-nt.exe) CPU 佔用率總為 100% 高居不下。此主機有10個左右的 database，分別給十個網站呼叫。據朋友測試，導致 MySQLd-n

解決SQLServer CPU佔用100%的問題

建索引的方法：ALTER INDEX ALL ON DOA REORGANIZE sp_who active  --看看哪個引起的阻塞, blk sp_lock  --看看鎖住了那個資源id, objid , select object_name(objid) 得到 dbc

java cpu佔用100%分析

主要思路是通過ps分析java程序及相應的佔用高cpu的java執行緒，然後看該執行緒在哪裡一直執行佔用cpu  1:列印使用者、程序id、父程序id、執行緒id（對於此次很重要）、執行時間、CPU使用率、啟動命令並按CPU使用率排序。 ps H -eo user,pid

臨時解決Mac OS系統下kernel_task佔用大量CPU資源導致系統卡頓一例（不用刪plist檔案）

來這裡找解決方案的童鞋，如果你的機器還沒過保。果斷去找官修，忽略這篇文章！ 心急的童鞋直接看目錄，有傳送門！但是仔細看文章可能有奇效！ 最近部落格更新進度嚴重滯後。。 因為我遭遇了一個無比水逆的6月，水逆到我懷疑人生。。 某個懂星座的妹紙算了下，6月海王星逆行天秤

一.背景 先說下windbg使用場景.各位coder在工作中或多或少都會遇到下面四種情況 1.原生代碼好好的,放伺服器上執行一段時間後,IIS服務突然佔用 w3wp.exe CPU突然100% ,

一.背景 先說下windbg使用場景.各位coder在工作中或多或少都會遇到下面四種情況 1.原生代碼好好的,放伺服器上執行一段時間後,IIS服務突然佔用 w3wp.exe CPU突然100% ,不得不回收應用程式池,如果哪次回收晚了,被客戶發現,後果很痛苦~ 2.你的w3wp.

記一次伺服器掛掉，cpu佔用過大的問題

凌晨一點電話：咚咚咚 喂：伺服器掛掉了，你查檢視問題，然後處理下。 我：好的。 從日誌看幾乎所有的logic日誌全都掛掉，不再列印日誌，然後logic程序僵死，佔用cpu百分90多，有些可怕。 第一反應是邏輯迴圈問題。 因為是公司自己的框架採用lua編寫。

記一次jdbc連線oracle資料庫佔用CPU過高的問題排查

    背景：     公司有一個通訊系統，主要是通訊資料到客戶端程式所指定的資料庫，目前支援sqlserver、mysql和oracle三種類型的資料庫，此篇主要記錄一次oracle資料庫佔用CPU飆高的問題。   &nbs

MYSQL "ORDER BY rand()"的坑--容易導致機器負載、CPU佔用過高

在一次微信砍價活動營銷中，使用了4核16G10M頻寬的伺服器支撐業務，本來這個配置跑個PHP+MYSQL+nginx肯定輕輕鬆的事情，可是隨著活動的高潮，併發數一高，機器負載核CPU一下子就達到100% 始終找不到原因，只知道是mysql分配的記憶體不夠，一直給它加，但是重啟m

記一次yarn導致cpu飆高的異常排查經歷

yarn就先不介紹了，這次排坑經歷還是有收穫的，從日誌到堆疊資訊再到原始碼，很有意思，下面聽我說 問題描述： 叢集一臺NodeManager的cpu負載飆高。 程序還在但是看日誌已經不再向ResourceManager傳送心跳，不斷重複下文2的動作。 心跳停止一段時間後會重連上RM但是cpu仍然很高，再過

服務重啟導致的Java服務抖動CPU佔用高

今天后臺組發現新上線的應用CPU總是會佔用過高。（心裡暗罵，新來的運維真無聊，閒著沒事看top幹啥） 首先發送命令 jps -lv 查詢執行的程序pid=18182， [[email protected] service-8072]$ jps 19017 Jp

MySQL案例：一次單核CPU佔用過高問題的處理

客戶現場反饋，top的檢查結果中，一個CPU的佔用一直是100%。實際上現場有4個CPU，而且這個伺服器是mysql專屬伺服器。 我的第一反應是io_thread一類的引數設定有問題，檢查以後發現read和write的thread設定都是4，這和CPU數一致，因此可以斷定這並不是單顆CPU佔用過高的問題。

用 Access 分析網站一例

Option Compare DatabasePublic lngSearchIP(4) As LongPublic strNowIP As StringPublic strOKAddress As StringPublic strOKIP As StringPublic blnStop As Boolean

Linux一句命令之獲取CPU記憶體佔用

命令: while sleep 1; do ps -aux | grep firefox | awk 'NR==1{print "CPU: "$3"%",