2. 程式人生 > >k8s出現問題導致cpu使用率過高

k8s出現問題導致cpu使用率過高

阿新 • • 發佈：2019-01-07

今天突然發現k8s的dashboard很卡，進到master節點，用top命令檢視，發現如下資訊：

  • cpu使用率很高，主要是si（軟中斷）佔用了80%
  • iptables命令是佔用cpu最高的

於是用iptables -L命令檢視iptables規則，發現提示另一個app鎖住了iptables。
於是用iptables -L -w命令等待一段時間後，發現瘋狂刷iptables規則，於是得出結論：

  • 有一個程式在一直往iptables裡寫東西

    由於安裝k8s叢集的時候清空了iptables規則，也沒有注意到底哪一步設定了iptables規則，所以毫無頭緒，只好把k8s重新部署一遍（順便升級到1.10.0）

重新部署後發現問題所在：

  • 在node節點部署kubelet時，配置了systemd unit檔案，裡面有新增iptables規則，且設定瞭如果啟動失敗每5秒嘗試重啟一次。
  • 於是當kubelet啟動失敗時，它就重啟一次，然後加幾條iptables規則，於是就一直寫下去
  • 我第一次部署的時候估計在master節點安裝了kubelet，但是啟動沒有成功，當時也沒在意，導致問題出現
  • 重新部署後該問題解決

相關推薦

k8s出現問題導致cpu使用率過高

今天突然發現k8s的dashboard很卡，進到master節點，用top命令檢視，發現如下資訊： cpu使用率很高，主要是si（軟中斷）佔用了80% iptables命令是佔用cpu最高的 於是用iptables -L命令檢視iptables規則，發現

效能分析（5）- 軟中斷導致 CPU 使用率過高的案例

效能分析小案例系列，可以通過下面連結檢視哦 https://www.cnblogs.com/poloyy/category/1814570.html   前言 軟中斷基本原理，可參考這篇部落格：https://www.cnblogs.com/poloyy/p/13435519.html  

MYSQL "ORDER BY rand()"的坑--容易導致機器負載、CPU佔用過高

在一次微信砍價活動營銷中，使用了4核16G10M頻寬的伺服器支撐業務，本來這個配置跑個PHP+MYSQL+nginx肯定輕輕鬆的事情，可是隨著活動的高潮，併發數一高，機器負載核CPU一下子就達到100% 始終找不到原因，只知道是mysql分配的記憶體不夠，一直給它加，但是重啟m

Kafka-python 客戶端導致的 cpu 使用過高，且無法消費消息的問題

的確 fse get sum req 今天 als top report 今天遇到一個情況使用了 Kafka-python 1.3.3 來操作讀取 broker 1.0.1 版本的 kafka。出現了 rebalance 之後分配到了客戶端，但是 cpu 利用率很高且無法消

假設生產環境出現CPU佔用過高，請談談你的分析思路和定位

0、top 1、檢視佔用cpu大的程序 jps -l 或者 ps -ef|grep java|grep -v grep&n

效能分析（3）- 短時程序導致使用者 CPU 使用率過高案例

效能分析小案例系列，可以通過下面連結檢視哦 https://www.cnblogs.com/poloyy/category/1814570.html   系統架構背景 VM1：用作 Web 伺服器，來模擬效能問題 VM2：用作 Web 伺服器的客戶端，來給 Web 服務增加壓力請求 使用兩臺虛擬

postgresql某進程占用cpu資源過高，降不下來

ted 影響 字段 出了 reat con sha 應該 effect 由於是開發階段，所以並沒有配置postgres的參數，都是使用安裝時的默認配置，以前運行也不見得有什麽不正常，可是前幾天我的cpu資源占用突然升高.查看進程，發現有一個postgres的進程占用CPU都

空循環導致CPU使用率很高

size 但是 同步 環境 服務 ack 明顯 優先 html 業務背景 　　業務背景就是需要將多張業務表中的數據增量同步到一張大寬表中，後臺系統基於這張大寬表開展業務，所以就開發了一個數據同步工具，由中間件采集binlog消息到kafka裏，然後我去消費，實現增量同步。

效能優化-CPU佔用過高問題排查

1. 效能優化是什麼？ 1.1 效能優化就是發揮機器本來的效能 1.2 效能瓶頸在哪裡，木桶效應。   CPU佔用過高 1、現象重現 CPU佔用過高一般情況是程式碼中出現了迴圈呼叫，最容易出現的情況有幾種： a)遞迴呼叫，退出機制設計的不夠

kipmio佔用cpu資源過高

雖然這是一個利用空餘的CPU資源進行一些介面自動調節的任務，但看著佔那麼多的資源還是怕出意外。 可以臨時降低 echo 100 > /sys/module/ipmi_si/parameters/kipmid_max_busy_us 永久減低 編輯（沒有自行建立）/etc/modprobe.d/i

SQL Server效能優化案例分享（1）——CPU持續過高——CPU高使用率的常見原因及處理方向

本系列屬於 SQL Server效能優化案例分享 專題     部分內容借用《SQL Server 2012實施與管理實戰指南》P592，如果SQL Server錯誤日誌裡面並沒有17883/17884這類錯誤，但是SQ

linux 排查cpu負載過高異常

問：如何定位是哪個服務程序導致CPU過載，哪個執行緒導致CPU過載，哪段程式碼導致CPU過載？ 步驟一、找到最耗CPU的程序 工具：top 方法： 執行top -c ，顯示程序執行資訊列表 鍵入P (大寫p)，程序按照CPU使用率排序 圖示： 如上圖，最耗CPU的程序P

sqlservr.exe cpu使用率過高 （資料庫訪問有阻塞）-轉載

--1、統計佔用cpu最多的查詢，比如前10 SELECT TOP 10 total_worker_time AS TotalTime, total_worker_time/execution_count AS avg_cpu_cost, plan_handle, execution_co

cpu佔用過高排查

top命令是Linux下常用的效能分析工具，能夠實時顯示系統中各個程序的資源佔用狀況，類似於Windows的工作管理員 內容解釋： PID：程序的ID USER：程序所有者 PR：程序的優先級別，越小越優先被執行 NInice：值 VIRT：程序佔用的虛擬記憶體 RES：程序佔用的實體記憶體 SHR：程

CPU負載過高異常排查實踐與總結

昨天下午突然收到運維郵件報警，顯示資料平臺伺服器cpu利用率達到了98.94%，而且最近一段時間一直持續在70%以上，看起來像是硬體資源到瓶頸需要擴容了，但仔細思考就會發現咱們的業務系統並不是一個高併發或者CPU密集型的應用，這個利用率有點太誇張，硬體瓶頸應該不會這麼快就到了，一定是哪裡的業務程式碼邏輯有問題

java執行CPU佔用過高追蹤

流程執行命令： 1.top  查到pid 28555 2.ps aux|grep 28555 確定到是tomcat的程序 3.顯示執行緒列表 ps -mp 28555 -o THREAD,tid,time   查到tid 28802 4. printf "%x\n" 2880

程序上下文頻繁切換導致load average過高（轉）

一、問題現象 現網有兩臺虛擬機器主機95%的cpu處於idle狀態，記憶體使用率也不是特別高，而主機的load average達到了40多。 二、問題分析 先在主機上通過top、free、ps、iostat 等常用工具分析了下主機的CPU、記憶體、IO使用情況，發現三者都不高。

linux檢視java程序cpu佔用過高

 linux下查詢java程序佔用CPU過高原因1. 查詢程序top檢視程序佔用資源情況明顯看出java的兩個程序22714，12406佔用過高cpu. 2.查詢執行緒使用top -H -p <pid>檢視執行緒佔用情況 3.查詢java的堆疊資訊將執行緒id轉換成十

Win10 服務主機：本地系統 CPU佔用過高

這種情況，一般開機後，本地系統的CPU佔用就一直維持在30%左右，風扇一直轉很耗電。 可能是windows版本的問題，我在不同的機子上裝了四五個系統，都出現了這種情況。 解決方法如下： 1. 找到工作管理員中的“ 服務主機：本地系統”->“Windows Upda

MySQL案例：一次單核CPU佔用過高問題的處理

客戶現場反饋，top的檢查結果中，一個CPU的佔用一直是100%。實際上現場有4個CPU，而且這個伺服器是mysql專屬伺服器。 我的第一反應是io_thread一類的引數設定有問題，檢查以後發現read和write的thread設定都是4，這和CPU數一致，因此可以斷定這並不是單顆CPU佔用過高的問題。