使用Crash工具分析 Linux dump檔案
前言
Linux 核心（以下簡稱核心）是一個不與特定程序相關的功能集合，核心的程式碼很難輕易的在偵錯程式中執行和跟蹤。開發者認為，核心如果發生了錯誤，就不應該繼續運 行。因此核心發生錯誤時，它的行為通常被設定為系統崩潰，機器重啟。基於動態儲存器的電氣特性，機器重啟後，上次錯誤發生時的現場會遭到破壞，這使得查詢 核心的錯誤變得異常困難。
核心社群和一些商業公司為此開發了很多種除錯技術和工具，希望可以讓核心的除錯變得簡單。其中一種是單步跟蹤除錯方法，即使用程式碼偵錯程式，一 步步的跟蹤執行的程式碼，通過檢視變數和暫存器的值來分析錯誤發生的原因。這一類的偵錯程式有 gdb，kdb， kgdb。另一種方法是在系統崩潰時，將記憶體儲存起來，供事後進行分析。多數情況下，單步調式跟蹤可以滿足需求，但是單步跟蹤除錯也有缺點。如遇到如下幾 種情況時：
- 錯誤發生在客戶的機器上。
- 錯誤發生在很關鍵的生產機器上。
- 錯誤很難重現。
單步除錯跟蹤方法將無能為力。對於這幾種情況，在核心發生錯誤並崩潰的時候，將記憶體轉儲起來供事後分析就顯得尤為重要。本文接下來將介紹核心 的記憶體轉儲機制以及如何對其進行分析。
核心的記憶體轉儲機制
由於 Linux 的開放性的緣故，在 Linux 下有好幾種記憶體轉儲機制。下面將對它們分別做簡要的介紹。
LKCD
LKCD(Linux Kernel Crash Dump) 是 Linux 下第一個核心崩潰記憶體轉儲專案，它最初由 SGI 的工程師開發和維護。它提供了一種可靠的方法來發現、儲存和檢查系統的崩潰。LKCD 作為 Linux 核心的一個補丁，它一直以來都沒有被接收進入核心的主線。目前該專案已經完全停止開發。
Diskdump
Diskdump 是另外一個核心崩潰記憶體轉儲的核心補丁，它由塔高 (Takao Indoh) 在 2004 年開發出來。與 LKCD 相比，Diskdump 更加簡單。當系統崩潰時，Diskdump 對系統有完全的控制。為避免混亂，它首先關閉所有的中斷；在 SMP 系統上，它還會把其他的 CPU 停掉。然後它校驗它自己的程式碼，如果程式碼與初始化時不一樣。它會認為它已經被破壞，並拒絕繼續執行。然後 Diskdump 選擇一個位置來存放記憶體轉儲。Diskdump 作為一個核心的補丁，也沒有被接收進入核心的主線。在眾多的發行版中，它也只得到了 RedHat 的支援。
Netdump
RedHat 在它的 Linux 高階伺服器 2.1 的版本中，提供了它自己的第一個核心崩潰記憶體轉儲機制：Netdump。 與 LKCD 和 Diskdump 將記憶體轉儲儲存在本地磁碟不同，當系統崩潰時，Netdump 將記憶體轉儲檔案通過網路儲存到遠端機器中。RedHat 認為採用網路方式比採用磁碟保的方式要簡單，因為當系統崩潰時，可以在沒有中斷的情況下使用網絡卡的論詢模式來進行網路資料傳送。同時，網路方式對記憶體轉儲 檔案提供了更好的管理支援。與 Diskdump 一樣，Netdump 沒有被接收進入核心的主線，目前也只有 RedHat 的發行版對 Netdump 提供支援。
Kdump
Kdump 是一種基於 kexec 的記憶體轉儲工具，目前它已經被核心主線接收，成為了核心的一部分，它也由此獲得了絕大多數 Linux 發行版的支援。與傳統的記憶體轉儲機制不同不同，基於 Kdump 的系統工作的時候需要兩個核心，一個稱為系統核心，即系統正常工作時執行的核心；另外一個稱為捕獲核心，即正常核心崩潰時，用來進行記憶體轉儲的核心。 在本文稍後的內容中，將會介紹如何設定 kump。
MKdump
MKdump(mini kernel dump) 是 NTT 資料和 VA Linux 開發另一個核心記憶體轉儲工具，它與 Kdump 類似，都是基於 kexec，都需要使用兩個核心來工作。其中一個是系統核心；另外一個是 mini 核心，用來進行記憶體轉儲。與 Kdump 相比，它有以下特點：
- 將記憶體儲存到磁碟。
- 可以將記憶體轉儲映象轉換到 lcrash 支援格式。
- 通過 kexec 啟動時，mini 核心覆蓋第一個核心。
各種記憶體轉儲分析工具
與具有眾多的記憶體轉儲機制一樣，Linux 下也有眾多的記憶體轉儲分析工具，下面將會逐一做簡單介紹。
Lcrash
Lcrash 是隨 LKCD 一起釋出的一個內記憶體儲分析工具。隨著 LKCD 開發的停止，lcrash 的開發也同時停止了。目前它的程式碼已經被合併進入 Crash 工具中。
Alicia
Alicia (Advanced Linux Crash-dump Interactive Analyzer，高階 Linux 崩潰記憶體轉儲互動分析器 ) 是一個建立在 lcrash 和 Crash 工具之上的一個記憶體轉儲分析工具。它使用 Perl 語言封裝了 Lcrash 和 Crash 的底層命令，向用戶提供了一個更加友好的互動方式和介面。Alicia 目前的開發也已經停滯。
Crash
Crash 是由 Dave Anderson 開發和維護的一個記憶體轉儲分析工具，目前它的最新版本是 5.0.0。 在沒有統一標準的記憶體轉儲檔案的格式的情況下，Crash 工具支援眾多的記憶體轉儲檔案格式，包括：
- Live linux 系統
- kdump 產生的正常的和壓縮的記憶體轉儲檔案
- 由 makedumpfile 命令生成的壓縮的記憶體轉儲檔案
- 由 Netdump 生成的記憶體轉儲檔案
- 由 Diskdump 生成的記憶體轉儲檔案
- 由 Kdump 生成的 Xen 的記憶體轉儲檔案
- IBM 的 390/390x 的記憶體轉儲檔案
- LKCD 生成的記憶體轉儲檔案
- Mcore 生成的記憶體轉儲檔案
使用 Crash 分析記憶體轉儲檔案的例子
通過前面的學習，你現在可能已經躍躍欲試了。本文接下來的部分，將以 kdump 為例子，向大家演示如何設定系統、如何產生記憶體轉儲檔案以及如何對記憶體轉儲檔案進行分析。
kdump 的安裝設定
如前面所述，支援 kdump 的系統使用兩個核心進行工作。目前一些發行版，如 RedHat 和 SUSE 的 Linux 都已經編譯並設定好這兩個核心。如果你使用其他發行版的 Linux 或者想自己編譯核心支援 kdump，那麼可以根據如下介紹進行。
安裝 kexec
- 使用 root 使用者登入系統。
- 使用 wget 從 Internet 上下載 kexec。
wget http://www.kernel.org/pub/linux/kernel/people/horms/kexec-tools/\ kexec-tools.tar.gz
- 解壓並安裝 kexec 到系統中。
# tar xvpzf kexec-tools.tar.gz # cd kexec-tools-VERSION # ./configure # make && make install
配置系統核心和捕捉核心都需要的核心選項：
- 在 "Processor type and features."選項中啟用"kexec system call"。
CONFIG_KEXEC=y
- 在"Filesystem" -> "Pseudo filesystems." 中啟用"sysfs file system support"。
CONFIG_SYSFS=y
- 在"Kernel hacking."中啟用"Compile the kernel with debug info"。
CONFIG_DEBUG_INFO=Y
配置捕捉核心的與架構無關的選項：
- 在"Processor type and features"中啟用"kernel crash dumps"。
CONFIG_CRASH_DUMP=y
- 在"Filesystems" -> "Pseudo filesystems"中啟用"/proc/vmcore support"。
CONFIG_PROC_VMCORE=y
配置捕捉核心的與架構相關的選項：
Linux 核心支援多種 CPU 架構，這裡只介紹捕捉核心在 i386 下的配置
- 在"Processor type and features"中啟用高階記憶體支援。
CONFIG_HIGHMEM64G=y
- 在"Processor type and features"中關閉多處理器支援。
CONFIG_SMP=n
- 在"Processor type and features"中啟用"Build a relocatable kernel"。
CONFIG_RELOCATABLE=y
- 在"Processor type and features"->"Physical address where the kernel is loaded"中，為核心設定一個載入起始地址。在大多數的機器上，16M 是一個合適的值。
CONFIG_PHYSICAL_START=0x1000000
載入新的系統核心
- 編譯系統核心和捕捉核心。
- 將重新編譯好的核心新增到啟動引導中，注意不要將捕捉核心新增到啟動引導選單中。
- 給系統核心新增啟動引數"crashkernel=Y@X"，這裡，Y 是為 dump 捕捉核心保留的記憶體，X 是保留部分記憶體的開始位置。在 i386 的機器上，設定"crashkernel=64M@16M"。
- 重啟機器，在啟動選單中選擇新新增的啟動項，啟動新的系統核心。
載入捕捉核心
在系統核心引導完成後，需要將捕捉核心載入到記憶體中。使用 kexec 工具將捕捉核心載入到記憶體：
# kexec -p <dump-capture-kernel-bzImage> \ --initrd=<initrd-for-dump-capture-kernel> \ --append="root=<root-dev> <arch-specific-options>"
觸發核心崩潰
在捕捉核心被載入進入記憶體後，如果系統崩潰開關被觸發，則系統會自動切換進入捕捉核心。觸發系統崩潰的開關有 panic()，die()，die_nmi() 核心函式和 sysrq 觸發事件，可以使用其中任意的一個來觸發核心崩潰。不過，在讓核心崩潰之前，我們還需要做一些安裝設定。
Crash 工具的安裝設定
Crash 目前的最新的版本是 5.0.0, 你可以從它的官方網站下載最新的版本。下載完成後對其進行解壓安裝。
# tar -zvxf crash-5.0.0.tar.gz # cd crash-5.0.0 # ./configure # make &&make install
生成記憶體轉儲檔案
現在已經設定好 Kdump 和 crash，現在可以使用前面介紹的系統崩潰開關中的任意一個來引發系統崩潰來生成一個記憶體轉儲檔案，並可以使用 crash 對其進行分析。
首先，觸發系統崩潰，這裡使用 sysrq 觸發事件。
# echo c > /proc/sysrq-trigger
緊接著，系統會自動啟動捕捉核心。待完全啟動進入捕捉核心後，通過以下命令儲存記憶體轉儲檔案。
# cp /proc/vmcore mydumpfile
將在當前目錄生成一個 mydumpfile 檔案。
分析記憶體轉儲檔案
現在有了一個記憶體轉儲檔案，接下來使用 crash 對其進行分析
# crash vmlinux mydumpfile
這裡 vmlinux 是帶除錯資訊的核心。如果一切正常，將會進入到 crash 中，如圖 1 所示。
圖 1. crash 命令提示符
在該提示符下，可以執行 crash 的內部命令。通過 crash 的內部命令，可以檢視暫存器的值、函式的呼叫堆疊等資訊。在圖 2 中，顯示了執行 bt 命令後得到的函式呼叫的堆疊資訊。
圖 2. 函式呼叫堆疊資訊
crash 使用 gdb 作為它的內部引擎，crash 中的很多命令和語法都與 gdb 相同。如果你曾經使用過 gdb，就會發現 crash 並不是很陌生。如果想獲得 crash 更多的命令和相關命令的詳細說明，可以使用 crash 的內部命令 help 來 獲取。
本文永久更新連結： http://embeddedlinux.org.cn/emb-linux/system-development/201903/21-8595.html