使用 Crash 工具分析 Linux dump 文件

Linux 内核（以下简称内核）是一个不与特定进程相关的功能集合，内核的代码很难轻易的在调试器中执行和跟踪。开发者认为，内核如果发生了错误，就不应该继续运行。因此内核发生错误时，它的行为通常被设定为系统崩溃，机器重启。基于动态存储器的电气特性，机器重启后，上次错误发生时的现场会遭到破坏，这使得查找内核的错误变得异常困难。

内核社区和一些商业公司为此开发了很多种调试技术和工具，希望可以让内核的调试变得简单。其中一种是单步跟踪调试方法，即使用代码调试器，一步步的跟踪执行的代码，通过查看变量和寄存器的值来分析错误发生的原因。这一类的调试器有 gdb，kdb， kgdb。另一种方法是在系统崩溃时，将内存保存起来，供事后进行分析。多数情况下，单步调式跟踪可以满足需求，但是单步跟踪调试也有缺点。如遇到如下几种情况时：

• 错误发生在客户的机器上。
• 错误发生在很关键的生产机器上。
• 错误很难重现。

单步调试跟踪方法将无能为力。对于这几种情况，在内核发生错误并崩溃的时候，将内存转储起来供事后分析就显得尤为重要。本文接下来将介绍内核的内存转储机制以及如何对其进行分析。

---

回页首

由于 Linux 的开放性的缘故，在 Linux 下有好几种内存转储机制。下面将对它们分别做简要的介绍。

LKCD(Linux Kernel Crash Dump) 是 Linux 下第一个内核崩溃内存转储项目，它最初由 SGI 的工程师开发和维护。它提供了一种可靠的方法来发现、保存和检查系统的崩溃。LKCD 作为 Linux 内核的一个补丁，它一直以来都没有被接收进入内核的主线。目前该项目已经完全停止开发。

Diskdump 是另外一个内核崩溃内存转储的内核补丁，它由塔高 (Takao Indoh) 在 2004 年开发出来。与 LKCD 相比，Diskdump 更加简单。当系统崩溃时，Diskdump 对系统有完全的控制。为避免混乱，它首先关闭所有的中断；在 SMP 系统上，它还会把其他的 CPU 停掉。然后它校验它自己的代码，如果代码与初始化时不一样。它会认为它已经被破坏，并拒绝继续运行。然后 Diskdump 选择一个位置来存放内存转储。Diskdump 作为一个内核的补丁，也没有被接收进入内核的主线。在众多的发行版中，它也只得到了 RedHat 的支持。

RedHat 在它的 Linux 高级服务器 2.1 的版本中，提供了它自己的第一个内核崩溃内存转储机制：Netdump。 与 LKCD 和 Diskdump 将内存转储保存在本地磁盘不同，当系统崩溃时，Netdump 将内存转储文件通过网络保存到远程机器中。RedHat 认为采用网络方式比采用磁盘保的方式要简单，因为当系统崩溃时，可以在没有中断的情况下使用网卡的论询模式来进行网络数据传送。同时，网络方式对内存转储文件提供了更好的管理支持。与 Diskdump 一样，Netdump 没有被接收进入内核的主线，目前也只有 RedHat 的发行版对 Netdump 提供支持。

Kdump 是一种基于 kexec 的内存转储工具，目前它已经被内核主线接收，成为了内核的一部分，它也由此获得了绝大多数 Linux 发行版的支持。与传统的内存转储机制不同不同，基于 Kdump 的系统工作的时候需要两个内核，一个称为系统内核，即系统正常工作时运行的内核；另外一个称为捕获内核，即正常内核崩溃时，用来进行内存转储的内核。 在本文稍后的内容中，将会介绍如何设置 kump。

MKdump(mini kernel dump) 是 NTT 数据和 VA Linux 开发另一个内核内存转储工具，它与 Kdump 类似，都是基于 kexec，都需要使用两个内核来工作。其中一个是系统内核；另外一个是 mini 内核，用来进行内存转储。与 Kdump 相比，它有以下特点：

• 将内存保存到磁盘。
• 可以将内存转储镜像转换到 lcrash 支持格式。
• 通过 kexec 启动时，mini 内核覆盖第一个内核。

---

回页首

与具有众多的内存转储机制一样，Linux 下也有众多的内存转储分析工具，下面将会逐一做简单介绍。

Lcrash 是随 LKCD 一起发布的一个内内存储分析工具。随着 LKCD 开发的停止，lcrash 的开发也同时停止了。目前它的代码已经被合并进入 Crash 工具中。

Alicia (Advanced Linux Crash-dump Interactive Analyzer，高级 Linux 崩溃内存转储交互分析器 ) 是一个建立在 lcrash 和 Crash 工具之上的一个内存转储分析工具。它使用 Perl 语言封装了 Lcrash 和 Crash 的底层命令，向用户提供了一个更加友好的交互方式和界面。Alicia 目前的开发也已经停滞。

Crash 是由 Dave Anderson 开发和维护的一个内存转储分析工具，目前它的最新版本是 5.0.0。 在没有统一标准的内存转储文件的格式的情况下，Crash 工具支持众多的内存转储文件格式，包括：

• Live linux 系统
• kdump 产生的正常的和压缩的内存转储文件
• 由 makedumpfile 命令生成的压缩的内存转储文件
• 由 Netdump 生成的内存转储文件
• 由 Diskdump 生成的内存转储文件
• 由 Kdump 生成的 Xen 的内存转储文件
• IBM 的 390/390x 的内存转储文件
• LKCD 生成的内存转储文件
• Mcore 生成的内存转储文件

---

回页首

通过前面的学习，你现在可能已经跃跃欲试了。本文接下来的部分，将以 kdump 为例子，向大家演示如何设置系统、如何产生内存转储文件以及如何对内存转储文件进行分析。

如前面所述，支持 kdump 的系统使用两个内核进行工作。目前一些发行版，如 RedHat 和 SUSE 的 Linux 都已经编译并设置好这两个内核。如果你使用其他发行版的 Linux 或者想自己编译内核支持 kdump，那么可以根据如下介绍进行。

1. 使用 root 用户登录系统。
2. 使用 wget 从 Internet 上下载 kexec。

   wget \
    kexec-tools.tar.gz 
   

   
   
3. 解压并安装 kexec 到系统中。

    # tar xvpzf kexec-tools.tar.gz 
    # cd kexec-tools-VERSION 
    # ./configure 
    # make && make install 
   

   
   

• 在 "Processor type and features."选项中启用"kexec system call"。

   CONFIG_KEXEC=y 
  

  
  
• 在"Filesystem" -> "Pseudo filesystems." 中启用"sysfs file system support"。

   CONFIG_SYSFS=y 
  

  
  
• 在"Kernel hacking."中启用"Compile the kernel with debug info"。

   CONFIG_DEBUG_INFO=Y 
  

  
  

• 在"Processor type and features"中启用"kernel crash dumps"。

   CONFIG_CRASH_DUMP=y 
  

  
  
• 在"Filesystems" -> "Pseudo filesystems"中启用"/proc/vmcore support"。

   CONFIG_PROC_VMCORE=y 
  

  
  

Linux 内核支持多种 CPU 架构，这里只介绍捕捉内核在 i386 下的配置

• 在"Processor type and features"中启用高端内存支持。

   CONFIG_HIGHMEM64G=y 
  

  
  
• 在"Processor type and features"中关闭多处理器支持。

   CONFIG_SMP=n 
  

  
  
• 在"Processor type and features"中启用"Build a relocatable kernel"。

   CONFIG_RELOCATABLE=y 
  

  
  
• 在"Processor type and features"->"Physical address where the kernel is loaded"中，为内核设置一个加载起始地址。在大多数的机器上，16M 是一个合适的值。

   CONFIG_PHYSICAL_START=0x1000000 
  

  
  

阅读(2093) | 评论(0) | 转发(0) |

0

上一篇：linux coredump的配置

下一篇：使用 Crash 工具分析 Linux dump 文件