crash解析内核的dump文件vmcore，需要其对应内核的二进制文件及符号表

1、运行crash工具：
linux:~ # crash /usr/lrsp/kdump/vmlinux /var/log/dump/2009-06-26-10\:39/vmcore
bt: cannot transition from IRQ stack to current process stack:
        IRQ stack pointer: ffff810629bbfd88
    process stack pointer: ffff81037ce9b938
       current stack base: ffff810508168000
      KERNEL: /usr/lrsp/kdump/vmlinux
    DUMPFILE: /var/log/dump/2009-06-26-10:39/vmcore
        CPUS: 8
        DATE: Fri Jun 26 10:37:56 2009
      UPTIME: 2 days, 17:25:13
LOAD AVERAGE: 496.40, 495.14, 494.47
       TASKS: 1574
    NODENAME: linux
     RELEASE: 2.6.16.46-0.12-smp
     VERSION: #1 SMP Thu May 17 14:00:09 UTC 2007
     MACHINE: x86_64  (2128 Mhz)
      MEMORY: 23.7 GB
       PANIC: "SysRq : Trigger a crashdump"
         PID: 8908
     COMMAND: "amosbreeze"
        TASK: ffff8105ae87b100  [THREAD_INFO: ffff8105e2e22000]
         CPU: 5
       STATE: TASK_RUNNING (SYSRQ)

crash>
可以看到基本系统信息，因为系统运行时的信息全部在内存里，而dump文件就是内存数据的完整保留，又内核页是不会交换出去的，因此内核的数据结构
包括进程队列，内存管理信息、函数堆栈，全部可以查询到。

2、查看dump那一刻系统中telnetd进程的状态，（因为现象是telnet进不去）
crash> ps | grep telnet
   2384   3193   3  ffff8101a81f7080  RU   0.0    6396     28  in.telnetd
   3788   3193   1  ffff81050e88c810  IN   0.0    6396     28  in.telnetd
   5307   3193   5  ffff8102084f30c0  RU   0.0    6396     64  in.telnetd
   6091   3193   1  ffff810628f76850  RU   0.0    6392     60  in.telnetd
   6643   3193   1  ffff8106291b00c0  RU   0.0    6396     60  in.telnetd
   6829   3193   1  ffff810623934040  RU   0.0    6396     28  in.telnetd
  16975   3193   1  ffff8101a81f77d0  RU   0.0    6392     28  in.telnetd
  17953   3193   1  ffff8103403f60c0  RU   0.0    6396     28  in.telnetd
  31331   3193   4  ffff810540cf6100  RU   0.0    6392     60  in.telnetd