使用 ftrace 调试 Linux 内核--3

原作者
王 生辉, 软件工程师, EMC

李 骅宸, 实习生, EMC

内核头文件 include/linux/kernel.h 中描述了 ftrace 提供的工具函数的原型，这些函数包括 trace_printk、tracing_on/tracing_off 等。本文通过示例模块程序向读者展示如何在代码中使用这些工具函数。

使用 trace_printk 打印跟踪信息

ftrace 提供了一个用于向 ftrace 跟踪缓冲区输出跟踪信息的工具函数，叫做 trace_printk()，它的使用方式与 printk() 类似。可以通过 trace 文件读取该函数的输出。从头文件 include/linux/kernel.h 中可以看到，在激活配置 CONFIG_TRACING 后，trace_printk() 定义为宏：

     #define trace_printk(fmt, args...)   		 \ 
        ...

下面通过一个示例模块 ftrace_demo 来演示如何使用 trace_printk() 向跟踪缓冲区输出信息，以及如何查看这些信息。这里的示例模块程序中仅提供了初始化和退出函数，这样读者不会因为需要为模块创建必要的访问接口比如设备文 件而分散注意力。注意，编译模块时要加入 -pg 选项。

清单 1. 示例模块 ftrace_demo

 /*                                                     
 * ftrace_demo.c 
 */                                                    
 #include  
 #include  
 #include  

 MODULE_LICENSE("GPL"); 

 static int ftrace_demo_init(void) 
 { 
	 trace_printk("Can not see this in trace unless loaded for the second time\n"); 
	 return 0; 
 } 

 static void ftrace_demo_exit(void) 
 { 
	 trace_printk("Module unloading\n"); 
 } 

 module_init(ftrace_demo_init); 
 module_exit(ftrace_demo_exit);

示例模块非常简单，仅仅是在模块初始化函数和退出函数中输出信息。接下来要对模块的运行进行跟踪，如清单 2 所示。

清单 2. 对模块 ftrace_demo 进行跟踪

 [root@linux tracing]# pwd 
 /sys/kernel/debug/tracing 
 [root@linux tracing]# echo 0 > tracing_enabled 
 [root@linux tracing]# echo 1 > /proc/sys/kernel/ftrace_enabled 
 [root@linux tracing]# echo function_graph > current_tracer 

 # 事先加载模块 ftrace_demo 

 [root@linux tracing]# echo ':mod:ftrace_demo' > set_ftrace_filter 
 [root@linux tracing]# cat set_ftrace_filter 
 ftrace_demo_init 
 ftrace_demo_exit 

 # 将模块 ftrace_demo 卸载

 [root@linux tracing]# echo 1 > tracing_enabled 

 # 重新进行模块 ftrace_demo 的加载与卸载操作

 [root@linux tracing]# cat trace 
 # tracer: function_graph 
 # 
 # CPU  DURATION                  FUNCTION CALLS 
 # |     |   |                     |   |   |   | 
 1)               |  /* Can not see this in trace unless loaded for the second time */ 
 0)               |  /* Module unloading */

在这个例子中，使用 mod 指令显式指定跟踪模块 ftrace_demo 中的函数，这需要提前加载该模块，否则在写文件 set_ftrace_filter 时会因为找不到该模块报错。这样在第一次加载模块时，其初始化函数 ftrace_demo_init 中调用 trace_printk 打印的语句就跟踪不到了。因此这里会将其卸载，然后激活跟踪，再重新进行模块 ftrace_demo 的加载与卸载操作。最终可以从文件 trace 中看到模块在初始化和退出时调用 trace_printk() 输出的信息。

这里仅仅是为了以简单的模块进行演示，故只定义了模块的 init/exit 函数，重复加载模块也只是为了获取初始化函数输出的跟踪信息。实践中，可以在模块的功能函数中加入对 trace_printk 的调用，这样可以记录模块的运作情况，然后对其特定功能进行调试优化。还可以将对 trace_printk() 的调用通过宏来控制编译，这样可以在调试时将其开启，在最终发布时将其关闭。

回页首

使用 tracing_on/tracing_off 控制跟踪信息的记录

在 跟踪过程中，有时候在检测到某些事件发生时，想要停止跟踪信息的记录，这样，跟踪缓冲区中较新的数据是与该事件有关的。在用户态，可以通过向文件 tracing_on 写入 0 来停止记录跟踪信息，写入 1 会继续记录跟踪信息。而在内核代码中，可以通过函数 tracing_on() 和 tracing_off() 来做到这一点，它们的行为类似于对 /sys/kernel/debug/tracing 下的文件 tracing_on 分别执行写 1 和 写 0 的操作。使用这两个函数，会对跟踪信息的记录控制地更准确一些，这是因为在用户态写文件 tracing_on 到实际暂停跟踪，中间由于上下文切换、系统调度控制等可能已经经过较长的时间，这样会积累大量的跟踪信息，而感兴趣的那部分可能会被覆盖掉了。

现在对清单 1 中的代码进行修改，使用 tracing_off() 来控制跟踪信息记录的暂停。

清单 3. 使用 tracing_off 的模块 ftrace_demo

 /*                                                     
 * ftrace_demo.c 
 *     modified to demostrate the usage of tracing_off 
 */                                                    
 #include  
 #include  
 #include  

 MODULE_LICENSE("GPL"); 

 static int ftrace_demo_init(void) 
 { 		
	 trace_printk("ftrace_demo_init called\n"); 
	 tracing_off(); 
	 return 0; 
 } 

 static void ftrace_demo_exit(void) 
 { 
	 trace_printk("ftrace_demo_exit called\n"); 
	 tracing_off(); 
 } 

 module_init(ftrace_demo_init); 
 module_exit(ftrace_demo_exit);

下面对其进行跟踪，如清单 4 所示。

清单 4. 跟踪

 [root@linux tracing]# pwd 
 /sys/kernel/debug/tracing 
 [root@linux tracing]# echo 0 > tracing_enabled 
 [root@linux tracing]# echo 1 > /proc/sys/kernel/ftrace_enabled 
 [root@linux tracing]# echo 1 > tracing_on 
 [root@linux tracing]# echo function > current_tracer 
 [root@linux tracing]# echo 1 > tracing_enabled 

 # 加载模块 ftrace_demo，模块初始化函数 ftrace_demo_init 被调用

 [root@linux tracing]# cat tracing_on 
 0 
 [root@linux tracing]# cat trace | wc -l 
 120210 
 [root@linux tracing]# cat trace | grep -n ftrace_demo_init 
 120187:      insmod-2897  [000]  2610.504611: ftrace_demo_init <-do_one_initcall 
 120193:      insmod-2897  [000]  2610.504667: ftrace_demo_init: ftrace_demo_init called 

 [root@linux tracing]# echo 1 > tracing_on   # 继续跟踪信息的记录

 # 卸载模块 ftrace_demo，模块函数 ftrace_demo_exit 被调用

 [root@linux tracing]# cat tracing_on 
 0 
 [root@linux tracing]# wc -l trace 
 120106 trace 
 [root@linux tracing]# grep -n ftrace_demo_exit trace 
 120106:           rmmod-2992  [001]  3016.884449: : ftrace_demo_exit called

在 这个例子中，跟踪开始之前需要确保 tracing_on 的值为 1。跟踪开始后，加载模块 ftrace_demo，其初始化方法 ftrace_demo_init 被调用，该方法会调用 tracing_off() 函数来暂停跟踪信息的记录，这时文件 tracing_on 的值被代码设置为 0。查看文件 trace，可以看到 ftrace_demo_init 相关的记录位于跟踪信息的末端，这是因为从调用 trace_off() 到其生效需要一段时间，这段时间中的内核活动会被记录下来；相比从用户态读写 tracing_on 文件，这段时间开销要小了许多。卸载模块时的情况与此类似。从这里可以看到，在代码中使用 tracing_off() 可以控制将感兴趣的信息保存在跟踪缓冲区的末端位置，不会很快被新的信息所覆盖，便于及时查看。

实际代码中，可以通过特定条件（比如检测到某种异常状况，等等）来控制跟踪信息的记录，函数的使用方式类似如下的形式：

 if (condition) 
	 tracing_on() or tracing_off()

跟踪模块运行状况时，使用 ftrace 命令操作序列在用户态进行必要的设置，而在代码中则可以通过 traceing_on() 控制在进入特定代码区域时开启跟踪信息，并在遇到某些条件时通过 tracing_off() 暂停；读者可以在查看完感兴趣的信息后，将 1 写入 tracing_on 文件以继续记录跟踪信息。实践中，可以通过宏来控制是否将对这些函数的调用编译进内核模块，这样可以在调试时将其开启，在最终发布时将其关闭。

用户态的应用程序可以通过直接读写文件 tracing_on 来控制记录跟踪信息的暂停状态，以便了解应用程序运行期间内核中发生的活动。

回页首

小结

本 系列文章对 ftrace 的配置和使用进行了介绍。本文是其中的第三部分，通过示例代码介绍了 ftrace 所提供的部分工具函数的使用，包括 trace_printk、tracing_on/tracing_off 。至此，本系列文章的所有内容都已经介绍完毕。通过本系列文章，读者可以了解如何使用 ftrace 来对内核进行调试和分析。ftrace 使用起来非常灵活，并且支持多种跟踪器，而且它的框架结构使得在添加新的跟踪器的时候会比较方便。读者可以在以后的工作和学习中探索 ftrace 的各种用法。

参考文献

• 内核文档 Documentation/trace/ftrace.txt。
• 上的 以及其它与 ftrace 相关的文章。
• 查看内核源码 目录下的文件以了解工具函数的具体实现。
• 对驱动程序模块的开发进行了讲解。
• 描述了 Linux 内核的实现。
• 在 developerWorks Linux 专区 寻找为 Linux 开发人员（包括 Linux 新手入门）准备的更多参考资料，查阅我们 最受欢迎的文章和教程。
• 在 developerWorks 上查阅所有 Linux 技巧 和 Linux 教程。