Chinaunix首页 | 论坛 | 博客
  • 博客访问: 279320
  • 博文数量: 94
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 202
  • 用 户 组: 普通用户
  • 注册时间: 2014-08-08 20:07
文章分类

全部博文(94)

文章存档

2017年(19)

2016年(30)

2015年(12)

2014年(33)

我的朋友

分类: LINUX

2015-11-13 15:09:08

一、相关知识
长期以来,处于D状态(TASK_UNINTERRUPTIBLE状态)的进程都是让人比较烦恼的问题,处于D状态的进程不能接收信号,kill不掉。在一些场景下,常见到进程长期处于D状态,用户对此无能为力,也不知道原因,只能重启恢复。
其实进程长期处于D状态肯定是不正常的,内核中设计D状态的目的是为了让进程等待IO完成,正常情况下IO应该会顺利完成,然后唤醒相应的D状态进程,即使在异常情况下(比如磁盘离或损坏、磁阵链路断开等),IO处理也是有超时机制的,原理上不会存在永久处于D状态的进程。但是就是因为内核代码流程中可能存在一些bug,或者用户内核模块中的相关机制不合理,可能导致进程长期处于D状态,无法唤醒,类似于死锁状态。
针对这种情况,内核中提供了hung task机制用于检测系统中是否存在处于D状态超过120s(时长可以设置)的进程,如果存在,则打印相关警告和进程堆栈。如果配置了hung_task_panic(proc或内核启动参数),则直接发起panic,结合kdump可以搜集到vmcore。从内核的角度看,如果有进程处于D状态的时间超过了120s,那肯定已经出现异常了,以此机制来收集相关的异常信息,用于分析定位问题。

二、基本原理
hung task机制的实现很简单,其基本原理为:
创建一个内核线程(khungtaskd),定期(120)唤醒后,遍历系统中的所有进程,检查是否存在处于D状态超过120s(时长可以设置)的进程,如果存在,则打印相关警告和进程堆栈。如果配置了hung_task_panic(proc或内核启动参数),则直接发起panic。

三、代码分析
1、初始化
hung_task_init():

点击(此处)折叠或打开

  1. /*
  2.   * hung task机制,初始化一个内核线程来检测系统中是否存在D状态超过120s的
  3.   * 进程
  4.   */
  5. static int __init hung_task_init(void)
  6. {
  7.     /*注册panic通知链,在panic时执行相关操作。*/
  8.     atomic_notifier_chain_register(&panic_notifier_list, &panic_block);
  9.     /*创建内核线程khungtaskd,执行函数为watchdog*/
  10.     watchdog_task = kthread_run(watchdog, NULL, "khungtaskd");

  11.     return 0;
  12. }

2、内核线程处理:watchdog
watchdog():

点击(此处)折叠或打开

  1. /*
  2.  * kthread which checks for tasks stuck in D state
  3.  */
  4. /*hung task机制中khungtaskd内核线程的处理函数*/
  5. static int watchdog(void *dummy)
  6. {
  7.     /*设置当前khungtaskd内核线程的nice为0,即普通优先级,为了不影响业务运行*/
  8.     set_user_nice(current, 0);
  9.     /*死循环进行检测*/
  10.     for ( ; ; ) {
  11.         /*进程处于D状态的时间上线可通过sysctl/proc控制,默认为120s*/
  12.         unsigned long timeout = sysctl_hung_task_timeout_secs;
  13.         /*检测线程(watchdog)sleep 120s(默认)后,再次唤醒。*/
  14.         while (schedule_timeout_interruptible(timeout_jiffies(timeout)))
  15.             timeout = sysctl_hung_task_timeout_secs;
  16.         /*醒来后执行实际的检测操作*/
  17.         check_hung_uninterruptible_tasks(timeout);
  18.     }

  19.     return 0;
  20. }

watchdog()->check_hung_uninterruptible_tasks():

点击(此处)折叠或打开

  1. /*
  2.  * Check whether a TASK_UNINTERRUPTIBLE does not get woken up for
  3.  * a really long time (120 seconds). If that happens, print out
  4.  * a warning.
  5.  */
  6. /*遍历系统中的所有进程,检测是否有处于D状态超过120的进程,如果有则打印告警或panic*/
  7. static void check_hung_uninterruptible_tasks(unsigned long timeout)
  8. {
  9.     /*hung task检测是检查的最大进程数,默认为最大的进程号*/
  10.     int max_count = sysctl_hung_task_check_count;
  11.     /*
  12.      * 每次遍历进程数的上限,默认为1024,这样做的目的是为了:
  13.      * 1、防止rcu_read_lock的占用时间太长。
  14.      * 2、hung task的watchdog占用CPU时间太长。如果没开内核抢占,则如果内核线程不主动调度的话,是不能发生进程切换的?
  15.      */
  16.     /*
  17.      *Fixme:如果系统中的进程数比较多,那么就可能检测不到部分D状态进程了?不会,因为这里只是会调度一次,调度回来
  18.      *后,会继续遍历后面的进程*/
  19.     int batch_count = HUNG_TASK_BATCHING;
  20.     struct task_struct *g, *t;

  21.     /*
  22.      * If the system crashed already then all bets are off,
  23.      * do not report extra hung tasks:
  24.      */
  25.     /*如果系统已经处于crash状态了,就不在报hung task了。*/
  26.     if (test_taint(TAINT_DIE) || did_panic)
  27.         return;

  28.     rcu_read_lock();
  29.     /*遍历系统中的所有进程*/
  30.     do_each_thread(g, t) {
  31.         if (!max_count--)
  32.             goto unlock;
  33.         /*如果每次检测的进程数量超过1024了,则需要发起调度,结束rcu优雅周期*/
  34.         if (!--batch_count) {
  35.             batch_count = HUNG_TASK_BATCHING;
  36.             /*释放rcu,并主动调度,调度回来后检查相应进程是否还在,如果不在了,则退出遍历,否则继续*/
  37.             if (!rcu_lock_break(g, t))
  38.                 goto unlock;
  39.         }
  40.         /* use "==" to skip the TASK_KILLABLE tasks waiting on NFS */
  41.         /*检测进程状态是否为D*/
  42.         if (t->state == TASK_UNINTERRUPTIBLE)
  43.             /*检测进程处于D状态的时间是否超过120s。*/
  44.             check_hung_task(t, timeout);
  45.     } while_each_thread(g, t);
  46.  unlock:
  47.     rcu_read_unlock();
  48. }

watchdog()->check_hung_uninterruptible_tasks()->check_hung_task():

点击(此处)折叠或打开

  1. static void check_hung_task(struct task_struct *t, unsigned long timeout)
  2. {
  3.     /*进程上下文切换计数,以此来判断该进程是否发生过调度*/
  4.     unsigned long switch_count = t->nvcsw + t->nivcsw;

  5.     /*
  6.      * Ensure the task is not frozen.
  7.      * Also, skip vfork and any other user process that freezer should skip.
  8.      */
  9.     if (unlikely(t->flags & (PF_FROZEN | PF_FREEZER_SKIP)))
  10.      return;

  11.     /*
  12.      * When a freshly created task is scheduled once, changes its state to
  13.      * TASK_UNINTERRUPTIBLE without having ever been switched out once, it
  14.      * musn't be checked.
  15.      */
  16.     if (unlikely(!switch_count))
  17.         return;
  18.     /*
  19.      * 如果当前switch_count不等于last_switch_count,则说明在khungtaskd进程被唤醒期间,该进程没有发生过调度。
  20.      * 也就是说,该进程一直处于D状态,因为last_switch_count只在这里更新,其它地方不会。
  21.      * hung task机制中的120s其实是通过khungtaskd内核线程的唤醒周期来控制的,不是通过per task其它计数。
  22.      */
  23.     if (switch_count != t->last_switch_count) {
  24.         /*更新last_switch_count计数,只在这里更新,该计数专用于hung task的检测。*/
  25.         t->last_switch_count = switch_count;
  26.         return;
  27.     }
  28.     /*
  29.      * hung task错误打印次数限制,防止dos攻击。默认为10次,由于是全局变量,
  30.      * 表示系统运行期间最多打印10次,超过后就不打印了。该参数应该可以
  31.      * 通过sysctl修改
  32.      */
  33.     if (!sysctl_hung_task_warnings)
  34.         return;
  35.     sysctl_hung_task_warnings--;

  36.     /*
  37.      * Ok, the task did not get scheduled for more than 2 minutes,
  38.      * complain:
  39.      */
  40.     /*如下就是我们平常常见的hung task打印了*/
  41.     printk(KERN_ERR "INFO: task %s:%d blocked for more than "
  42.             "%ld seconds.\n", t->comm, t->pid, timeout);
  43.     printk(KERN_ERR "\"echo 0 > /proc/sys/kernel/hung_task_timeout_secs\""
  44.             " disables this message.\n");
  45.     /*打印堆栈*/
  46.     sched_show_task(t);
  47.     /*如果开启了debug_lock,则打印锁的占用情况*/
  48.     debug_show_held_locks(t);
  49.     /*touch nmi_watchdog相关的计数器,防止在此过程中触发nmi_watchdog*/
  50.     touch_nmi_watchdog();
  51.     /*检测是否配置了/proc/sys/kernel/hung_task_panic,如果配置则直接触发panic*/
  52.     if (sysctl_hung_task_panic) {
  53.         /*打印所有CPU的堆栈*/
  54.         trigger_all_cpu_backtrace();
  55.         /*触发panic,如果配置了kdump就有用了*/
  56.         panic("hung_task: blocked tasks");
  57.     }
  58. }

阅读(1463) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~