centos7 系统cache的一例故障及解决

故障现象

公司某云上一台重度计算型服务出现错误报警，且ssh无法登录，强制重启后检查系统日志,发现系统无法登陆至强制重启期间，下列日志多次重复。

Apr 21 13:03:41 web03 kernel: INFO: task kworker/5:0H:11070 blocked for more than 120 seconds
.
Apr 21 13:03:41 web03 kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables thi
s message.
Apr 21 13:03:41 web03 kernel: kworker/5:0H    D ffff8802bebf3dd8     0 11070      2 0x0000008
0
Apr 21 13:03:41 web03 kernel: ffff8802bebf3bf0 0000000000000046 ffff8807fc690fb0 ffff8802bebf
3fd8
Apr 21 13:03:41 web03 kernel: ffff8802bebf3fd8 ffff8802bebf3fd8 ffff8807fc690fb0 ffff8802bebf
3d58
Apr 21 13:03:41 web03 kernel: ffff8802bebf3d60 7fffffffffffffff ffff8807fc690fb0 ffff8802bebf
3dd8
Apr 21 13:03:41 web03 kernel: Call Trace:
Apr 21 13:03:41 web03 kernel: [] schedule+0x29/0x70
Apr 21 13:03:41 web03 kernel: [] schedule_timeout+0x239/0x2c0
Apr 21 13:03:41 web03 kernel: [] ? try_to_wake_up+0x1c8/0x320
Apr 21 13:03:41 web03 kernel: [] wait_for_completion+0x116/0x170
Apr 21 13:03:41 web03 kernel: [] ? wake_up_state+0x20/0x20
Apr 21 13:03:41 web03 kernel: [] kthread_create_on_node+0xa8/0x140
Apr 21 13:03:41 web03 kernel: [] ? rescuer_thread+0x460/0x460
Apr 21 13:03:41 web03 kernel: [] create_worker+0xea/0x250
Apr 21 13:03:41 web03 kernel: [] manage_workers.isra.24+0xf6/0x2d0
Apr 21 13:03:41 web03 kernel: [] worker_thread+0x3d2/0x410
Apr 21 13:03:41 web03 kernel: [] ? rescuer_thread+0x460/0x460
Apr 21 13:03:41 web03 kernel: [] kthread+0xcf/0xe0
Apr 21 13:03:41 web03 kernel: [] ? kthread_create_on_node+0x140/0x140
Apr 21 13:03:41 web03 kernel: [] ret_from_fork+0x58/0x90
Apr 21 13:03:41 web03 kernel: [] ? kthread_create_on_node+0x140/0x140
Apr 21 13:05:41 web03 kernel: INFO: task kworker/5:0H:11070 blocked for more than 120 seconds
.

解决参考

经过学习了解到，linux会利用最多40%的可用内存作为文件系统的缓存，到了写入磁盘的时候，如果io速度慢或者压力过大的话，超过120秒未写入完成，那么系统内存就会充满数据并就出现这个错误。 有两个参数可以降低缓存的默认比例， vm.dirtybackgroundratio 和 vm.dirty_ratio ，使其写入磁盘的时间少于120秒，如下示例：

• /etc/sysctl.conf 示例

## 系统cache在后台和前端可以使用的内存百分比，分别为5%和10%，默认是40%,系统比较繁忙时使用
## 尝试解决"task kworker/5:0H:11070 blocked for more than 120 seconds
## kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables thi
## s message."
vm.dirty_background_ratio = 5
vm.dirty_ratio = 10

• 使配置文件生效

sysctl -p

• 后续观察是否还会出现同样错误

参考及致谢

• INFO: task blocked for more than 120 seconds.