Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4316
  • 博文数量: 1
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 14
  • 用 户 组: 普通用户
  • 注册时间: 2013-03-27 09:55
文章分类
文章存档

2013年(1)

我的朋友
最近访客

分类: C/C++

2013-06-21 09:31:32

现在维护的很多后端模块都是采用线程池模型网络服务,经常遇到一些超时等问题,在分析这类问题前先要了解epoll的多线程模型。这个模型下,监听线程负责建立网络连接,将连接放入队列; 工作线程负责从队列中取出连接,网络收发,计算。因此,响应时间取决于四个部分:
连接等待建立的时间 + 队列中的时间 + 网络IO时间 + 处理时间。

当然我们讨论的前提是CPU没有被完全耗尽的情况。当CPU完全被耗尽,如果不考虑连接拒绝的情况,请求的处理事件是可能无限长的。

  • 连接等待建立的时间取决于监听线程被调度的频率。当服务器压力很低时,一旦有网络请求,epoll_wait就被激活,
连接就会建立。但是当服务器压力很高时,监听线程需要和工作线程争夺cpu时间片,而工作线程一般数量众多,使得 监听线程难以有被调度的机会。这样每当监听线程被激活时,就会收到一大批请求,使得连接等待建立的时间变长。 而大批请求使得更多的线程被激活,进一步恶化的CPU争用。

  • 队列中的时间取决于空闲工作线程的调度。当CPU争用时,空闲线程被调度的时间也会延长。不过由于工作线程数量较多,
 问题不会太严重。如果每次线程被激活都生成大量的请求,队列中的时间还取决于队列的长度。我们的前提是CPU没有被耗尽, 因此长度不会无限增长。但是受负载的统计波动,队列中的请求可能在瞬间较高。

  • 对于网络IO较轻的后端服务模块,网络IO时间对于相同大小的包来说,基本是恒定的。

  • 处理时间主要取决于请求的复杂度。但是考虑到多个工作线程争用cpu的情况,争用cpu会使每个请求的处理事件都变长。
改变工作线程的数量可减轻CPU争用。严格来说,工作线程数不应该超过内核数量。但由于我们使用的同步模型, 工作线程还以阻塞方式负责网络IO,如果不提高工作线程的数量,难以充分利用CPU。这个不加推导给出这个公式:

工作线程数量 = 内核数量 * (网络延迟 + 处理延迟)/ 处理延迟

例如对于某模块来说,8核机器上,网络延迟为3ms,处理延迟为8ms,则11个工作线程最为合适。 实践中可略微提高到16,避免网络拥塞造成的网络延迟变化。

测试表明,在高负载下30工作线程的连接建立时间会迅速增加,直至崩溃。而15线程可以稳定工作,处理时间仅略有增加。

但是,通过计算工作线程的数量无法应对复杂变化的网络环境,而且没有本质解决CPU争用的问题。 回想刚才问题的本质是:

  • 监听线程得不到调度
  • 工作线程被频繁切换

利用pthread提供的线程调度控制,提高监听线程的优先级,对工作线程采用动态优先级。 以下API需要root权限。

1、提高监听线程得优先级


pthread_attr_t attr;
        pthread_attr_init(&attr);
        if(pthread_attr_setinheritsched(&attr, PTHREAD_EXPLICIT_SCHED))
        {
            perror(NULL);
            printf("error %d\n", __LINE__);
            exit(-1);
        }
        if(pthread_attr_setschedpolicy(&attr, SCHED_FIFO))
        {
            perror(NULL);
            exit(-1);
        }
        sched_param param = {0};
        param.sched_priority = 10;
        if(pthread_attr_setschedparam(&attr, &param))
        {
            perror(NULL);
            exit(-1);
        }


这个操作将监听线程优先级调整到10。

2、 动态调整工作线程的优先级
当工作线程没有开始处理请求时,我们将他的优先级调低,避免它参与CPU竞争。 一旦工作线程开始处理请求,我们将他的优先级提高(但是依然低于监听线程的优先级),使他能一直获得CPU,直到请求处理完成。 另外SCHED_FIFO属性可以减少不必要的线程切换。

param.sched_priority = 1;
        if(pthread_setschedparam(self, SCHED_FIFO, &param))
        {
            perror(NULL);
            printf("error %d\n", __LINE__);
            exit(-1);
        }
        sem_wait(&sem);
        param.sched_priority = 5;
        if(pthread_setschedparam(self, SCHED_FIFO, &param))
        {
            perror(NULL);
            printf("error %d\n", __LINE__);
            exit(-1);
        }


通过这两项技术,在同样的30工作线程,超高负载,CPU基本耗尽的情况下, 服务器依然可以稳定工作,延迟相比空载基本没有变化,且极其稳定。


阅读(490) | 评论(0) | 转发(0) |
0

上一篇:没有了

下一篇:没有了

给主人留下些什么吧!~~