内核随记(一)——理解中断(3)

内核随记(一)——理解中断(3)

4、下半部
在中断处理过程中，不能睡眠。另外，它运行的时候，会把当前中断线在所有处理器上都屏蔽(在ack中完成屏蔽)；更糟糕的情况是，如果一个处理程序是SA_INTERRUPT类型，它执行的时候会禁上所有本地中断(通过cli指令完成)，所以，中断处理应该尽可能快的完成。所以Linux把中断处理分为上半部和下半部。
上半部由中断处理程序完成，它通常完成一些和硬件相关的操作，比如对中断的到达的确认。有时它还会从硬件拷贝数据，这些工作对时间非常敏感，只能靠中断处理程序自己完成。而把其它工作放到下半部实现。
下半部的执行不需要一个确切的时间，它会在稍后系统不太繁忙时执行。下半部执行的关键在于运行的时候允许响应所有的中断。最早，Linux用”bottom half”实现下半部，这种机制简称BH，但是即使属于不同的处理器，也不允许任何两个bottom half同时执行，这种机制简单，但是却有性能瓶颈。不久，又引入任务队列(task queue)机制来实现下半部，但该机制仍不够灵活，没法代替整个BH接口。
从2.3开始，内核引入软中断(softirqs)和tasklet，并完全取代了BH。2.5中，BH最终舍去，在2.6中，内核用有三种机制实现下半部：软中断，tasklet和工作队列。Tasklet是基于软中断实现的。软中断可以在多个CPU上同时执行，即使它们是同一类型的，所以，软中断处理程序必须是可重入的，或者显示的用自旋锁保护相应的数据结构。而相同的tasklet不能同时在多个CPU上执行，所以tasklet不必是可重入的；但是，不同类型的tasklet可以在多个CPU上同时执行。一般来说，tasklet比较常用，它可以处理绝大部分的问题；而软中断用得比较少，但是对于时间要求较高的地方，比如网络子系统，常用软中断处理下半部工作。

4.1、软中断
内核2.6中定义了6种软中断：

下标越低，优先级越高。

4.1.1、数据结构
(1)软中断向量

//linux/interrupt.h
struct softirq_action
{
    void    (*action)(struct softirq_action *); //待执行的函数
    void    *data;  //传给函数的参数
};
//kernel/softirq.c
//软中断向量数组
static struct softirq_action softirq_vec[32] __cacheline_aligned_in_smp;

内核定义了一个包含32个软中断向量的数组，所以最多可有32个软中断，实际上，内核目前只使用了6个软中断。
(2)    preempt_count字段
位于任务描述符的preempt_count是用来跟踪内核抢占和内核控制路径嵌套关键数据。其各个位的含义如下：
位            描述
0——7    preemption counter，内核抢占计数器(最大值255)
8——15   softirq counter，软中断计数器(最大值255)
16——27  hardirq counter，硬件中断计数器(最大值4096)
28        PREEMPT_ACTIVE标志

第一个计数用来表示内核抢占被关闭的次数，0表示可以抢占。第二个计数器表示推迟函数(下半部)被关闭的次数，0表示推迟函数打开。第三个计数器表示本地CPU中断嵌套的层数，irq_enter()增加该值，irq_exit减该值。
宏in_interrupt()检查current_thread_info->preempt_count的hardirq和softirq来断定是否处于中断上下文。如果这两个计数器之一为正，则返回非零。
(3) 软中断控制／状态结构
softirq_vec是个全局量，系统中每个CPU所看到的是同一个数组。但是，每个CPU各有其自己的“软中断控制／状态”结构，这些数据结构形成一个以CPU编号为下标的数组irq_stat[]（定义在include/asm-i386/hardirq.h中）

typedef struct {
    unsigned int __softirq_pending;
    unsigned long idle_timestamp;
    unsigned int __nmi_count;    
    unsigned int apic_timer_irqs;    
} ____cacheline_aligned irq_cpustat_t;
//位于kernel/softirq.c
irq_cpustat_t irq_stat[NR_CPUS] ____cacheline_aligned;

4.1.2、软中断初始化
可以通过open_softirq注册软中断处理程序：

//位于kernel/softirq.c
//nr：软中断的索引号
// softirq_action：处理函数
//data：传递给处理函数的参数值
void open_softirq(int nr, void (*action)(struct softirq_action*), void *data)
{
    softirq_vec[nr].data = data;
    softirq_vec[nr].action = action;
}
//软中断初始化
void __init softirq_init(void)
{
    open_softirq(TASKLET_SOFTIRQ, tasklet_action, NULL);
    open_softirq(HI_SOFTIRQ, tasklet_hi_action, NULL);
}

软中断执行时，允许响应中断，但它自己不能睡眠，
4.1.3、触发软中断
raise_softirq会将软中断设置为挂起状态，并在下一次运行do_softirq中投入运行。

//位于kernel/softirq.c
void fastcall raise_softirq(unsigned int nr)
{
    unsigned long flags;
    //保存IF值,并关中断
    local_irq_save(flags);
    
    //调用wakeup_softirqd()
    raise_softirq_irqoff(nr);
    //恢复IF值
    local_irq_restore(flags);
}

inline fastcall void raise_softirq_irqoff(unsigned int nr)
{
    //把软中断设置为挂起状态
    __raise_softirq_irqoff(nr);

    
     //唤醒内核线程
    if (!in_interrupt())
        wakeup_softirqd();
}

该函数触发软中断前，先要关闭中断，之后再恢复；如果之前中断已经关闭，可以直接调用raise_softirq_irqoff()触发软中断。
在中断服务例程中触发软中断是最常见的形式。而中断服务例程通常作为设备驱动的一部分。例如，对于网络设备，当接口收到数据时，会产生一个中断，在中断服务例程中，最终会调用netif_rx函数处理接到的数据，而netif_rx作相应处理，最终以触发一个软中断结束处理。之后，内核在执行中断处理任务后，会调用do_softirq()。于是软中断就通过软中断处理函数去处理留给它的任务。
4.1.4、软中断执行
(1) do_softirq()函数

//处理软中断，位于arch/i386/kernel/irq.c
asmlinkage void do_softirq(void)
{
    //处于中断上下文,表明软中断是在中断上下文中触发的,或者软中断被关闭
    
    if (in_interrupt())
        return;
    //保存IF值,并关中断
    local_irq_save(flags);
//调用__do_softirq
        asm volatile(
            "       xchgl   %�x,%%esp     \n"
            "       call    __do_softirq    \n"
            "       movl    %�x,%%esp     \n"
            : "=b"(isp)
            : "0"(isp)
            : "memory", "cc", "edx", "ecx", "eax"
        );
    //恢复IF值
    local_irq_restore(flags);

（2）__do_softirq()函数

//执行软中断,位于kernel/softirq.c
asmlinkage void __do_softirq(void)
{
    struct softirq_action *h;
    __u32 pending;
    
    int max_restart = MAX_SOFTIRQ_RESTART;
    int cpu;
    
    //用局部变量保存软件中断位图
    pending = local_softirq_pending();
    
    local_bh_disable();
    cpu = smp_processor_id();
restart:
    
    //重置软中断位图,使得新的软中断可以发生
    local_softirq_pending() = 0;
    //开启本地中断,执行软中断时,允许中断的发生
    local_irq_enable();

    h = softirq_vec;

    do {
        if (pending & 1) {
            //执行软中断处理函数
            h->action(h);
            rcu_bh_qsctr_inc(cpu);
        }
        h++;
        pending >>= 1;
    } while (pending);
       //关闭中断
    local_irq_disable();
    //再一次检查软中断位图,因为在执行软中断处理函数时,新的软中断可能产生.
    pending = local_softirq_pending();
    if (pending && --max_restart)
        goto restart;
    
    if (pending)
        wakeup_softirqd();
    //减softirq counter的值
    __local_bh_enable();
}

(3)软中断执行点
内核会周期性的检查是否有挂起的软中断，它们位于内核代码的以下几个点：
(1)内核调用local_bh_enable()函数打开本地CPU的软中断：

//位于kernel/softirq.c
void local_bh_enable(void)
{
    preempt_count() -= SOFTIRQ_OFFSET - 1;

    if (unlikely(!in_interrupt() && local_softirq_pending()))
        do_softirq(); //软中断处理
    //……
}

(2)do_IRQ函数完成I/O中断处理，调用irq_exit()时。
(3)内核线程ksoftirqd被唤醒。
(4) smp_apic_timer_interrupt()完成处理本地时钟中断。