（转）Linux内核同步原语之per-cpu变量

 避免对同一数据的并发访问（通常由中断、对称多处理器、内核抢占等引起）称为同步。 

——题记

    内核源码：linux-2.6.38.8.tar.bz2

    目标平台：ARM体系结构

 

    当创建一个per-cpu变量时，系统中的每一个处理器都会拥有该变量的独有副本。由于每个处理器都是在自己的副本上工作，所以对per-cpu变量的访问几乎不需要加锁。

    per-cpu变量只为来自不同处理器的并发访问提供保护，对来自异步函数（中断处理程序和可延迟函数）的访问，以及内核抢占并不提供保护，因此在这些情况下还需要另外的同步原语。

    1、静态创建

    （1）、定义

    使用DEFINE_PER_CPU宏静态地创建per-cpu变量。 

/* linux-2.6.38.8/include/linux/percpu-defs.h */
#define DEFINE_PER_CPU(type, name)                  \
    DEFINE_PER_CPU_SECTION(type, name, "")

#define DEFINE_PER_CPU_SECTION(type, name, sec)             \
    __PCPU_ATTRS(sec) PER_CPU_DEF_ATTRIBUTES            \
    __typeof__(type) name

    其中，__PCPU_ATTRS宏的定义如下： 

/* linux-2.6.38.8/include/linux/percpu-defs.h */
#define __PCPU_ATTRS(sec)                       \
    __percpu __attribute__((section(PER_CPU_BASE_SECTION sec))) \
    PER_CPU_ATTRIBUTES

/* linux-2.6.38.8/include/linux/compiler.h */
# define __percpu   __attribute__((noderef, address_space(3)))
/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifndef PER_CPU_BASE_SECTION
#ifdef CONFIG_SMP
#define PER_CPU_BASE_SECTION ".data..percpu"
#else
#define PER_CPU_BASE_SECTION ".data"
#endif
#endif

#ifndef PER_CPU_ATTRIBUTES
#define PER_CPU_ATTRIBUTES
#endif

    PER_CPU_DEF_ATTRIBUTES宏的定义为空： 

/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifndef PER_CPU_DEF_ATTRIBUTES
#define PER_CPU_DEF_ATTRIBUTES
#endif

    在CONFIG_SMP未配置时，DEFINE_PER_CPU宏展开后的样子如下所示： 

__attribute__((noderef, address_space(3))) __attribute__((section(".data"))) __typeof__(type) name;

    __typeof__等价于typeof，用来获取type的数据类型（typeof的使用方法可参考博文《例解GNU C之typeof》）。

    __attribute__((noderef, address_space(3)))属性用于sparse程序。

    __attribute__((section(".data")))属性表示把定义的变量存储在可执行程序的.data段。

    整个语句的核心意思是定义一个数据类型为type，名字为name的变量。

    （2）、使用

    1）、调用get_cpu_var函数获得当前处理器上的per-cpu变量，并且禁止内核抢占。 

/* linux-2.6.38.8/include/linux/percpu.h */
#define get_cpu_var(var) (*({               \
    preempt_disable();   /* 禁止内核抢占 */       \
    &__get_cpu_var(var); }))

    a、单处理器版本的定义 

/* linux-2.6.38.8/include/asm-generic/percpu.h */
#define __get_cpu_var(var)  (*VERIFY_PERCPU_PTR(&(var)))

#define VERIFY_PERCPU_PTR(__p) ({           \
    __verify_pcpu_ptr((__p));           \
    (typeof(*(__p)) __kernel __force *)(__p);   \
})

/* linux-2.6.38.8/include/linux/percpu-defs.h */
#define __verify_pcpu_ptr(ptr)  do {                    \
    const void __percpu *__vpp_verify = (typeof(ptr))NULL;      \
    (void)__vpp_verify;                     \
} while (0)

    __get_cpu_var的核心代码等价于： 

*(typeof(*(&(var))) *)(&(var));

    b、多处理器版本的定义 

/* linux-2.6.38.8/include/asm-generic/percpu.h */
#define __get_cpu_var(var) (*this_cpu_ptr(&(var)))

#ifdef CONFIG_DEBUG_PREEMPT
#define this_cpu_ptr(ptr) SHIFT_PERCPU_PTR(ptr, my_cpu_offset)
#else
#define this_cpu_ptr(ptr) __this_cpu_ptr(ptr)
#endif

#ifndef __this_cpu_ptr
#define __this_cpu_ptr(ptr) SHIFT_PERCPU_PTR(ptr, __my_cpu_offset)
#endif

#ifndef SHIFT_PERCPU_PTR
/* Weird cast keeps both GCC and sparse happy. */
#define SHIFT_PERCPU_PTR(__p, __offset) ({              \
    __verify_pcpu_ptr((__p));                   \
    RELOC_HIDE((typeof(*(__p)) __kernel __force *)(__p), (__offset)); \
})
#endif

/* linux-2.6.38.8/include/linux/compiler-gcc.h */
#define RELOC_HIDE(ptr, off)                    \
  ({ unsigned long __ptr;                   \
    __asm__ ("" : "=r"(__ptr) : "0"(ptr)); /* 把ptr的值赋给__ptr */  \
    (typeof(ptr)) (__ptr + (off)); })

    其中，__my_cpu_offset的定义如下： 

/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifndef __my_cpu_offset
#define __my_cpu_offset per_cpu_offset(raw_smp_processor_id())
#endif

#define per_cpu_offset(x) (__per_cpu_offset[x])

/* linux-2.6.38.8/mm/percpu.c */
unsigned long __per_cpu_offset[NR_CPUS] __read_mostly;  //NR_CPUS为系统中处理器的数量

/* linux-2.6.38.8/arch/arm/include/asm/smp.h */
#define raw_smp_processor_id() (current_thread_info()->cpu) //获取当前处理器的编号(0,1,...,NR_CPUS-1)

    2）、调用put_cpu_var函数重新激活内核抢占。 

#define put_cpu_var(var) do {               \
    (void)&(var);                   \
    preempt_enable();               \
} while (0)

    3）、调用per_cpu函数获取指定处理器上的per-cpu变量。 

/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifdef CONFIG_SMP
#define per_cpu(var, cpu) \
    (*SHIFT_PERCPU_PTR(&(var), per_cpu_offset(cpu)))
#else
#define per_cpu(var, cpu)   (*((void)(cpu), VERIFY_PERCPU_PTR(&(var))))
#endif

    注意，这里的per_cpu函数既没有禁止内核抢占，也没有提供其他形式的锁保护。

    2、动态创建

    （1）、分配和释放

    调用alloc_percpu宏动态地创建type数据类型的per-cpu变量，并返回它的地址。 

/* linux-2.6.38.8/include/linux/percpu.h */
#define alloc_percpu(type)  \
    (typeof(type) __percpu *)__alloc_percpu(sizeof(type), __alignof__(type))

/* linux-2.6.38.8/mm/percpu.c */
void __percpu *__alloc_percpu(size_t size, size_t align)
{
    return pcpu_alloc(size, align, false);
}

    调用free_percpu函数来释放per-cpu变量。 

/* linux-2.6.38.8/mm/percpu.c */
void free_percpu(void __percpu *ptr)
{
    void *addr;
    struct pcpu_chunk *chunk;
    unsigned long flags;
    int off;

    if (!ptr)
        return;

    addr = __pcpu_ptr_to_addr(ptr);

    spin_lock_irqsave(&pcpu_lock, flags);

    chunk = pcpu_chunk_addr_search(addr);
    off = addr - chunk->base_addr;

    pcpu_free_area(chunk, off);

    /* if there are more than one fully free chunks, wake up grim reaper */
    if (chunk->free_size == pcpu_unit_size) {
        struct pcpu_chunk *pos;

        list_for_each_entry(pos, &pcpu_slot[pcpu_nr_slots - 1], list)
            if (pos != chunk) {
                schedule_work(&pcpu_reclaim_work);
                break;
            }
    }

    spin_unlock_irqrestore(&pcpu_lock, flags);
}

    （2）、使用 

/* linux-2.6.38.8/include/linux/percpu.h */
#define get_cpu_ptr(var) ({             \
    preempt_disable();              \
    this_cpu_ptr(var); })


#define put_cpu_ptr(var) do {               \
    (void)(var);                    \
    preempt_enable();               \
} while (0)

#ifdef CONFIG_SMP
#define per_cpu_ptr(ptr, cpu)   SHIFT_PERCPU_PTR((ptr), per_cpu_offset((cpu)))
#else
#define per_cpu_ptr(ptr, cpu)   ({ (void)(cpu); VERIFY_PERCPU_PTR((ptr)); })
#endif