避免对同一数据的并发访问（通常由中断、对称多处理器、内核抢占等引起）称为同步。
——题记
内核源码：linux-2.6.38.8.tar.bz2
目标平台：ARM体系结构
当创建一个per-cpu变量时，系统中的每一个处理器都会拥有该变量的独有副本。由于每个处理器都是在自己的副本上工作，所以对per-cpu变量的访问几乎不需要加锁。
per-cpu变量只为来自不同处理器的并发访问提供保护，对来自异步函数（中断处理程序和可延迟函数）的访问，以及内核抢占并不提供保护，因此在这些情况下还需要另外的同步原语。
1、静态创建
（1）、定义
使用DEFINE_PER_CPU宏静态地创建per-cpu变量。
-
- #define DEFINE_PER_CPU(type, name) \
- DEFINE_PER_CPU_SECTION(type, name, "")
-
- #define DEFINE_PER_CPU_SECTION(type, name, sec) \
- __PCPU_ATTRS(sec) PER_CPU_DEF_ATTRIBUTES \
- __typeof__(type) name
/* linux-2.6.38.8/include/linux/percpu-defs.h */
#define DEFINE_PER_CPU(type, name) \
DEFINE_PER_CPU_SECTION(type, name, "")
#define DEFINE_PER_CPU_SECTION(type, name, sec) \
__PCPU_ATTRS(sec) PER_CPU_DEF_ATTRIBUTES \
__typeof__(type) name
其中，__PCPU_ATTRS宏的定义如下：
-
- #define __PCPU_ATTRS(sec) \
- __percpu __attribute__((section(PER_CPU_BASE_SECTION sec))) \
- PER_CPU_ATTRIBUTES
-
-
- # define __percpu __attribute__((noderef, address_space(3)))
-
- #ifndef PER_CPU_BASE_SECTION
- #ifdef CONFIG_SMP
- #define PER_CPU_BASE_SECTION ".data..percpu"
- #else
- #define PER_CPU_BASE_SECTION ".data"
- #endif
- #endif
-
- #ifndef PER_CPU_ATTRIBUTES
- #define PER_CPU_ATTRIBUTES
- #endif
/* linux-2.6.38.8/include/linux/percpu-defs.h */
#define __PCPU_ATTRS(sec) \
__percpu __attribute__((section(PER_CPU_BASE_SECTION sec))) \
PER_CPU_ATTRIBUTES
/* linux-2.6.38.8/include/linux/compiler.h */
# define __percpu __attribute__((noderef, address_space(3)))
/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifndef PER_CPU_BASE_SECTION
#ifdef CONFIG_SMP
#define PER_CPU_BASE_SECTION ".data..percpu"
#else
#define PER_CPU_BASE_SECTION ".data"
#endif
#endif
#ifndef PER_CPU_ATTRIBUTES
#define PER_CPU_ATTRIBUTES
#endif
PER_CPU_DEF_ATTRIBUTES宏的定义为空：
-
- #ifndef PER_CPU_DEF_ATTRIBUTES
- #define PER_CPU_DEF_ATTRIBUTES
- #endif
/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifndef PER_CPU_DEF_ATTRIBUTES
#define PER_CPU_DEF_ATTRIBUTES
#endif
在CONFIG_SMP未配置时，DEFINE_PER_CPU宏展开后的样子如下所示：
- __attribute__((noderef, address_space(3))) __attribute__((section(".data"))) __typeof__(type) name;
__attribute__((noderef, address_space(3))) __attribute__((section(".data"))) __typeof__(type) name;
__typeof__等价于typeof，用来获取type的数据类型（typeof的使用方法可参考博文《例解GNU C之typeof》）。
__attribute__((noderef, address_space(3)))属性用于sparse程序。
__attribute__((section(".data")))属性表示把定义的变量存储在可执行程序的.data段。
整个语句的核心意思是定义一个数据类型为type，名字为name的变量。
（2）、使用
1）、调用get_cpu_var函数获得当前处理器上的per-cpu变量，并且禁止内核抢占。
-
- #define get_cpu_var(var) (*({ \
- preempt_disable(); \
- &__get_cpu_var(var); }))
/* linux-2.6.38.8/include/linux/percpu.h */
#define get_cpu_var(var) (*({ \
preempt_disable(); /* 禁止内核抢占 */ \
&__get_cpu_var(var); }))
a、单处理器版本的定义
-
- #define __get_cpu_var(var) (*VERIFY_PERCPU_PTR(&(var)))
-
- #define VERIFY_PERCPU_PTR(__p) ({ \
- __verify_pcpu_ptr((__p)); \
- (typeof(*(__p)) __kernel __force *)(__p); \
- })
-
-
- #define __verify_pcpu_ptr(ptr) do { \
- const void __percpu *__vpp_verify = (typeof(ptr))NULL; \
- (void)__vpp_verify; \
- } while (0)
/* linux-2.6.38.8/include/asm-generic/percpu.h */
#define __get_cpu_var(var) (*VERIFY_PERCPU_PTR(&(var)))
#define VERIFY_PERCPU_PTR(__p) ({ \
__verify_pcpu_ptr((__p)); \
(typeof(*(__p)) __kernel __force *)(__p); \
})
/* linux-2.6.38.8/include/linux/percpu-defs.h */
#define __verify_pcpu_ptr(ptr) do { \
const void __percpu *__vpp_verify = (typeof(ptr))NULL; \
(void)__vpp_verify; \
} while (0)
__get_cpu_var的核心代码等价于：
- *(typeof(*(&(var))) *)(&(var));
*(typeof(*(&(var))) *)(&(var));
b、多处理器版本的定义
-
- #define __get_cpu_var(var) (*this_cpu_ptr(&(var)))
-
- #ifdef CONFIG_DEBUG_PREEMPT
- #define this_cpu_ptr(ptr) SHIFT_PERCPU_PTR(ptr, my_cpu_offset)
- #else
- #define this_cpu_ptr(ptr) __this_cpu_ptr(ptr)
- #endif
-
- #ifndef __this_cpu_ptr
- #define __this_cpu_ptr(ptr) SHIFT_PERCPU_PTR(ptr, __my_cpu_offset)
- #endif
-
- #ifndef SHIFT_PERCPU_PTR
-
- #define SHIFT_PERCPU_PTR(__p, __offset) ({ \
- __verify_pcpu_ptr((__p)); \
- RELOC_HIDE((typeof(*(__p)) __kernel __force *)(__p), (__offset)); \
- })
- #endif
-
-
- #define RELOC_HIDE(ptr, off) \
- ({ unsigned long __ptr; \
- __asm__ ("" : "=r"(__ptr) : "0"(ptr)); \
- (typeof(ptr)) (__ptr + (off)); })
/* linux-2.6.38.8/include/asm-generic/percpu.h */
#define __get_cpu_var(var) (*this_cpu_ptr(&(var)))
#ifdef CONFIG_DEBUG_PREEMPT
#define this_cpu_ptr(ptr) SHIFT_PERCPU_PTR(ptr, my_cpu_offset)
#else
#define this_cpu_ptr(ptr) __this_cpu_ptr(ptr)
#endif
#ifndef __this_cpu_ptr
#define __this_cpu_ptr(ptr) SHIFT_PERCPU_PTR(ptr, __my_cpu_offset)
#endif
#ifndef SHIFT_PERCPU_PTR
/* Weird cast keeps both GCC and sparse happy. */
#define SHIFT_PERCPU_PTR(__p, __offset) ({ \
__verify_pcpu_ptr((__p)); \
RELOC_HIDE((typeof(*(__p)) __kernel __force *)(__p), (__offset)); \
})
#endif
/* linux-2.6.38.8/include/linux/compiler-gcc.h */
#define RELOC_HIDE(ptr, off) \
({ unsigned long __ptr; \
__asm__ ("" : "=r"(__ptr) : "0"(ptr)); /* 把ptr的值赋给__ptr */ \
(typeof(ptr)) (__ptr + (off)); })
其中，__my_cpu_offset的定义如下：
-
- #ifndef __my_cpu_offset
- #define __my_cpu_offset per_cpu_offset(raw_smp_processor_id())
- #endif
-
- #define per_cpu_offset(x) (__per_cpu_offset[x])
-
-
- unsigned long __per_cpu_offset[NR_CPUS] __read_mostly;
-
-
- #define raw_smp_processor_id() (current_thread_info()->cpu) //获取当前处理器的编号(0,1,...,NR_CPUS-1)
/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifndef __my_cpu_offset
#define __my_cpu_offset per_cpu_offset(raw_smp_processor_id())
#endif
#define per_cpu_offset(x) (__per_cpu_offset[x])
/* linux-2.6.38.8/mm/percpu.c */
unsigned long __per_cpu_offset[NR_CPUS] __read_mostly; //NR_CPUS为系统中处理器的数量
/* linux-2.6.38.8/arch/arm/include/asm/smp.h */
#define raw_smp_processor_id() (current_thread_info()->cpu) //获取当前处理器的编号(0,1,...,NR_CPUS-1)
2）、调用put_cpu_var函数重新激活内核抢占。
- #define put_cpu_var(var) do { \
- (void)&(var); \
- preempt_enable(); \
- } while (0)
#define put_cpu_var(var) do { \
(void)&(var); \
preempt_enable(); \
} while (0)
3）、调用per_cpu函数获取指定处理器上的per-cpu变量。
-
- #ifdef CONFIG_SMP
- #define per_cpu(var, cpu) \
- (*SHIFT_PERCPU_PTR(&(var), per_cpu_offset(cpu)))
- #else
- #define per_cpu(var, cpu) (*((void)(cpu), VERIFY_PERCPU_PTR(&(var))))
- #endif
/* linux-2.6.38.8/include/asm-generic/percpu.h */
#ifdef CONFIG_SMP
#define per_cpu(var, cpu) \
(*SHIFT_PERCPU_PTR(&(var), per_cpu_offset(cpu)))
#else
#define per_cpu(var, cpu) (*((void)(cpu), VERIFY_PERCPU_PTR(&(var))))
#endif
注意，这里的per_cpu函数既没有禁止内核抢占，也没有提供其他形式的锁保护。
2、动态创建
（1）、分配和释放
调用alloc_percpu宏动态地创建type数据类型的per-cpu变量，并返回它的地址。
-
- #define alloc_percpu(type) \
- (typeof(type) __percpu *)__alloc_percpu(sizeof(type), __alignof__(type))
-
-
- void __percpu *__alloc_percpu(size_t size, size_t align)
- {
- return pcpu_alloc(size, align, false);
- }
/* linux-2.6.38.8/include/linux/percpu.h */
#define alloc_percpu(type) \
(typeof(type) __percpu *)__alloc_percpu(sizeof(type), __alignof__(type))
/* linux-2.6.38.8/mm/percpu.c */
void __percpu *__alloc_percpu(size_t size, size_t align)
{
return pcpu_alloc(size, align, false);
}
调用free_percpu函数来释放per-cpu变量。
-
- void free_percpu(void __percpu *ptr)
- {
- void *addr;
- struct pcpu_chunk *chunk;
- unsigned long flags;
- int off;
-
- if (!ptr)
- return;
-
- addr = __pcpu_ptr_to_addr(ptr);
-
- spin_lock_irqsave(&pcpu_lock, flags);
-
- chunk = pcpu_chunk_addr_search(addr);
- off = addr - chunk->base_addr;
-
- pcpu_free_area(chunk, off);
-
-
- if (chunk->free_size == pcpu_unit_size) {
- struct pcpu_chunk *pos;
-
- list_for_each_entry(pos, &pcpu_slot[pcpu_nr_slots - 1], list)
- if (pos != chunk) {
- schedule_work(&pcpu_reclaim_work);
- break;
- }
- }
-
- spin_unlock_irqrestore(&pcpu_lock, flags);
- }
/* linux-2.6.38.8/mm/percpu.c */
void free_percpu(void __percpu *ptr)
{
void *addr;
struct pcpu_chunk *chunk;
unsigned long flags;
int off;
if (!ptr)
return;
addr = __pcpu_ptr_to_addr(ptr);
spin_lock_irqsave(&pcpu_lock, flags);
chunk = pcpu_chunk_addr_search(addr);
off = addr - chunk->base_addr;
pcpu_free_area(chunk, off);
/* if there are more than one fully free chunks, wake up grim reaper */
if (chunk->free_size == pcpu_unit_size) {
struct pcpu_chunk *pos;
list_for_each_entry(pos, &pcpu_slot[pcpu_nr_slots - 1], list)
if (pos != chunk) {
schedule_work(&pcpu_reclaim_work);
break;
}
}
spin_unlock_irqrestore(&pcpu_lock, flags);
}
（2）、使用
-
- #define get_cpu_ptr(var) ({ \
- preempt_disable(); \
- this_cpu_ptr(var); })
-
-
- #define put_cpu_ptr(var) do { \
- (void)(var); \
- preempt_enable(); \
- } while (0)
-
- #ifdef CONFIG_SMP
- #define per_cpu_ptr(ptr, cpu) SHIFT_PERCPU_PTR((ptr), per_cpu_offset((cpu)))
- #else
- #define per_cpu_ptr(ptr, cpu) ({ (void)(cpu); VERIFY_PERCPU_PTR((ptr)); })
- #endif
阅读(2854) | 评论(0) | 转发(1) |
