kernel笔记——内核编译与进程管理

内核与操作系统

由于一些商业操作系统设计上的缺陷以及日益庞杂，“操作系统”的概念对很多人而言变得含糊不清。在进一步讨论Linux内核的话题前，我们先区分“内核”与“操作系统”这两个概念。

•  操作系统：指在整个系统中完成最基本功能和系统管理的部分，包括内核、设备驱动、文件管理工具、系统管理工具、shell命令行或其他用户界面(gnome/KDE等)
• 内核：是操作系统的核心，完成进程管理、cpu调度、内存管理、中断处理等功能

一般我们编写的应用程序，跑在操作系统上，完成文字编辑、音乐播放、网页游览等特定功能。

 

内核编译

内核源码一般放在/usr/src目录下，我们也可以从获取所需内核版本的源码包。编译内核的第一步是配置内核功能，例如配置是否支持对称多处理器(SMP)，可通过设置CONFIG_SMP的值。

通常我们使用"make menuconfig"命令进行配置，其提供了友好的配置界面：

保存配置后，源码目录下将生成.config配置文件，打开该文件，可以看到其内容为各种选项设置：

CONFIG_X86_64=y
CONFIG_64BIT=y
CONFIG_X86=y
CONFIG_SEMAPHORE_SLEEPERS=y
CONFIG_MMU=y
……

我们也可以使用当前的内核配置，使用以下命令快速地生成.config文件：

zcat /proc/config.gz > .config

之后根据.config配置，对源码进行编译：

make -j4

以上使用-j选项，指定并行编译工作任务数目，在多核环境下，减少了编译时间。

 

编译完成后生成内核压缩镜像：

make bzImage

生成的内核压缩镜像文件位于 arch/x86/boot目录下：

linux-2.6.32.59 # ll arch/x86/boot/bzImage
-rw-r--r-- 1 root root 2814112 07-02 22:27 arch/x86/boot/bzImage

接着安装内核模块:

make modules_install

新的模块会被放置在/lib/modules目录下：

/lib/modules # ll
总计 8
drwxr-xr-x 4 root root 4096 03-08 23:53 2.6.32.12-0.7-default
drwxr-xr-x 3 root root 4096 07-02 23:31 2.6.32.59-0.7-default

最后执行make install安装内核，在/boot目录下将生成System.map、vmlinuz和initrd文件：

linux-2.6.32.59 # make install
sh /home/lx/kernel/linux-2.6.32.59/arch/x86/boot/install.sh 2.6.32.59-0.7-default arch/x86/boot/bzImage \
System.map "/boot"
Kernel image: /boot/vmlinuz-2.6.32.59-0.7-default
Initrd image: /boot/initrd-2.6.32.59-0.7-default
……

 完成安装后，在/boot/grub/menu.lst文件中增加了新内核相应的启动项，我们可以修改该文件，指定系统启动后使用新编译的内核。

 

进程与线程

Linux下，进程与线程的最大不同是进程拥有独立的内存地址空间，而线程与其他线程共享内存地址空间。除此之外，进程与线程的实现基本相同，都有task_struct结构，都被分配PID。

内核线程没有独立的地址空间，它们完成特定工作并接受内核的调度，不同于一般用户进程，它们不接收kill命令发送的信号：

F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME   CMD
1 S root  2   1  0 -40  -   -  0 migrat Jul01 ?        00:00:00 [migration/0]
1 S root  3   1  0  94  19   -  0 ksofti Jul01 ?        00:00:00 [ksoftirqd/0]
5 S root        18   1  0  70  -5   -  0 worker Jul01 ?        00:00:00 [events/0]
……

task_struct

task_struct结构包含进程使用的虚拟内存、打开的文件、进程状态、进程pid等信息，占用的内存由slab分配，在文件中定义。thread_info结构的第一个字段为task_struct类型的指针，当进程创建时，thread_info存放在进程内核栈的顶部：

 current全局变量指向当前运行进程的task_struct结构，由于thread_info存放的位置固定，这样我们通过以下汇编指令就能很容易地计算出current的值：

movl $-8192, %eax
andl $esp, %eax

进程状态

进程可处于以下几种状态：

RUNNING
INTERRUPTABLE
UNINTERRUPTABLE
STOP
ZOMBIE

这些进程状态作为宏，在sched.h文件中被定义。

• RUNNING状态表示进程是可执行的，或正在执行或在运行队列中，这些进程占用或等待cpu资源。
• 进程调用退出函数exit后，进程中止，进入ZOMBIE状态。在ZOMBIE状态下进程不会占用cpu，但因其task_struct结构尚未释放，仍占用一点内存，直到父进程调用wait函数接受子进程遗愿，假如父进程先于子进程退出，则由init进程接受子进程遗愿。如果一个进程长期处于ZOMBIE状态，则是父进程中未调用wait，为程序编码问题。
• UNINTERRUPTABLE状态表示进程不可中断，处于此状态的进程处于内核态，并且不接收任何信号。

设置进程状态的函数为set_task_state函数，在文件中定义。

 

进程间关系

进程间关系与目录结构一样，为树状结构，目录结构以/为根，而进程关系以init为根。我们可以使用pstree查看进程间关系：

linux-14:~ # echo $$
10939
linux-14:~ # pstree -G -p 10939
bash(10939)─┬─pstree(12806)
                   └─sh(12796)───sleep(12801)

内核代码中提供了一条双向闭环链表，自init进程始，链表连接了所有进程的task_struct结构，可以通过for_each_process宏遍历系统的所有进程：

#define for_each_process(p) \
         for (p = &init_task ; (p = next_task(p)) != &init_task ; )

进程创建

Linux kernel将进程创建的步骤分成两步：fork和exec。fork生成子进程的pid，将父进程执行上下文、打开的文件描述符等内容复制一份给子进程；exec将子进程自己的执行上下文加载进内存地址空间。有以下fork例子，问执行该程序将输出多少个1？

#include <stdio.h>
#include <unistd.h>
int main()
{
        int i;
        for(i=0 ; i < 10; i++)
        {
                fork();
        }
        printf("%d\n", 1);
        return 0;
}

fork拷贝父进程的内容到子进程，开销较大，假若调用fork之后马上调用exec，子进程加载自己的执行文件，则拷贝的动作就是多余的。写时拷贝(copy-on-write,COW)解决了拷贝带来无谓开销的问题，在子进程写父进程地址空间时，才触发拷贝的动作。不做多余事情、非到不得已的时候才完成工作，这也是Linux kernel高效的原因之一。

 

内核中do_fork函数完成fork调用的工作，do_fork调用copy_process。copy_process函数中主要完成以下工作：

1. 调用dup_task_struct函数申请新进程的task_struct、thread_info结构
2. 根据clone_flags标志，调用copy_files、copy_fs、copy_mm等函数完成文件、文件系统、内存等信息的拷贝
3. 调用alloc_pid申请新进程pid

fork返回两次，在do_fork函数中实现。

 

进程中止

最终进程会调用exit函数中止，exit系统调用最终会调用内核中do_exit函数，do_exit在中定义，其完成以下工作：

1. 调用exit_signals设置进程flags标志为PF_EXITING
2. 调用exit_mm、exit_files、exit_fs等函数释放进程内存、文件、文件系统等结构
3. 设置进程的exit_code
4. 调用exit_notify，向当前进程的父进程、子进程发送信号，告知当前进程将要中止，并设置当前进程退出状态exit_state为EXIT_DEAD或EXIT_ZOMBIE
5. 调用schedule，切换到另一个进程，从do_exit函数不会返回到调用它的函数

Reference: Chapter 1 to chapter  3,  Linux kernel development.3rd.Edition