CloudFoundry warden 创建container 源码研究

分类： CloudFoundry2014-03-07 10:14 313人阅读 评论(0) 收藏 举报

阅读完 warden启动的源码，又看了创建container的源码：

在lib/warden/server.rb中，run!方法下，使用了EM的start_unix_domain_server的方法启动了一个unixsock，第二个参数ClientConnection定义了接收到东西怎么处理，ClientConnection中的process方法具体处理了create：

    when Protocol::CreateRequest
             container = Server.container_klass.new
             container.register_connection(self)
             response = container.dispatch(request)

            （container_klass为配置中的Warden::Container::Linux)

通过dispatch，会执行linux.rb中的do_create方法。

   （1） 获取，设置 rootfs 的存放目录warden 单独运行时 /tmp/warden/rootfs

    (2) 执行脚本 src/warden/root/linux/create.sh  ，传入参数：新建的container路径；container需要的其他参数

   （2.1） 检查 container 路径是否已经存在，如果已经存在，则停止创建

   （2.2） 将\src\warden\warden\root\linux\skeleton 目录下的 全部copy到container

   （2.3） 执行container下的脚本，unshare -m setup.sh   创建单独的文件系统命名空间

            （2.3.1） 将以下信息 写入 container 下的etc/config 文件，后面在启动网络的时候，会加载该文件

                       id=17jqe2nv7dh

                     network_netmask=255.255.255.252

                     network_host_ip=10.254.0.5

                     network_host_iface=w-17jqe2nv7dh-0

                     network_container_ip=10.254.0.6

                     network_container_iface=w-17jqe2nv7dh-1

                     user_uid=10001

                     rootfs_path=/tmp/warden/rootfs

                     allow_nested_warden=false

 

           （2.3.2）执行setup_fs_ubuntu()

                      mount -n -t aufs -o br:tmp/rootfs=rw:$rootfs_path=ro+wh none mnt

                      aufs的参数格式表示tmp/rootfs是以读写方式挂载，$rootfs_path以只读方式挂载，堆叠挂载到mnt上

             （2.3.3） 将轻量级的container中需要的文件方法container目录下的mnt路径：包括Container中增加用户，配置dns，配置域名，hosts文件。。。。

     （2.4） 函数write_bind_mount_commands：执行lib目录下的hook-child-before-pivot.sh

         （2.4.1）将request中需要进行绑定的操作写入到hook-child-before-pivot.sh脚本，如果dea需要增加mount的信息，可以通过设置request参数

         （2.4.2） 如果允许嵌套warden，需要在该container中创建 /tmp/warden/cgroup 目录，并将新建的container中的/tmp/warden/cgroup 目录和宿主机上的/tmp/warden/cgroup 进行一次mount，cgroup下的子系统 cpu cpuacct devices memory 进行同样的mount操作 （这里只是将进行的操作写入到脚本ook-child-before-pivot.sh）

   (3)启动container，调用启动脚本：warden\root\linux\skeleton\start.sh

    （3.1） 载入配置文件source ./etc/config

    （3.2） 启动网络 ./net.sh setup

    （3.3）执行C 代码 

     nice -n 10 ./bin/wshd --run ./run --lib ./lib --root ./mnt --title "wshd: $id" \

    设置进程优先级， 红色部分为 执行./bin/wshd 的参数

   

Wshd.c  源码：

         1、将参数写入结构体wshd_t

         2、parent_run 函数，配置wshd.sock路径

          w->fd = un_listen(path); 建立socket绑定

        rv = barrier_open(&w->barrier_parent);  // 建立管道

         rv = barrier_open(&w->barrier_child);    

        unshare(CLONE_NEWNS);  把挂载的文件系统设置成只在新的挂载命名空间（mountnamespace）中可见    

      run(w->lib_path, "hook-parent-before-clone.sh"); //执行脚本，将 只读的rootfs和可写的rootfs全部挂载到 container中的 mnt目录

      pid = child_start(w); // 进行clone clone参数包含

(各个表示的含义http://www.cnblogs.com/lisperl/archive/2012/05/03/2480316.html)

  flags |= CLONE_NEWIPC;  //

  flags |= CLONE_NEWNET;

  flags |= CLONE_NEWNS;

  flags |= CLONE_NEWPID;

  flags |= CLONE_NEWUTS;

克隆完成后，执行函数int child_run(void *data),这个函数还不是很理解：

大体包含：执行脚本hook-child-before-pivot.sh 

          设置共享内存,执行container内的 /sbin/wshd 启动container