Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1959410
  • 博文数量: 1000
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 7921
  • 用 户 组: 普通用户
  • 注册时间: 2013-08-20 09:23
个人简介

storage R&D guy.

文章分类

全部博文(1000)

文章存档

2019年(5)

2017年(47)

2016年(38)

2015年(539)

2014年(193)

2013年(178)

分类: LINUX

2014-05-07 08:34:24

   最近用到open-iscsi作用initiator,遇到很多问题,就打算粗率对open-iscsi的源码进行一个分析。
    open-iscsi的组成和用法就不讲了,源码包中的README说得非常清楚,主要分为驱动和用户态两部分,用户态又分为服务守护进程和管理程序,必须先加载驱动,守护进程才能启动成功,最后才是运行iscsiadm进行一些常规管理。
    今天首先对open-iscsi的iscsid守护进程的主程序整体流程进行一个粗率的分析,明白其启动的过程。

    首先是用到的全局变量:

    /*包含了配置文件、pid文件和initiatorname等一些信息*/
   在守护进程启动时,会对这个结构进行初始化,主要是读取/etc/iscsi目录下的配置文件,获取initiatorname等
struct iscsi_daemon_config daemon_config;
struct iscsi_daemon_config *dconfig = &daemon_config;

static char program_name[] = "iscsid";
static pid_t log_pid; /*记录日志的守护进程*/
static gid_t gid; /*运行组id*/
static int daemonize = 1; /*守护进程模式标志*/
static int mgmt_ipc_fd; /*进程间通信的本地socket文件描述符*/

/*iscid启动的参数表*/
static struct option const long_options[] = {
{"config", required_argument, NULL, 'c'},
{"initiatorname", required_argument, NULL, 'i'},
{"foreground", no_argument, NULL, 'f'},
{"debug", required_argument, NULL, 'd'},
{"uid", required_argument, NULL, 'u'},
{"gid", required_argument, NULL, 'g'},
{"no-pid-file", no_argument, NULL, 'n'},
{"pid", required_argument, NULL, 'p'},
{"help", no_argument, NULL, 'h'},
{"version", no_argument, NULL, 'v'},
{NULL, 0, NULL, 0},
};

       initiator.h文件中定义的一些常量,iscsid主程序会用到
       主要是一些配置文件的路径和要创建的文件的位置
#define ISCSI_CONFIG_ROOT "/etc/iscsi/"

#define CONFIG_FILE ISCSI_CONFIG_ROOT"iscsid.conf"
#define INITIATOR_NAME_FILE ISCSI_CONFIG_ROOT"initiatorname.iscsi"

#define PID_FILE "/var/run/iscsid.pid"
#ifndef LOCK_DIR
#define LOCK_DIR "/var/lock/iscsi"
#endif
#define LOCK_FILE LOCK_DIR"/lock"
#define LOCK_WRITE_FILE LOCK_DIR"/lock.write"

       接着是分析iscsid的main程序:

int main(int argc, char *argv[])
{
struct utsname host_info; /* will use to compound initiator alias */
char *config_file = CONFIG_FILE;
char *initiatorname_file = INITIATOR_NAME_FILE;
char *pid_file = PID_FILE;
int ch, longindex;
uid_t uid = 0;
struct sigaction sa_old;
struct sigaction sa_new;
int control_fd;
pid_t pid;

        /*首先是分析iscsid的启动参数*/
while ((ch = getopt_long(argc, argv, "c:i:fd:nu:g:p:vh", long_options, &longindex)) >= 0) {
switch (ch) {
case 'c': /*若不使用默认的配置文件,需要指定*/
config_file = optarg;
break;
case 'i': /*不使用默认的initiatorname文件,也许要指定*/
initiatorname_file = optarg;
break;
case 'f': /*在前台运行,即不进入守护模式*/
daemonize = 0;
break;
case 'd': /*设置调试级别*/
log_level = atoi(optarg);
break;
case 'u': /*设置用户id*/
uid = strtoul(optarg, NULL, 10);
break;
case 'g': /*设置组id*/
gid = strtoul(optarg, NULL, 10);
break;
case 'n': /*不生成pid文件*/
pid_file = NULL;
break;
case 'p': /*不使用默认的pid文件生成路径*/
pid_file = optarg;
break;
case 'v':
printf("%s version %s\n", program_name,
ISCSI_VERSION_STR);
exit(0);
case 'h':
usage(0);
break;
default:
usage(1);
break;
}
}

/* initialize logger */
//返回值是记录日志的子进程id
        /*这里的日志记录进程也是一个守护进程,它会定期将输出的日志通过syslog输出,同时根据是否是守护模式,设置了输出函数,是通过syslog输出,还是直接输出的终端,以后将进入这个函数进行分析*/
log_pid = log_init(program_name, DEFAULT_AREA_SIZE,
     daemonize ? log_do_log_daemon : log_do_log_std, NULL);
if (log_pid < 0)
exit(ISCSI_ERR);

/* do not allow ctrl-c for now... */

/* 设置信号捕捉函数*/
sa_new.sa_handler = catch_signal;
sigemptyset(&sa_new.sa_mask);
sa_new.sa_flags = 0;
sigaction(SIGINT, &sa_new, &sa_old );
sigaction(SIGPIPE, &sa_new, &sa_old );
sigaction(SIGTERM, &sa_new, &sa_old );

//获取系统sys目录
sysfs_init();

//idbm初始化
        /*open-iscsi将targets的发现和nodes信息是通过dbm数据库进行组织的,所以运行open-iscsi还需要安装dbm数据库,其实就是libgdbm.so等几个库文件,idbm_init初始化需要链接到库文件中dbm的操作函数*/
if (idbm_init(iscsid_get_config_file)) {
log_close(log_pid);
exit(ISCSI_ERR);
}
 /*设置创建文件的mask值,这里只有运行用户的rw权限生效*/
umask(0177);

mgmt_ipc_fd = -1;
control_fd = -1;
daemon_config.initiator_name = NULL;
daemon_config.initiator_alias = NULL;

//建立一个本地socket进行进程间的通信
/*在open-iscsi中,管理程序和守护进行的通信是通过一个unix本地socket进行的*/
if ((mgmt_ipc_fd = mgmt_ipc_listen()) < 0) {
log_close(log_pid);
exit(ISCSI_ERR);
}

//创建守护进程
if (daemonize) {
char buf[64];
int fd = -1;

if (pid_file) { //创建pid文件
fd = open(pid_file, O_WRONLY|O_CREAT, 0644);
if (fd < 0) {
log_error("Unable to create pid file");
log_close(log_pid);
exit(ISCSI_ERR);
}
}
pid = fork(); //创建一个子进程
if (pid < 0) {
log_error("Starting daemon failed");
log_close(log_pid);
exit(ISCSI_ERR);
} else if (pid) { /*父进程退出,子进程被init进程接管*/
log_error("iSCSI daemon with pid=%d started!", pid);
exit(0);
}
                 
                /*控制通信*/
if ((control_fd = ipc->ctldev_open()) < 0) {
log_close(log_pid);
exit(ISCSI_ERR);
}
                
                /*切换目录到根目录*/
if (chdir("/") < 0)
log_debug(1, "Unable to chdir to /");

                /*将守护进程的进程id写入创建的pid文件*/
if (fd > 0) {
if (lockf(fd, F_TLOCK, 0) < 0) { //锁住pid文件
log_error("Unable to lock pid file");
log_close(log_pid);
exit(ISCSI_ERR);
}
if (ftruncate(fd, 0) < 0) { //将文件清空
log_error("Unable to truncate pid file");
log_close(log_pid);
exit(ISCSI_ERR);
}
sprintf(buf, "%d\n", getpid());
if (write(fd, buf, strlen(buf)) < 0) { //写入守护进程pid编号
log_error("Unable to write pid file");
log_close(log_pid);
exit(ISCSI_ERR);
}
}

              /*主要是对stdin stdout stderr重定向到/dev/null*/
daemon_init(); //守护进程初始化

        else { /*非守护进程模式,即iscid运行在前端*/
if ((control_fd = ipc->ctldev_open()) < 0) {
log_close(log_pid);
exit(1);
}
}

        /*设置用户和组id*/
if (uid && setuid(uid) < 0)
perror("setuid\n");

if (gid && setgid(gid) < 0)
perror("setgid\n");

//初始化daemon_config结构
memset(&daemon_config, 0, sizeof (daemon_config));
daemon_config.pid_file = pid_file;
daemon_config.config_file = config_file;
daemon_config.initiator_name =                        cfg_get_string_param(initiatorname_file, "InitiatorName");
if (daemon_config.initiator_name == NULL)
missing_iname_warn(initiatorname_file);

/* optional InitiatorAlias */
daemon_config.initiator_alias =
cfg_get_string_param(initiatorname_file,
    "InitiatorAlias");
if (!daemon_config.initiator_alias) {
memset(&host_info, 0, sizeof (host_info));
if (uname(&host_info) >= 0) {
daemon_config.initiator_alias =
strdup(host_info.nodename);
}
}

log_debug(1, "InitiatorName=%s", daemon_config.initiator_name ?
daemon_config.initiator_name : "NOT SET");
log_debug(1, "InitiatorAlias=%s", daemon_config.initiator_alias);

pid = fork();//创建一个子进程
if (pid == 0) {
int nr_found = 0;
/* child */
//查找是否有会话记录存在,进行同步
iscsi_sysfs_for_each_session(NULL, &nr_found, sync_session);
exit(0);
} else if (pid < 0) {
log_error("Fork failed error %d: existing sessions"
 " will not be synced", errno);
} else
reap_inc();

iscsi_initiator_init(); //设置会话回调函数
increase_max_files(); //设置文件限制值
discoveryd_start(daemon_config.initiator_name); //在查找已存在的记录目录

/* oom-killer will not kill us at the night... */
if (oom_adjust())
log_debug(1, "can not adjust oom-killer's pardon");

/* we don't want our active sessions to be paged out... */
if (mlockall(MCL_CURRENT | MCL_FUTURE)) {
log_error("failed to mlockall, exiting...");
log_close(log_pid);
exit(ISCSI_ERR);
}
        /*设置一些全局变量*/
actor_init();
        /*通过poll等待链接*/
event_loop(ipc, control_fd, mgmt_ipc_fd);

/*释放分配的内存*/
idbm_terminate();
sysfs_cleanup();
ipc->ctldev_close();

/*关闭本地通信socket*/
mgmt_ipc_close(mgmt_ipc_fd);

/*释放分配的内存*/
if (daemon_config.initiator_name)
free(daemon_config.initiator_name);
if (daemon_config.initiator_alias)
free(daemon_config.initiator_alias);

/*释放会话*/
free_initiator();
iscsid_shutdown();
return 0;
}


阅读(930) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~