select和fd_set的应用

Select()系统调用及文件描述符集

 

在网络程序中，一个进程同时处理多个文件描述符是很常见的情况。select()系统调用可以使进程检测同时等待的多个I/O设备，当没有设备准备好时，select()阻塞，其中任一设备准备好时，select()就返回。

select()的调用形式为：

#include

#include

int select(int maxfd, fd_set *readfds, fd_set *writefds, fe_set *exceptfds, const struct timeval *timeout);

select的第一个参数是文件描述符集中要被检测的比特数，这个值必须至少比待检测的最大文件描述符大1；参数readfds指定了被读监控的文件描述符集；参数writefds指定了被写监控的文件描述符集；而参数exceptfds指定了被例外条件监控的文件描述符集。

参数timeout起了定时器的作用：到了指定的时间，无论是否有设备准备好，都返回调用。timeval的结构定义如下：

struct timeval{

long tv_sec; //表示几秒

long tv_usec; //表示几微妙

}

timeout取不同的值，该调用就表现不同的性质：

1．timeout为0，调用立即返回；

2．timeout为NULL，select()调用就阻塞，直到知道有文件描述符就绪；

3．timeout为正整数，就是一般的定时器。

select调用返回时，除了那些已经就绪的描述符外，select将清除readfds、writefds和exceptfds中的所有没有就绪的描述符。select的返回值有如下情况：

1．正常情况下返回就绪的文件描述符个数；

2．经过了timeout时长后仍无设备准备好，返回值为0；

3．如果select被某个信号中断，它将返回-1并设置errno为EINTR。

4．如果出错，返回-1并设置相应的errno。

系统提供了4个宏对描述符集进行操作：

#include

#include

void FD_SET(int fd, fd_set *fdset);

void FD_CLR(int fd, fd_set *fdset);

void FD_ISSET(int fd, fd_set *fdset);

void FD_ZERO(fd_set *fdset);

宏FD_SET设置文件描述符集fdset中对应于文件描述符fd的位(设置为1)，宏FD_CLR清除文件描述符集fdset中对应于文件描述符fd的位（设置为0），宏FD_ZERO清除文件描述符集fdset中的所有位(既把所有位都设置为0)。使用这3个宏在调用select前设置描述符屏蔽位，在调用select后使用FD_ISSET来检测文件描述符集fdset中对应于文件描述符fd的位是否被设置。

过去，描述符集被作为一个整数位屏蔽码得到实现，但是这种实现对于多于32个的文件描述符将无法工作。描述符集现在通常用整数数组中的位域表示，数组元素的每一位对应一个文件描述符。例如，一个整数占32位，那么整数数组的第一个元素代表文件描述符0到31，数组的第二个元素代表文件描述符32到63，以此类推。宏FD_SET设置整数数组中对应于fd文件描述符的位为1，宏FD_CLR设置整数数组中对应于fd文件描述符的位为0，宏FD_ZERO设置整数数组中的所有位都为0。假设执行如下程序后：

#include

#include

fd_set readset;

FD_ZERO(&readset);

FD_SET(5, &readset);

FD_SET(33, &readset);

则文件描述符集readset中对应于文件描述符6和33的相应位被置为1，如图1所示：

再执行如下程序后：

FD_CLR(5, &readset);

则文件描述符集readset对应于文件描述符6的相应位被置为0，如图2所示：

通常，操作系统通过宏FD_SETSIZE来声明在一个进程中select所能操作的文件描述符的最大数目。例如：

在4.4BSD的头文件中我们可以看到：

＃ifndef FD_SETSIZE

#define FD_SETSIZE 1024

#endif

在红帽Linux的头文件中我们可以看到：

＃define __FD_SETSIZE 1024

以及在头文件中我们可以看到：

#include

#define FD_SETSIZE __FD_SETSIZE

既定义FD_SETSIZE为1024，一个整数占4个字节，既32位，那么就是用包含32个元素的整数数组来表示文件描述符集。我们可以在头文件中修改这个值来改变select使用的文件描述符集的大小，但是必须重新编译内核才能使修改后的值有效。当前版本的unix操作系统没有限制FD_SETSIZE的最大值，通常只受内存以及系统管理上的限制。

 

 

 

//---------------

 

 系统提供select函数来实现多路复用输入/输出模型。原型：
        #include sys/time.h>
        #include unistd.h>
        int select(int maxfd,fd_set *rdset,fd_set *wrset,fd_set *exset,struct timeval *timeout);
          参数maxfd是需要监视的最大的文件描述符值+1；rdset,wrset,exset分别对应于需要检测的可读文件描述符的集合，可写文件描述符的集 合及异常文件描述符的集合。struct timeval结构用于描述一段时间长度，如果在这个时间内，需要监视的描述符没有事件发生则函数返回，返回值为0。
  FD_ZERO,FD_SET,FD_CLR,FD_ISSET: 参数maxfd是需要监视的最大的文件描述符值+1；rdset,wrset,exset分别对应于需要检测的可读文件描述符的集合，可写文件描述符的集 合及异常文件描述符的集合。struct timeval结构用于描述一段时间长度，如果在这个时间内，需要监视的描述符没有事件发生则函数返回，返回值为0。
  FD_ZERO,FD_SET,FD_CLR,FD_ISSET:
        FD_ZERO(fd_set *fdset);将指定的文件描述符集清空，在对文件描述符集合进行设置前，必须对其进行初始化，如果不清空，由于在系统分配内存空间后，通常并不作清空处理，所以结果是不可知的。
        FD_SET(fd_set *fdset);用于在文件描述符集合中增加一个新的文件描述符。
        FD_CLR(fd_set *fdset);用于在文件描述符集合中删除一个文件描述符。
        FD_ISSET(int fd,fd_set *fdset);用于测试指定的文件描述符是否在该集合中。
  struct timeval结构：
        struct timeval{
        long tv_sec;//second
        long tv_usec;//minisecond
  }
  timeout设置情况：
        null:select将一直被阻塞，直到某个文件描述符上发生了事件。
        0：仅检测描述符集合的状态，然后立即返回，并不等待外部事件的发生。
        特定的时间值：如果在指定的时间段里没有事件发生，select将超时返回。
--
（'fd_set') 是一组文件描述符(fd)的集合。由于fd_set类型的长度在不同平台上不同，因此应该用一组标准的宏定义来处理此类变量：
fd_set set; FD_ZERO(&set); /* 将set清零 */ FD_SET(fd, &set); /* 将fd加入set */ FD_CLR(fd, &set); /* 将fd从set中清除 */ FD_ISSET(fd, &set); /* 如果fd在set中则真　*/
在 过去，一个fd_set通常只能包含少于等于32个文件描述符，因为fd_set其实只用了一个int的比特矢量来实现，在大多数情况下，检查 fd_set能包括任意值的文件描述符是系统的责任，但确定你的fd_set到底能放多少有时你应该检查/修改宏FD_SETSIZE的值。*这个值是系 统相关的*，同时检查你的系统中的select() 的man手册。有一些系统对多于1024个文件描述符的支持有问题。

多路复用的方式是真正实用的服务器程序，非多路复用的网络程序只能作为学习或着陪测的角色。本文说下个人
接触过的多路复用函数：select/poll/epoll/port。kqueue的*nix系统没接触过，估计熟悉了上面
四种，kqueue也只是需要熟悉一下而已。
一、select模型
select原型： int select(int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
其中参数n表示监控的所有fd中最大值＋1。
和select模型紧密结合的四个宏，含义不解释了：
FD_CLR(int fd, fd_set *set);
FD_ISSET(int fd, fd_set *set);
FD_SET(int fd, fd_set *set);
FD_ZERO(fd_set *set);
理解select模型的关键在于理解fd_set,为说明方便，取fd_set长度为1字节，fd_set中的每一bit可以对应一个文件描述符fd。则1字节长的fd_set最大可以对应8个fd。
（1）执行fd_set set; FD_ZERO(&set);则set用位表示是0000,0000。
（2）若fd＝5,执行FD_SET(fd,&set);后set变为0001,0000(第5位置为1)
（3）若再加入fd＝2，fd=1,则set变为0001,0011
（4）执行select(6,&set,0,0,0)阻塞等待
（5）若fd=1,fd=2上都发生可读事件，则select返回，此时set变为0000,0011。注意：没有事件发生的fd=5被清空。
基于上面的讨论，可以轻松得出select模型的特点：
（1)可监控的文件描述符个数取决与sizeof(fd_set)的值。我这边服务 器上sizeof(fd_set)＝512，每bit表示一个文件描述符，则我服务器上支持的最大文件描述符是512*8=4096。据说可调，另有说虽 然可调，但调整上限受于编译内核时的变量值。本人对调整fd_set的大小不太感兴趣，参考http://www.cppblog.com /CppExplore/archive/2008/03/21/45061.html中的模型2（1）可以有效突破select可监控的文件描述符上 限。
（2）将fd加入select监控集的同时，还要再使用一个数据结构array保存放到select监控集中的fd，一是用于再select 返回后，array作为源数据和fd_set进行FD_ISSET判断。二是select返回后会把以前加入的但并无事件发生的fd清空，则每次开始 select前都要重新从array取得fd逐一加入（FD_ZERO最先），扫描array的同时取得fd最大值maxfd，用于select的第一个 参数。
（3）可见select模型必须在select前循环array（加fd，取maxfd），select返回后循环array（FD_ISSET判断是否有时间发生）。
下面给一个伪码说明基本select模型的服务器模型：
array[slect_len];
nSock=0;
array[nSock++]=listen_fd;(之前listen port已绑定并listen)
maxfd=listen_fd;
while{
   FD_ZERO(&set);
   foreach (fd in array)
   {
       fd大于maxfd，则maxfd=fd
       FD_SET(fd,&set)
   }
   res=select(maxfd+1,&set,0,0,0)；
   if(FD_ISSET(listen_fd,&set))
   {
       newfd=accept(listen_fd);
       array[nsock++]=newfd;
            if(--res=0) continue
   }
   foreach 下标1开始 (fd in array)
   {
       if(FD_ISSET(fd,&set))
          执行读等相关操作
          如果错误或者关闭，则要删除该fd，将array中相应位置和最后一个元素互换就好，nsock减一
             if(--res=0) continue
   }
}

 

 

//----------------------------

/* If you only have a couple dozen fds, this version won't be awful */
fd_set readset;
int i, n;
char buf[1024];

while (i_still_want_to_read()) {
    int maxfd = -1;
    FD_ZERO(&readset);

    /* Add all of the interesting fds to readset */
    for (i=0; i < n_sockets; ++i) {
         if (fd[i]>maxfd) maxfd = fd[i];
         FD_SET(i, &readset);
    }

    /* Wait until one or more fds are ready to read */
    select(maxfd+1, &readset, NULL, NULL, NULL);

    /* Process all of the fds that are still set in readset */
    for (i=0; i < n_sockets; ++i) {
        if (FD_ISSET(fd[i], &readset)) {
            n = recv(fd[i], buf, sizeof(buf), 0);
            if (n == 0) {
                handle_close(fd[i]);
            } else if (n < 0) {
                if (errno == EAGAIN)
                     ; /* The kernel didn't have any data for us to read. */
                else
                     handle_error(fd[i], errno);
             } else {
                handle_input(fd[i], buf, n);
             }
        }
    }
}

另：
select的本质是采用32个整数的32位，即32*32= 1024来标识，fd值为1-1024。当fd的值超过1024限制时，就必须修改FD_SETSIZE的大小。这个时候就可以标识32*max值范围的fd。gzB平坦软件园
对于单进程多线程，每个线程处理多个fd的情况，select是不适合的。gzB平坦软件园
1.所有的线程均是从1-32*max进行扫描，每个线程处理的均是一段fd值，这样做有点浪费gzB平坦软件园
2.1024上限问题，一个处理多个用户的进程，fd值远远大于1024gzB平坦软件园
gzB平坦软件园
所以这个时候应该采用poll，poll传递的是数组头指针和该数组的长度，只要数组的长度不是很长，性能还是很不错的，因为poll一次在内核中申请4K（一个页的大小来存放fd），尽量控制在4K以内gzB平坦软件园
至于epoll还是poll的一种优化，返回后不需要对所有的fd进行遍历，在内核中维持了fd的列表。select和poll是将这个内核列表维持在用户态，然后传递到内核中。但是只有在2.6的内核才支持。gzB平坦软件园
epoll更适合于处理大量的fd ，且活跃fd不是很多的情况，毕竟fd较多还是一个串行的操作.