全部博文(92)
分类: LINUX
2011-04-10 15:01:30
:转载时请以超链接形式标明文章原始出处和作者信息及本声明http://scudong.blogbus.com/logs/12008190.html
Linux® 中最常用的输入/输出(I/O)模型是同步 I/O。在这个模型中,当请求发出之后,应用程序就会阻塞,直到请求满足为止。这是很好的一种解决方案,因为调用应用程序在等待 I/O 请求完成时不需要使用任何中央处理单元(CPU)。但是在某些情况中,I/O 请求可能需要与其他进程产生交叠。可移植操作系统接口(POSIX)异步 I/O(AIO)应用程序接口(API)就提供了这种功能。在本文中,我们将对这个 API 概要进行介绍,并来了解一下如何使用它。
AIO 简介
Linux 异步 I/O 是 Linux 内核中提供的一个相当新的增强。它是 2.6 版本内核的一个标准特性,但是我们在 2.4 版本内核的补丁中也可以找到它。AIO 背后的基本思想是允许进程发起很多 I/O 操作,而不用阻塞或等待任何操作完成。稍后或在接收到 I/O 操作完成的通知时,进程就可以检索 I/O 操作的结果。
I/O 模型
在深入介绍 AIO API 之前,让我们先来探索一下 Linux 上可以使用的不同 I/O 模型。这并不是一个详尽的介绍,但是我们将试图介绍最常用的一些模型来解释它们与异步 I/O 之间的区别。图 1 给出了同步和异步模型,以及阻塞和非阻塞的模型。
每个 I/O 模型都有自己的使用模式,它们对于特定的应用程序都有自己的优点。本节将简要对其一一进行介绍。
同步阻塞 I/O
|
最常用的一个模型是同步阻塞 I/O 模型。在这个模型中,用户空间的应用程序执行一个系统调用,这会导致应用程序阻塞。这意味着应用程序会一直阻塞,直到系统调用完成为止(数据传输完成或发生错误)。调用应用程序处于一种不再消费 CPU 而只是简单等待响应的状态,因此从处理的角度来看,这是非常有效的。
图 2 给出了传统的阻塞 I/O 模型,这也是目前应用程序中最为常用的一种模型。其行为非常容易理解,其用法对于典型的应用程序来说都非常有效。在调用read
系统调用时,应用程序会阻塞并对内核进行上下文切换。然后会触发读操作,当响应返回时(从我们正在从中读取的设备中返回),数据就被移动到用户空间的缓冲区中。然后应用程序就会解除阻塞(read
调用返回)。
从应用程序的角度来说,read
调用会延续很长时间。实际上,在内核执行读操作和其他工作时,应用程序的确会被阻塞。
同步非阻塞 I/O
同步阻塞 I/O 的一种效率稍低的变种是同步非阻塞 I/O。在这种模型中,设备是以非阻塞的形式打开的。这意味着 I/O 操作不会立即完成,read
操作可能会返回一个错误代码,说明这个命令不能立即满足(EAGAIN
或EWOULDBLOCK
),如图 3 所示。
非阻塞的实现是 I/O 命令可能并不会立即满足,需要应用程序调用许多次来等待操作完成。这可能效率不高,因为在很多情况下,当内核执行这个命令时,应用程序必须要进行忙碌等待,直到数据可用为止,或者试图执行其他工作。正如图 3 所示的一样,这个方法可以引入 I/O 操作的延时,因为数据在内核中变为可用到用户调用read
返回数据之间存在一定的间隔,这会导致整体数据吞吐量的降低。
异步阻塞 I/O
另外一个阻塞解决方案是带有阻塞通知的非阻塞 I/O。在这种模型中,配置的是非阻塞 I/O,然后使用阻塞select
系统调用来确定一个 I/O 描述符何时有操作。使select
调用非常有趣的是它可以用来为多个描述符提供通知,而不仅仅为一个描述符提供通知。对于每个提示符来说,我们可以请求这个描述符可以写数据、有读数据可用以及是否发生错误的通知。
select
调用的主要问题是它的效率不是非常高。尽管这是异步通知使用的一种方便模型,但是对于高性能的 I/O 操作来说不建议使用。
异步非阻塞 I/O(AIO)
最后,异步非阻塞 I/O 模型是一种处理与 I/O 重叠进行的模型。读请求会立即返回,说明read
请求已经成功发起了。在后台完成读操作时,应用程序然后会执行其他处理操作。当read
的响应到达时,就会产生一个信号或执行一个基于线程的回调函数来完成这次 I/O 处理过程。
在一个进程中为了执行多个 I/O 请求而对计算操作和 I/O 处理进行重叠处理的能力利用了处理速度与 I/O 速度之间的差异。当一个或多个 I/O 请求挂起时,CPU 可以执行其他任务;或者更为常见的是,在发起其他 I/O 的同时对已经完成的 I/O 进行操作。
下一节将深入介绍这种模型,探索这种模型使用的 API,然后展示几个命令。
|
异步 I/O 的动机
从前面 I/O 模型的分类中,我们可以看出 AIO 的动机。这种阻塞模型需要在 I/O 操作开始时阻塞应用程序。这意味着不可能同时重叠进行处理和 I/O 操作。同步非阻塞模型允许处理和 I/O 操作重叠进行,但是这需要应用程序根据重现的规则来检查 I/O 操作的状态。这样就剩下异步非阻塞 I/O 了,它允许处理和 I/O 操作重叠进行,包括 I/O 操作完成的通知。
除了需要阻塞之外,select
函数所提供的功能(异步阻塞 I/O)与 AIO 类似。不过,它是对通知事件进行阻塞,而不是对 I/O 调用进行阻塞。
|
Linux 上的 AIO 简介
本节将探索 Linux 的异步 I/O 模型,从而帮助我们理解如何在应用程序中使用这种技术。
在传统的 I/O 模型中,有一个使用惟一句柄标识的 I/O 通道。在 UNIX® 中,这些句柄是文件描述符(这对等同于文件、管道、套接字等等)。在阻塞 I/O 中,我们发起了一次传输操作,当传输操作完成或发生错误时,系统调用就会返回。
|
在异步非阻塞 I/O 中,我们可以同时发起多个传输操作。这需要每个传输操作都有惟一的上下文,这样我们才能在它们完成时区分到底是哪个传输操作完成了。在 AIO 中,这是一个aiocb
(AIO I/O Control Block)结构。这个结构包含了有关传输的所有信息,包括为数据准备的用户缓冲区。在产生 I/O (称为完成)通知时,aiocb
结构就被用来惟一标识所完成的 I/O 操作。这个 API 的展示显示了如何使用它。
|
AIO API
AIO 接口的 API 非常简单,但是它为数据传输提供了必需的功能,并给出了两个不同的通知模型。表 1 给出了 AIO 的接口函数,本节稍后会更详细进行介绍。
API 函数 | 说明 |
---|---|
aio_read | 请求异步读操作 |
aio_error | 检查异步请求的状态 |
aio_return | 获得完成的异步请求的返回状态 |
aio_write | 请求异步写操作 |
aio_suspend | 挂起调用进程,直到一个或多个异步请求已经完成(或失败) |
aio_cancel | 取消异步 I/O 请求 |
lio_listio | 发起一系列 I/O 操作 |
每个 API 函数都使用aiocb
结构开始或检查。这个结构有很多元素,但是清单 1 仅仅给出了需要(或可以)使用的元素。
struct aiocb { int aio_fildes; // File Descriptor int aio_lio_opcode; // Valid only for lio_listio (r/w/nop) volatile void *aio_buf; // Data Buffer size_t aio_nbytes; // Number of Bytes in Data Buffer struct sigevent aio_sigevent; // Notification Structure /* Internal fields */ ... }; |
sigevent
结构告诉 AIO 在 I/O 操作完成时应该执行什么操作。我们将在 AIO 的展示中对这个结构进行探索。现在我们将展示各个 AIO 的 API 函数是如何工作的,以及我们应该如何使用它们。
aio_read
aio_read
函数请求对一个有效的文件描述符进行异步读操作。这个文件描述符可以表示一个文件、套接字甚至管道。aio_read
函数的原型如下:
int aio_read( struct aiocb *aiocbp );
|
aio_read
函数在请求进行排队之后会立即返回。如果执行成功,返回值就为 0;如果出现错误,返回值就为 -1,并设置errno
的值。
要执行读操作,应用程序必须对aiocb
结构进行初始化。下面这个简短的例子就展示了如何填充aiocb
请求结构,并使用aio_read
来执行异步读请求(现在暂时忽略通知)操作。它还展示了aio_error
的用法,不过我们将稍后再作解释。
#include |
在清单 2 中,在打开要从中读取数据的文件之后,我们就清空了aiocb
结构,然后分配一个数据缓冲区。并将对这个数据缓冲区的引用放到aio_buf
中。然后,我们将aio_nbytes
初始化成缓冲区的大小。并将aio_offset
设置成 0(该文件中的第一个偏移量)。我们将aio_fildes
设置为从中读取数据的文件描述符。在设置这些域之后,就调用aio_read
请求进行读操作。我们然后可以调用aio_error
来确定aio_read
的状态。只要状态是EINPROGRESS
,就一直忙碌等待,直到状态发生变化为止。现在,请求可能成功,也可能失败。
|
注意使用这个 API 与标准的库函数从文件中读取内容是非常相似的。除了aio_read
的一些异步特性之外,另外一个区别是读操作偏移量的设置。在传统的read
调用中,偏移量是在文件描述符上下文中进行维护的。对于每个读操作来说,偏移量都需要进行更新,这样后续的读操作才能对下一块数据进行寻址。对于异步 I/O 操作来说这是不可能的,因为我们可以同时执行很多读请求,因此必须为每个特定的读请求都指定偏移量。
aio_error
aio_error
函数被用来确定请求的状态。其原型如下:
int aio_error( struct aiocb *aiocbp );
|
这个函数可以返回以下内容:
EINPROGRESS
,说明请求尚未完成ECANCELLED
,说明请求被应用程序取消了-1
,说明发生了错误,具体错误原因可以查阅errno
aio_return
异步 I/O 和标准块 I/O 之间的另外一个区别是我们不能立即访问这个函数的返回状态,因为我们并没有阻塞在read
调用上。在标准的read
调用中,返回状态是在该函数返回时提供的。但是在异步 I/O 中,我们要使用aio_return
函数。这个函数的原型如下:
ssize_t aio_return( struct aiocb *aiocbp );
|
只有在aio_error
调用确定请求已经完成(可能成功,也可能发生了错误)之后,才会调用这个函数。aio_return
的返回值就等价于同步情况中read
或write
系统调用的返回值(所传输的字节数,如果发生错误,返回值就为-1
)。
aio_write
aio_write
函数用来请求一个异步写操作。其函数原型如下:
int aio_write( struct aiocb *aiocbp );
|
aio_write
函数会立即返回,说明请求已经进行排队(成功时返回值为0
,失败时返回值为-1
,并相应地设置errno
)。
这与read
系统调用类似,但是有一点不一样的行为需要注意。回想一下对于read
调用来说,要使用的偏移量是非常重要的。然而,对于write
来说,这个偏移量只有在没有设置O_APPEND
选项的文件上下文中才会非常重要。如果设置了O_APPEND
,那么这个偏移量就会被忽略,数据都会被附加到文件的末尾。否则,aio_offset
域就确定了数据在要写入的文件中的偏移量。