FUSE的big_writes与direct_io选项分析

对fuse提供的两个选项direct_io及big_writes困惑已久，以前对内核完全不了解，看不懂fuse内核模块的代码，这两天把fuse的代码重新过了一遍，把整个机制弄清楚了，很多细节方面的东西还在学习中。

 

指定direct_io挂载文件系统时，系统调用到了fuse层后，会跳过页高速缓存，当指定了direct_io后，读写系统调用会使用fuse_direct_io_file_operations的读写方法。

 

#fuse/kernel/file.c

static const struct file_operations fuse_direct_io_file_operations = {

     ……

    .read       = fuse_direct_read,

    .write      = fuse_direct_write

 ……      

};

 

fuse_direct_read/fuse_direct_write都是通过fuse_direct_io实现的

static ssize_t fuse_direct_io(struct file *file, const char __user *buf,

                              size_t count, loff_t *ppos, int write)

{

struct inode *inode = file->f_path.dentry->d_inode;

struct fuse_conn *fc = get_fuse_conn(inode);

//使用direct_io每次io量为max_write(max_read)

size_t nmax = write ? fc->max_write : fc->max_read;

……..

while (count) {

              size_t nres;

              //请求大小与最大io量对比，取小者

              size_t nbytes = min(count, nmax);

//如果是写将则将用户空间的数据拷贝进来，作为fuse_req中in字段的值；如果是读，则将用户空间的地址作为fuse_req中out的值

              int err = fuse_get_user_pages(req, buf, &nbytes, write);

                   

              //根据请求类型将请求发送到/dev/fuse，等待其处理

              if (write)

                   nres = fuse_send_write(req, file, inode, pos, nbytes,

                                       current->files);

              else

                   nres = fuse_send_read(req, file, inode, pos, nbytes,

                                      current->files);

              …….

}

 

从上面的代码可以看出，只要fuse每次处理读写请求的大小是受到max_read，max_write参数（挂载文件系统时可以指定）限制的，对于vfs传递下来的请求，读请求只要不超过max_read，则只需要一次fuse的read，写请求只要不超过max_write，则只需要一次fuse的write即可。

另外read，write的处理受限于几个宏定义的值：

fuse/kernel/fuse_i.h
#define FUSE_MAX_PAGES_PER_REQ 32 //fuse每个请求能使用的最大页数

fuse/lib/fuse_kern_chan.c

#define MIN_BUFSIZE 0x21000  //用户态与fuse/dev之间channal的缓冲区大小

从这两个值可以看出，fuse处理请求时能使用的最大空间为128K

 

在指定direct_io的情况下，使用cp拷贝文件，为什么write只有4k，而read能达到128k？

经多次测试，cp使用的缓冲区应该是4096，所以cp中的read（write）系统调用每次传递个vfs的请求大小为4K，而vfs接受到请求后，对于写请求直接发到fuse，fuse处理写请求；对于读请求，由于linux系统的预读机制，如果是顺序读，预读的最大值能达到128k，这个值在inlcude/linux/mm.h中定义了，即#define VM_MAX_READAHEAD 128（单位是KB）。因此对于cp小的缓冲区，fuse的读请求能达到128k，而write只能是4k。

 

故使用dd等能指定每次请求大小的工具，并加上direct_io参数，能使达到fuse的读写请求达到128k，要想这个值更高，必须对fuse以及系统内核进行修改，主要就是上面提到的几个限制。

如果想io请求达到1M，可做如下修改。

#define FUSE_MAX_PAGES_PER_REQ  256

#define MIN_BUFSIZE 0x101000   //两者改针对fuse，需要重新编译fuse模块。

#define VM_MAX_READAHEAD 1024  //针对系统内核，将预读的最大值设为1M，需重新编译内核

 

按照我的理解，使用direct_io选项，并且在用户态指定了请求大小时，只需要改fuse的两个值就行，为什么还需要修改内核的VM_MAX_READAHEAD才能使请求提高到1M呢？

 

big_writes是怎么回事？

big_writes选项是到fuse-2.8才加的，需要相应fuse内核模块的支持（据fuse的作者说linux-2.6.26以上内核中的fuse才支持。

 

在以前的fuse内核模块中，对于使用页高速缓存的读写，没有实现writepages方法，即一次只能写一个页，所以在以前中的版本中，不适用direct_io的情况下，写请求最大为4k，我看的是2.6.30内核中的fuse内核代码。

 

fuse.h中增加FUSE_BIG_WRITES的声明，fuse_i.h里fuse_conn中增加了big_writes字段，在fuse_fill_write_pages中有如下变化。

#in file.c

static ssize_t fuse_fill_write_pages(struct fuse_req *req,

                       struct address_space *mapping,

                       struct iov_iter *ii, loff_t pos)

{

           ……

           do {

            err = 0;

            req->pages[req->num_pages] = page;

            req->num_pages++;

           //如果没有指定big_writes标志，则只fill一页就就跳出循环，而指定该标志后，该值会提高到max_write,和FUSE_MAX_PAGES_REQ中限定的较小值。

           if (!fc->big_writes)

                break;

           } while (iov_iter_count(ii) && count < fc->max_write &&

             req->num_pages < FUSE_MAX_PAGES_PER_REQ && offset == 0);

           return count > 0 ? count : err;

}

 

同样在指定big_writes的情况下，修改上面提到的三个地方，也可以使请求的值提高到更大，两者的区别在于big_writes使得VFS维护了所读（写）文件的页高速缓存，之后的读写效率会很高，而direct_io每次绕过页高速缓存。

 

以上是对fuse中两个挂载选项的分析，如有问题，烦请指出。