从linux设备驱动模型看virtio初始化

——lvyilong316

我们看linux kernel中virtio驱动相关代码，会发现有很多相关文件。首先有virtio.c这种文件，其次还有virtio_pci.c，virtio_scsi.c等这些文件，还有virtio_net.c，virtio_blk.c，virtio_balloon.c等这些。那么这些文件是什么关系呢？其次里面很多还有各自probe函数，到底是如何调用的，例如以网络的virtio_net到底是从哪里开始初始化的？要理清这些关系需要以linux设备驱动模型为背景展开讨论。这篇文章，我们以linux kernel 3.10代码为例，分析一下virtio的相关组织关系，以及设备初始化调用流程。

总线及驱动的注册

    linux设备驱动模型的核心有三个概念：设备(device)，驱动(driver)，总线(bus)。而如果我们把virtio的相关关系梳理清楚后，以网络virtio_net为例映射到设备驱动模型，就得到了下图。我们这个小节后面就以下图为背景展开。

图1

linux将virtio实现分离成两部分：和物理总线标准相关的（如pci，scsi等），和物理总线标准无关的。

图中左侧部分即和物理总线相关的实现，这里以pci为了，当然virtio也支持其他总线类型，如scsi。virtio-pci是virtio对应pci的驱动实现，所以virtio-pci是一个pci总线上的一个驱动。它通过如下方式注册到pci总线上去。

l  virtio-pci驱动注册

/*virtio_pci.c*/
static DEFINE_PCI_DEVICE_TABLE(virtio_pci_id_table) = {
    { PCI_DEVICE(0x1af4, PCI_ANY_ID) },
    { 0 }
};

static struct pci_driver virtio_pci_driver = {
    .name        = "virtio-pci",
    .id_table    = virtio_pci_id_table,
    .probe        = virtio_pci_probe,
    .remove        = virtio_pci_remove,
#ifdef CONFIG_PM
    .driver.pm    = &virtio_pci_pm_ops,
#endif
};

    如代码描述，这个驱动的名字叫"virtio-pci",注册到pci总线上后我们就能在sys文件系统中看到这个目录了。

    pci总线的创建时在系统启动初始化进行的，图中已经列出相关函数调用路径，这里就不再展开。

然后我们看图右边，virtio将和物理总线无关的部分抽象出了一个虚拟总线的概念，即我们看到的virtio。我们看这个总线是如果注册的。

l  virtio总线的注册

/*virtio.c*/
static struct bus_type virtio_bus = {
    .name = "virtio",
    .match = virtio_dev_match,
    .dev_attrs = virtio_dev_attrs,
    .uevent = virtio_uevent,
    .probe = virtio_dev_probe,
    .remove = virtio_dev_remove,
};

static int virtio_init(void)
{
    if (bus_register(&virtio_bus) != 0)
        panic("virtio bus registration failed");
    return 0;
}

core_initcall(virtio_init);

如代码所示，这个总线的名字叫”virtio”，通过bus_register就将virtio总线注册进系统，可以在sys文件系统中查看。

l  virtio-net驱动注册

最后我们看我们经常接触到设备驱动的初始化，我们以网络驱动virtio_net为例，其对应的驱动为virtio-net。其注册过程如下。

/* virtio-net.c */
static struct virtio_device_id id_table[] = {
    { VIRTIO_ID_NET, VIRTIO_DEV_ANY_ID },
    { 0 },
};

static struct virtio_driver virtio_net_driver = {
    .feature_table = features,
    .feature_table_size = ARRAY_SIZE(features),
    .driver.name =    KBUILD_MODNAME,
    .driver.owner =    THIS_MODULE,
    .id_table =    id_table,
    .probe =    virtnet_probe,
    .remove =    virtnet_remove,
    .config_changed = virtnet_config_changed,
#ifdef CONFIG_PM
    .freeze =    virtnet_freeze,
    .restore =    virtnet_restore,
#endif
};
module_virtio_driver(virtio_net_driver);

#define module_virtio_driver(__virtio_driver) \
    module_driver(__virtio_driver, register_virtio_driver, \
            unregister_virtio_driver)

int register_virtio_driver(struct virtio_driver *driver)
{
    /* Catch this early. */
    BUG_ON(driver->feature_table_size && !driver->feature_table);
    driver->driver.bus = &virtio_bus;
    return driver_register(&driver->driver);
}

最终通过register_virtio_driver函数将驱动的bus设置为之前注册的virtio总线，完成总线的注册。这样我们就能在sys文件系统对应virtio总线下的drivers目录看到这个驱动了。

    所以我们再回头来看图1，可以看到virtio设备是横跨两类总线及驱动的。

virtio设备的初始化流程

梳理清楚virtio相关设备，总线及驱动关系后我们看下virtio设备的初始化过程，我们还是以网络virtio_net设备为例子。这个初始化过程如下图2中的黄色部分所示。

图2

首先是系统启动kernel初始化阶段，pci子系统调用pci_scan_device发现pci网卡设备，并初始化对应pci_dev结构，然后将去注册到pci总线上（dev->dev.bus=&pci_bus_type）。同时设置device的vendor_id为0x1AF4（virtio的pci vendor_id），device_id为1

然后当我们加载virtio-pci驱动时,当调用module_pci_driver(virtio_pci_driver)将virtio-pci驱动注册在pci总线上时，在linux设备驱动模型中，这会导致对pci总线设备链表上未被驱动绑定的每个设备调用pci总线的match回调函数，即pci_bus_match函数。原型如下：

static int pci_bus_match(struct device *dev, struct device_driver *drv)

pci_bus_match函数将linux设备驱动模型核心出入的device结构转换为pci_dev结构，将device_driver结构转换为pci_driver结构，之后调用pci_match_device函数判断pci设备结构是否有匹配的pci设备ID结构。如果有则判断设备的pci ID和驱动设置的id_table中是否一样，如果一样说明设备和驱动匹配（这里设备的vendor_id和virtio-pci的virtio_pci_id_table匹配），将struct device的driver指针指向驱动，然后调用pci总线的probe函数，即pci_deivce_probe函数。这个函数再次将struct device强制转换成struct pci_dev，将设置在设备中的driver结构强制转换为struct pci_derver。它再次校验这个驱动能否支持这个设备，递增设备的引用计数，然后调用pci驱动probe函数(即virtio-pci的probe函数virtio_pci_probe)，传入它应该绑定到的struct pci_dev结构体指针。这就进入到了图2中黄色部分的函数调用链了。

    在开始梳理virtio_net初始化调用链前我们先看其对应的结构struct virtio_pci_device，将其展开得到图3。

图3

我们看到virtio_pci_device可以分为两部分，一部分是和pci总线相关的设备对应struct pci_dev，另一部分是和virtio总线相关的设备对应struct virtio_device。

virtio_pci_probe函数主要负责完成pci_dev部分的初始化，已经virtio_device部分初始化，然后调用register_virtio_device函数。

register_virtio_device函数将virtio_device的设备总线设置为virtio总线，然后调用device_register将virtio_device对应的设备添加到virtio总线上。这个添加总线的动作，会触发virtio总线的match函数即virtio_dev_match调用，同样该函数会比较设备dev的pci id和驱动id (virtio net的devid为1)，如果匹配则virtio bus的probe函数virtio_dev_probe将被调用。其中又会调用对应驱动的probe函数，即virtnet_probe。而virtnet_probe将会完成virtio net设备struct virtio_device剩余部分的初始化。

到此，virtio net的初始化流程就已经梳理清楚了。virtio net设备创建完成后也会分别出现在pci总线和virtio总线的drvices目录下。

 

最后附上virtio的其他类型设备id：

#define VIRTIO_ID_NET        1 /* virtio net */
#define VIRTIO_ID_BLOCK        2 /* virtio block */
#define VIRTIO_ID_CONSOLE    3 /* virtio console */
#define VIRTIO_ID_RNG        4 /* virtio rng */
#define VIRTIO_ID_BALLOON    5 /* virtio balloon */
#define VIRTIO_ID_RPMSG        7 /* virtio remote processor messaging */
#define VIRTIO_ID_SCSI        8 /* virtio scsi */
#define VIRTIO_ID_9P        9 /* 9p virtio console */
#define VIRTIO_ID_RPROC_SERIAL 11 /* virtio remoteproc serial link */
#define VIRTIO_ID_CAIF           12 /* Virtio caif */