dpdk 17.11 支持iova

——lvyilong316

bus概念的支持

在dpdk 16.11是没有bud这一层抽象的，直接通过rte_eal_initàrte_eal_pci_init调用pci设备的初始化。也就是dpdk 16.11只支持pci这一种总线设备。但是到了dpdk17.11引入了bus的概念。

在rte_eal_inità rte_bus_scan 进行bus的初始化。

l  rte_bus_scan

int
rte_bus_scan(void)
{
         int ret;
         struct rte_bus *bus = NULL;

         TAILQ_FOREACH(bus, &rte_bus_list, next) {
                   ret = bus->scan();
                   if (ret)
                            RTE_LOG(ERR, EAL, "Scan for (%s) bus failed.\n",
                                     bus->name);
         }

         return 0;
}

这个函数会调用rte_bus_list上注册的所有bus的scan函数，这些bus是通过rte_bus_register函数注册上去的，而宏RTE_REGISTER_BUS又是rte_bus_register的封装。例如pci bus的注册过程如下所示。

struct rte_pci_bus rte_pci_bus = {
         .bus = {
                   .scan = rte_pci_scan,
                   .probe = rte_pci_probe,
                   .find_device = pci_find_device,
                   .plug = pci_plug,
                   .unplug = pci_unplug,
                   .parse = pci_parse,
                   .get_iommu_class = rte_pci_get_iommu_class,
         },
         .device_list = TAILQ_HEAD_INITIALIZER(rte_pci_bus.device_list),
         .driver_list = TAILQ_HEAD_INITIALIZER(rte_pci_bus.driver_list),
};

RTE_REGISTER_BUS(pci, rte_pci_bus.bus);

所以pci设备的初始化是通过以下路径完成的：rte_eal_inità rte_bus_scanà rte_pci_scan。而对应驱动的加载则是通过如下调用完成的：rte_eal_inità rte_bus_probeà rte_pci_probe完成的。

iova支持

所谓iova可以理解为io的地址，或者说是DMA的地址。在17.11中很多之前的phys_addr关键字都被替换为了iova关键字了。因为在之前dpdk不感知iommu，设置DMA都是用物理地址，但是在借助iommu时就可以使用虚拟地址进行DMA了。在rte_eal_init中还有如下调用：

         /* autodetect the iova mapping mode (default is iova_pa) */

         rte_eal_get_configuration()->iova_mode = rte_bus_get_iommu_class();

通过调用对应bus的get_iommu_class函数，来获取iova的模式。

l  rte_bus_get_iommu_class

enum rte_iova_mode
rte_bus_get_iommu_class(void)
{
         int mode = RTE_IOVA_DC;
         struct rte_bus *bus;

         TAILQ_FOREACH(bus, &rte_bus_list, next) {

                   if (bus->get_iommu_class)
                            mode |= bus->get_iommu_class();
         }

         if (mode != RTE_IOVA_VA) {
                   /* Use default IOVA mode */
                   mode = RTE_IOVA_PA;
         }
         return mode;
}

    iova有两种模式，一种是RTE_IOVA_VA，一种是RTE_IOVA_PA，RTE_IOVA_VA表示DMA操作可以使用虚拟地址表示目的地址，而RTE_IOVA_PA则表示DMA必须要用物理地址作为目的地址。

我们以pci的get_iommu_class为例，其对应实现为

l  rte_pci_get_iommu_class

/*
 * Get iommu class of PCI devices on the bus.
 */
enum rte_iova_mode
rte_pci_get_iommu_class(void)
{
         bool is_bound;
         bool is_vfio_noiommu_enabled = true;
         bool has_iova_va;
         bool is_bound_uio;
         bool iommu_no_va;
    /* 设备是否已经bonding相应驱动 */
         is_bound = pci_one_device_is_bound();
         if (!is_bound)
                   return RTE_IOVA_DC;

         has_iova_va = pci_one_device_has_iova_va(); /*是否有设备是否支持iova_va */
         is_bound_uio = pci_one_device_bound_uio(); /*是否有设备绑定了uio*/
         iommu_no_va = !pci_devices_iommu_support_va(); /*iommu是否支持使用虚拟地址作为iova*/
         if (has_iova_va && !is_bound_uio && !is_vfio_noiommu_enabled &&
                            !iommu_no_va)
                   return RTE_IOVA_VA;

         if (has_iova_va) {
                   RTE_LOG(WARNING, EAL, "Some devices want iova as va but pa will be used because.. ");
                   if (is_vfio_noiommu_enabled)
                            RTE_LOG(WARNING, EAL, "vfio-noiommu mode configured\n");
                   if (is_bound_uio)
                            RTE_LOG(WARNING, EAL, "few device bound to UIO\n");
                   if (iommu_no_va)
                            RTE_LOG(WARNING, EAL, "IOMMU does not support IOVA as VA\n");
         }

         return RTE_IOVA_PA;
}

决定pci设备最终的iova mode的条件有三个。首先是has_iova_va，这个通过pci_one_device_has_iova_va来判断。

l  pci_one_device_has_iova_va

static inline int
pci_one_device_has_iova_va(void)
{
         struct rte_pci_device *dev = NULL;
         struct rte_pci_driver *drv = NULL;

         FOREACH_DRIVER_ON_PCIBUS(drv) {
                   if (drv && drv->drv_flags & RTE_PCI_DRV_IOVA_AS_VA) {
                            FOREACH_DEVICE_ON_PCIBUS(dev) {
                                     if (dev->kdrv == RTE_KDRV_VFIO &&
                                         rte_pci_match(drv, dev))
                                               return 1;
                            }
                   }
         }
         return 0;
}

从这个函数的逻辑可以看出当设备对应的pmd驱动支持RTE_PCI_DRV_IOVA_AS_VA，且设备当前绑定了vfio驱动，则认为这个设备支持RTE_IOVA_VA。

第二个条件为is_bound_uio，通过pci_one_device_bound_uio来获取，其实就是判断是否有pci设备绑定了uio驱动，我们指定uio驱动是不支持iommu的，一旦有绑定uio的设备就不能使用RTE_IOVA_VA。

第三个条件为iommu_no_va，这个条件通过pci_devices_iommu_support_va来获取，也就是多去pci设备目录下的iommu特性，判断iommu是否可以支持用虚拟地址作为DMA地址。如下所示：

$cat /sys/bus/pci/devices/0000\:01\:00.0/iommu/intel-iommu/cap

8d2078c106f0466

    所以判断dpdk最终是否能够使用虚拟地址作为DMA地址除了设备绑定vfio和pmd支持之外，还需要有iommu对应特性的支持以及不能有设备绑定uio。

另外注意在rte_eal_init中还有如下判断逻辑，即如果当前主机加载了kni模块就不能在使用RTE_IOVA_VA模式了，因为kni需要依赖RTE_IOVA_PA。

/* Workaround for KNI which requires physical address to work */
         if (rte_eal_get_configuration()->iova_mode == RTE_IOVA_VA &&
                            rte_eal_check_module("rte_kni") == 1) {
                   rte_eal_get_configuration()->iova_mode = RTE_IOVA_PA;
                   RTE_LOG(WARNING, EAL,
                            "Some devices want IOVA as VA but PA will be used because.. "
                            "KNI module inserted\n");
         }