DPDK中总线和驱动的注册方式——RTE_INIT

DPDK中总线和驱动的注册方式——RTE_INIT

   —— RoadLee     

1. DPDK中的总线和驱动的注册方式

我们都知道DPDK的应用进程，如DPDK工程中的app或者examples启都会有一个main函数，在main函数中一般首先调用rte_eal_init()进行环境抽象层的初始化。然而，实际上在执行main函数前，还有一些DPDK中的初始化，如rte_log初始化、bus总线的注册、PMD驱动的注册和设备class的注册。
这些初始化的核心都是使用RTE_INIT_PRIO宏，其定义在文件rte_common.h，定义如下：

#define RTE_INIT_PRIO(func, prio) \
        static void __attribute__((constructor(RTE_PRIO(prio)), used)) func(void)

RTE_INIT_PRIO宏的实现，用到了附带GCC编译属性的函数定义：constructor和used属性。used比较简单，告诉GCC编译器此函数的有用性，即使函数没有被任何地方引用，也不要警告。constructor构造属性，类似C++的构造函数，它标注的函数将在主函数(main)之前执行，相关代码位于目标文件的.ctors区。
RTE_INIT_PRIO被多个初始化函数调用，而且他们是有顺序的，因此引入了一个RTE_PRIO宏指定了constructor的优先级，控制着函数执行顺序。值越小优先级越高，目前定义了4个优先级：

#define RTE_PRIORITY_LOG 101
#define RTE_PRIORITY_BUS 110
#define RTE_PRIORITY_CLASS 120
#define RTE_PRIORITY_LAST 65535

#define RTE_PRIO(prio) RTE_PRIORITY_ ## prio

RTE_INIT宏封装了RTE_PRIORITY_LAST优先级的函数，一般在PMD注册和PMD LOG注册时用到。RTE_REGISTER_BUS宏封装了RTE_PRIORITY_BUS优先级的函数，用于注册DPDK中的各种总线。而RTE_REGISTER_CLASS宏封装了RTE_PRIORITY_CLASS优先级的函数，用于注册设备class。RTE_PRIORITY_LOG优先级是当前{BANNED}最佳高的优先级，在进行eal_log_init中有使用RTE_INIT_PRIO(log_init, LOG)，如下代码所示:

lib/librte_eal/common/eal_common_log.c   RTE_INIT_PRIO(log_init, LOG)

drivers/bus/pci/pci_common.c             RTE_REGISTER_BUS(pci, rte_pci_bus.bus);
drivers/bus/vdev/vdev.c                  RTE_REGISTER_BUS(vdev, rte_vdev_bus);
drivers/bus/dpaa/dpaa_bus.c              RTE_REGISTER_BUS(FSL_DPAA_BUS_NAME, rte_dpaa_bus.bus);
drivers/bus/fslmc/fslmc_bus.c            RTE_REGISTER_BUS(FSLMC_BUS_NAME, rte_fslmc_bus.bus)
drivers/bus/vmbus/vmbus_common.c         RTE_REGISTER_BUS(vmbus, rte_vmbus_bus.bus);
drivers\bus\auxiliary\auxiliary_common.c RTE_REGISTER_BUS(auxiliary, auxiliary_bus.bus);
drivers\bus\ifpga\ifpga_bus.c            RTE_REGISTER_BUS(IFPGA_BUS_NAME, rte_ifpga_bus);
drivers\dma\idxd\idxd_bus.c                 RTE_REGISTER_BUS(dsa, dsa_bus.bus);


lib\vhost\vdpa.c                         RTE_REGISTER_CLASS(vdpa, rte_class_vdpa)
lib\ethdev|rte_class_eth.c               RTE_REGISTER_CLASS(eth, rte_class_eth)

以上各类初始化的优先级，可查看app编译后的map文件中搜索"ctors"关键字查看。

另外，DPDK中定义了RTE_FINI相关宏，其使用了GCC的destructor和used两个属性，destructor属性表明函数在主函数（main）结束之后执行。

#define RTE_FINI_PRIO(func, prio) \
        static void __attribute__((destructor(RTE_PRIO(prio)), used)) func(void)

#define RTE_UNREGISTER_CLASS(nm, cls) \
RTE_FINI_PRIO(classfinifn_ ##nm, CLASS) \
{ \
    rte_class_unregister(&cls); \
}

代码中的RTE_UNREGISTER_CLASS在DPDK-22.11中暂无任何模块使用。

2. gcc的constructor和destructor属性测试

编写constructor_destructor.c文件，模拟rte_pci_bus/rte_eal_log/rte_vdev_bus/rte_ethdev_class的代注册，代码如下：

#include <stdio.h>

#define RTE_PRIORITY_LOG 101
#define RTE_PRIORITY_BUS 110
#define RTE_PRIORITY_CLASS 120
#define RTE_PRIORITY_LAST 65535

#define RTE_PRIO(prio) \
    RTE_PRIORITY_ ## prio

#define RTE_INIT_PRIO(func, prio) \
static void __attribute__((constructor(RTE_PRIO(prio)), used)) func(void)

#define RTE_FINI_PRIO(func, prio) \
static void __attribute__((destructor(RTE_PRIO(prio)), used)) func##_remove(void)

RTE_INIT_PRIO(rte_pci_bus, BUS)
{
    printf("%d: register %s\n", __LINE__, __func__);
}

RTE_INIT_PRIO(rte_eal_log, LOG)
{
    printf("%d: init %s\n", __LINE__, __func__);
}

RTE_INIT_PRIO(rte_ethdev_class, CLASS)
{
    printf("%d: register %s\n", __LINE__, __func__);
}

RTE_FINI_PRIO(rte_ethdev_class, CLASS)
{
    printf("%d: unregister %s\n", __LINE__, __func__);
}

RTE_INIT_PRIO(rte_net_xxx_pmd, LAST)
{
    printf("%d: register %s\n", __LINE__, __func__);
}


void main()
{
    printf("start execute main.\n");
}

编译以上文件，并输出map文件：
gcc constructor_destructor.c -Wl,-Map=output.map
执行生成的可执行文件，运行结果如下：

从以上结果可以看出，通过constructor属性控制的函数确实在main()函数执行前运行的，而使用destructor属性控制的函数，确实在mian()函数退出后执行的。并且优先级越小的函数{BANNED}最佳先执行。
查看output.map文件，找到ctors区，在init_array和fini_array中确实找到了定义的调用优先级以及函数的调用顺序，如下图所示:

如果在另一个.c文件中模拟注册rte_vdev_bus，然后查看执行顺序如下：

查看map文件，如下图所示。此时110的优先级函数有两个，且排在101的后面。

尽管在map文件的init_array中无65535优先级的函数地址，但该函数也会在main()函数运行前执行，这一点从可执行文件执行的结果就可以看出(即只要指定了优先级，就算是指定的优先级是65535也还是会比没有指定优先级的函数先调用)。

总之：使用 __attribute__((constructor(prio))) 指定优先级，从而决定了init_array中的调用次序，优先级prio取值范围是 0--65535，其中 0--100 是预留的，不能使用，优先级数值越小优先级越高，函数越优先被执行。constructor属性指定的函数会在主函数前执行；destructor属性指定的函数在主函数后执行。

lib/librte_eal/common/eal_common_log.c RTE_INIT_PRIO(log_init, LOG)

drivers/bus/pci/pci_common.c      RTE_REGISTER_BUS(pci, rte_pci_bus.bus);
drivers/bus/vdev/vdev.c           RTE_REGISTER_BUS(vdev, rte_vdev_bus);
drivers/bus/dpaa/dpaa_bus.c       RTE_REGISTER_BUS(FSL_DPAA_BUS_NAME, rte_dpaa_bus.bus);
drivers/bus/fslmc/fslmc_bus.c     RTE_REGISTER_BUS(FSLMC_BUS_NAME, rte_fslmc_bus.bus);
drivers/bus/vmbus/vmbus_common.c  RTE_REGISTER_BUS(vmbus, rte_vmbus_bus.bus);

lib\vhost\vdpa.c RTE_REGISTER_CLASS(vdpa, rte_class_vdpa)
lib\ethdev|rte_class_eth.c RTE_REGISTER_CLASS(eth, rte_class_eth)