Linux内核流量控制

1. 前言linux内核中提供了流量控制的相关处理功能，相关代码在net/sched目录下；而应用层上的控制是通过iproute2软件包中的tc来实现，tc和sched的关系就好象iptables和netfilter的关系一样，一个是用户层接口，一个是具体实现，关于tc的使用方法可详将 ，本文主要分析内核中的具体实现。

    流控包括几个部分: 流控算法, 通常在net/sched/sch_*.c中实现, 缺省的是FIFO, 是比较典型的黑盒模式, 对外只看到入队和出对两个操作; 流控结构的操作处理; 和用户空间的控制接口, 是通过rtnetlink实现的。

    以下内核代码版本为2.6.19.2。

    2. 控制入口2.1 控制入口linux流控功能反映为网卡设备的属性，表明是最底层的处理部分, 已经和上层的协议栈无

    关了:

    /* include/linux/netdevice.h */

    struct net_device

    {

    ......

    /*

    * Cache line mostly used on queue transmit path (qdisc)

    */

    /* device queue lock */

    spinlock_t queue_lock ____cacheline_aligned_in_smp;

    //这是发送数据时的队列处理

    struct Qdisc *qdisc;

    //网卡停止时保存网卡活动时的队列处理方法

    struct Qdisc *qdisc_sleeping;

    //网卡处理的数据队列链表

    struct list_head qdisc_list;

    //最大队列长度

    unsigned long tx_queue_len; /* Max frames per queue allowed */

    /* Partially transmitted GSO packet. */

    struct sk_buff *gso_skb;

    /* ingress path synchronizer */

    //输入流控锁

    spinlock_t ingress_lock;

    //这是对于接收数据时的队列处理

    struct Qdisc *qdisc_ingress;

    ...... 2.1.2 输出流控数据发出流控处理时，上层的所有处理已经完成，数据包已经交到网卡设备进行发送，在数据发送时进行相关的流控处理数据的出口函数为dev_queue_xmit(); 如果是接收流控, 数据只是刚从网卡设备中收到, 还未交到上层处理, 不过网卡的输入流控不是必须的, 缺省情况下并不进行流控，输入流控入口函数为ing_filter()函数，该函数被skb_receive_skb()调用：/* net/core/dev.c */

    int dev_queue_xmit(struct sk_buff *skb)

    {

    struct net_device *dev = skb->dev;

    struct Qdisc *q;

    int rc = -ENOMEM;

    ...... /* Updates of qdisc are serialized by queue_lock.

    * The struct Qdisc which is pointed to by qdisc is now a

    * rcu structure - it may be accessed without acquiring

    * a lock (but the structure may be stale.) The freeing of the

    * qdisc will be deferred until it's known that there are no

    * more references to it.

    *

    * If the qdisc has an enqueue function, we still need to * hold the queue_lock before calling it, since queue_lock * also serializes access to the device queue.

    */

    // 获取网卡的qdisc指针, 此出不需要锁, 是各个CPU的私有数据

    q = rcu_dereference(dev->qdisc);

    #ifdef CONFIG_NET_CLS_ACT

    skb->tc_verd = SET_TC_AT(skb->tc_verd,AT_EGRESS);

    #endif // 如果队列输入非空, 将数据包入队// 对于物理网卡设备, 缺省使用的是FIFO qdisc, 该成员函数非空, 只有逻辑网卡

    //才可能为空

    if (q->enqueue) {

    /* Grab device queue */

    //加锁

    spin_lock(&dev->queue_lock);

    //可以直接访问dev->qdisc了

    q = dev->qdisc;

    if (q->enqueue) {

    //入队处理

    rc = q->enqueue(skb, q);

    // 运行流控, 出队列操作

    qdisc_run(dev);

    spin_unlock(&dev->queue_lock);

    rc = rc == NET_XMIT_BYPASS ? NET_XMIT_SUCCESS : rc;

    goto out;

    }

    spin_unlock(&dev->queue_lock);

    }

    ......

    }

    //出队操作

    static inline void qdisc_run(struct net_device *dev)

    {

    if (!netif_queue_stopped(dev) && !test_and_set_bit(__LINK_STATE_QDISC_RUNNING, &dev->state))

    __qdisc_run(dev);

    }

    /* net/sched/sch_generic.c */

    void __qdisc_run(struct net_device *dev)

    {

    // 如果是noop_qdisc流控, 实际是丢包

    if (unlikely(dev->qdisc == &noop_qdisc))

    goto out;

    while (qdisc_restart(dev)

    out:

    clear_bit(__LINK_STATE_QDISC_RUNNING, &dev->state);

    }

    /* Kick device. Note, that this procedure can be called by a watchdog timer, so that we do not check dev->tbusy flag here. Returns: 0 - queue is empty. >0 - queue is not empty, but throttled. tbusy != 0. NOTE: Called under dev->queue_lock with locally disabled BH.

    */

    static inline int qdisc_restart(struct net_device *dev)

    {

    struct Qdisc *q = dev->qdisc;

    struct sk_buff *skb;

    /* Dequeue packet */

    //数据包出队

    if (((skb = dev->gso_skb)) || ((skb = q->dequeue(q)))) {

    unsigned nolock = (dev->features & NETIF_F_LLTX);

    dev->gso_skb = NULL;

    ......

    }