分类： 嵌入式
2013-11-18 17:10:19
第三部分： ioctl管理网桥
3.1 通过ioctl系统调用创建网桥
仍然以前的配置作为例，我们分用户空间程序brctl是如何通过ioctl系统调用在kernel空间内创建上述的数据结构。创建网桥，我们不需要预知任
何网络设备信息，因此我们通过ioctl来创建网桥时不应该与任何网络设备绑定到一起。网桥模块为此ioctl函数提供了一个恰如其分的名字
br_ioctl_deviceless_stub。Brctl工具使用的ioctl系统调用最终会调用此函数，它相关代码如下：
[linux-2.6.24.4/net/bridge/br.c]
brioctl_set(br_ioctl_deviceless_stub);
[linux-2.6.24.4/net/socket.c]
void brioctl_set(int (*hook) (struct net *, unsigned int, void __user *)) {
mutex_lock(&br_ioctl_mutex);
br_ioctl_hook = hook;
mutex_unlock(&br_ioctl_mutex);
}
void brioctl_set(int (*hook) (struct net *, unsigned int, void __user *)) {
mutex_lock(&br_ioctl_mutex);
br_ioctl_hook = hook;
mutex_unlock(&br_ioctl_mutex);
}
用户空间程序使用网桥相关的命令来调用ioctl函数时，它经kernel依据命令所属的分类分派到sock_ioctl函数。在sock_ioctl函 数里面，当ioctl命令为SIOCGIFBR，SIOCSIFBR， SIOCBRADDBR 和SIOCBRDELBR，它将ioctl的请求转发到br_ioctl_deviceless_stub函数。
Br_ioctl_deviceless_stub函数代码和分析如下：
[linux-2.6.24.4/net/bridge/br_ioctl.c]
int br_ioctl_deviceless_stub(struct net *net, unsigned int cmd, void __user *uarg) {
switch (cmd) {
case SIOCGIFBR:
case SIOCSIFBR:
// 这两个网桥命令是比较老式的，我们在这里不作讨论
return old_deviceless(uarg);
// 新式的网桥ioctl命令有两个，添加新网桥和删除现有的网桥
// 需要用户空间提供网桥的名字。
case SIOCBRADDBR:
case SIOCBRDELBR:
{
char buf[IFNAMSIZ];
if (!capable(CAP_NET_ADMIN))
return -EPERM;
if (copy_from_user(buf, uarg, IFNAMSIZ))
return -EFAULT;
buf[IFNAMSIZ-1] = 0;
if (cmd == SIOCBRADDBR)
return br_add_bridge(buf);
return br_del_bridge(buf);
}
}
return -EOPNOTSUPP;
}
int br_ioctl_deviceless_stub(struct net *net, unsigned int cmd, void __user *uarg) {
switch (cmd) {
case SIOCGIFBR:
case SIOCSIFBR:
// 这两个网桥命令是比较老式的，我们在这里不作讨论
return old_deviceless(uarg);
// 新式的网桥ioctl命令有两个，添加新网桥和删除现有的网桥
// 需要用户空间提供网桥的名字。
case SIOCBRADDBR:
case SIOCBRDELBR:
{
char buf[IFNAMSIZ];
if (!capable(CAP_NET_ADMIN))
return -EPERM;
if (copy_from_user(buf, uarg, IFNAMSIZ))
return -EFAULT;
buf[IFNAMSIZ-1] = 0;
if (cmd == SIOCBRADDBR)
return br_add_bridge(buf);
return br_del_bridge(buf);
}
}
return -EOPNOTSUPP;
}
该函数调用br_add_bridge和br_del_brdge函数的实现新建和删除网桥的功能。由于这两个函数所完成的事情刚好相反，在此，我们只讨论br_add_bridge的代码：
[linux-2.6.24.4/net/bridge/br_if.c]
int br_add_bridge(const char *name) {
struct net_device *dev;
int ret;
// 创建网桥的核心工作，创建一个与网桥同名的网络设备。
// 可以通过该设备分配的IP地址来管理该网桥。 同时该设备
// 是虚拟的设备，它的接收包和发送包处理函数与一般的真实网卡
// 设备不同。
dev = new_bridge_dev(name);
if (!dev)
return -ENOMEM;
rtnl_lock();
if (strchr(dev->name, '%')) {
ret = dev_alloc_name(dev, dev->name);
if (ret < 0) {
free_netdev(dev);
goto out;
}
}
// 向kernel注册该网桥设备，这样在用户空间就以使用
// ifconfig来为之分配IP，或通ioctl来对该网桥添加新的接口。
ret = register_netdevice(dev);
if (ret)
goto out;
ret = br_sysfs_addbr(dev);
if (ret)
unregister_netdevice(dev);
out:
rtnl_unlock();
return ret;
}
int br_add_bridge(const char *name) {
struct net_device *dev;
int ret;
// 创建网桥的核心工作，创建一个与网桥同名的网络设备。
// 可以通过该设备分配的IP地址来管理该网桥。 同时该设备
// 是虚拟的设备，它的接收包和发送包处理函数与一般的真实网卡
// 设备不同。
dev = new_bridge_dev(name);
if (!dev)
return -ENOMEM;
rtnl_lock();
if (strchr(dev->name, '%')) {
ret = dev_alloc_name(dev, dev->name);
if (ret < 0) {
free_netdev(dev);
goto out;
}
}
// 向kernel注册该网桥设备，这样在用户空间就以使用
// ifconfig来为之分配IP，或通ioctl来对该网桥添加新的接口。
ret = register_netdevice(dev);
if (ret)
goto out;
ret = br_sysfs_addbr(dev);
if (ret)
unregister_netdevice(dev);
out:
rtnl_unlock();
return ret;
}
现在创建网桥设备的任务落到new_bridge_dev的身上。New_bridge_dev函数的功能与一般的网卡驱动初化为代码非常类似的。因为这里段代就创建一个网桥设备，从这个层面来说，这段代码也算是驱动代码，结构和真实驱动非常类似。
[linux-2.6.24.4/net/bridge/br_if.c]
static struct net_device *new_bridge_dev(const char *name) {
struct net_bridge *br;
struct net_device *dev;
// 分配net_device结构，它的priv数据为net_bridge结构体。
// br_dev_setup函数初化了net_device结构的很多函数指针。
dev = alloc_netdev(sizeof(struct net_bridge), name,
br_dev_setup);
if (!dev)
return NULL;
br = netdev_priv(dev);
br->dev = dev;
spin_lock_init(&br->lock);
INIT_LIST_HEAD(&br->port_list);
spin_lock_init(&br->hash_lock);
br->bridge_id.prio[0] = 0x80;
br->bridge_id.prio[1] = 0x00;
….
return dev;
}
static struct net_device *new_bridge_dev(const char *name) {
struct net_bridge *br;
struct net_device *dev;
// 分配net_device结构，它的priv数据为net_bridge结构体。
// br_dev_setup函数初化了net_device结构的很多函数指针。
dev = alloc_netdev(sizeof(struct net_bridge), name,
br_dev_setup);
if (!dev)
return NULL;
br = netdev_priv(dev);
br->dev = dev;
spin_lock_init(&br->lock);
INIT_LIST_HEAD(&br->port_list);
spin_lock_init(&br->hash_lock);
br->bridge_id.prio[0] = 0x80;
br->bridge_id.prio[1] = 0x00;
….
return dev;
}
[linux-2.6.24.4/net/bridge/br_device.c]
void br_dev_setup(struct net_device *dev) {
// 为该网桥设备随机分配MAC地址
random_ether_addr(dev->dev_addr);
// 初始化dev的部分函数指针，因为目前网桥设备主适用于以及网
// 以太网的部分功能对它也适用。
ether_setup(dev);
// 设置设备的ioctl函数为br_dev_ioctl。下面可以看到通过该ioctl函数
// 来为网桥添加网络接口。
dev->do_ioctl = br_dev_ioctl;
// 网桥与一般网卡不同，网桥统一统计它的数据包和字节数等信息。
dev->get_stats = br_dev_get_stats;
// 网桥接口的数据包发送函数，真实设备要向外发送数据时，是通过
// 网卡向外发送数据。而该网桥设备要向外发送数据时，它的处理逻辑与
// 网桥其它接口的基本一致。
dev->hard_start_xmit = br_dev_xmit;
dev->open = br_dev_open;
dev->set_multicast_list = br_dev_set_multicast_list;
dev->change_mtu = br_change_mtu;
dev->destructor = free_netdev;
SET_ETHTOOL_OPS(dev, &br_ethtool_ops);
dev->stop = br_dev_stop;
dev->tx_queue_len = 0;
dev->set_mac_address = br_set_mac_address;
dev->priv_flags = IFF_EBRIDGE;
dev->features = NETIF_F_SG | NETIF_F_FRAGLIST | NETIF_F_HIGHDMA |
NETIF_F_GSO_MASK | NETIF_F_NO_CSUM | NETIF_F_LLTX;
}
void br_dev_setup(struct net_device *dev) {
// 为该网桥设备随机分配MAC地址
random_ether_addr(dev->dev_addr);
// 初始化dev的部分函数指针，因为目前网桥设备主适用于以及网
// 以太网的部分功能对它也适用。
ether_setup(dev);
// 设置设备的ioctl函数为br_dev_ioctl。下面可以看到通过该ioctl函数
// 来为网桥添加网络接口。
dev->do_ioctl = br_dev_ioctl;
// 网桥与一般网卡不同，网桥统一统计它的数据包和字节数等信息。
dev->get_stats = br_dev_get_stats;
// 网桥接口的数据包发送函数，真实设备要向外发送数据时，是通过
// 网卡向外发送数据。而该网桥设备要向外发送数据时，它的处理逻辑与
// 网桥其它接口的基本一致。
dev->hard_start_xmit = br_dev_xmit;
dev->open = br_dev_open;
dev->set_multicast_list = br_dev_set_multicast_list;
dev->change_mtu = br_change_mtu;
dev->destructor = free_netdev;
SET_ETHTOOL_OPS(dev, &br_ethtool_ops);
dev->stop = br_dev_stop;
dev->tx_queue_len = 0;
dev->set_mac_address = br_set_mac_address;
dev->priv_flags = IFF_EBRIDGE;
dev->features = NETIF_F_SG | NETIF_F_FRAGLIST | NETIF_F_HIGHDMA |
NETIF_F_GSO_MASK | NETIF_F_NO_CSUM | NETIF_F_LLTX;
}
3.2 通过ioctl系统调用为网桥添加端口
仅仅创建网桥，还是不够的。实际应用中的网桥需要添加实际的端口（即物理接口），如例子中的eth1, eth2等。应用程序在使用ioctl来为网桥增加物理接口，br_dev_ioctl的代码和分析如下：
[linux-2.6.24.4/net/bridge/br_ioctl.c]
// dev 为网桥接口，ifreq 为添加/删除的物理接口的参数
int br_dev_ioctl(struct net_device *dev, struct ifreq *rq, int cmd) {
struct net_bridge *br = netdev_priv(dev);
switch(cmd) {
case SIOCDEVPRIVATE:
return old_dev_ioctl(dev, rq, cmd);
case SIOCBRADDIF:
case SIOCBRDELIF:
return add_del_if(br, rq->ifr_ifindex, cmd == SIOCBRADDIF);
}
pr_debug("Bridge does not support ioctl 0x%x\n", cmd);
return -EOPNOTSUPP;
}
// dev 为网桥接口，ifreq 为添加/删除的物理接口的参数
int br_dev_ioctl(struct net_device *dev, struct ifreq *rq, int cmd) {
struct net_bridge *br = netdev_priv(dev);
switch(cmd) {
case SIOCDEVPRIVATE:
return old_dev_ioctl(dev, rq, cmd);
case SIOCBRADDIF:
case SIOCBRDELIF:
return add_del_if(br, rq->ifr_ifindex, cmd == SIOCBRADDIF);
}
pr_debug("Bridge does not support ioctl 0x%x\n", cmd);
return -EOPNOTSUPP;
}
这段代码一目了然，通过add_del_if函数来控制网桥的物理接口，该函数的代码和分析如下：
[linux-2.6.24.4/net/bridge/br_ioctl.c]
// br 网桥，ifindex 添加/删除物理接口的index
static int add_del_if(struct net_bridge *br, int ifindex, int isadd) {
struct net_device *dev;
int ret;
if (!capable(CAP_NET_ADMIN))
return -EPERM;
dev = dev_get_by_index(&init_net, ifindex);
if (dev == NULL)
return -EINVAL;
if (isadd)
ret = br_add_if(br, dev);
else
ret = br_del_if(br, dev);
dev_put(dev);
return ret;
}
// br 网桥，ifindex 添加/删除物理接口的index
static int add_del_if(struct net_bridge *br, int ifindex, int isadd) {
struct net_device *dev;
int ret;
if (!capable(CAP_NET_ADMIN))
return -EPERM;
dev = dev_get_by_index(&init_net, ifindex);
if (dev == NULL)
return -EINVAL;
if (isadd)
ret = br_add_if(br, dev);
else
ret = br_del_if(br, dev);
dev_put(dev);
return ret;
}
具体的代码在br_add_if和br_del_if中，出于讨论的方便，我们只分析br_add_if函数。
[linux-2.6.24.4/net/bridge/br_if.c]
int br_add_if(struct net_bridge *br, struct net_device *dev) {
struct net_bridge_port *p;
int err = 0;
// Kernel仅支持以太网网桥
if (dev->flags & IFF_LOOPBACK || dev->type != ARPHRD_ETHER)
return -EINVAL;
// 把网桥接口当作物理接口加入到另一个网桥中，是不行的。
// 逻辑和代码上都会出现 loop
if (dev->hard_start_xmit == br_dev_xmit)
return -ELOOP;
// 该物理接口加绑定到另一个网桥了。
if (dev->br_port != NULL)
return -EBUSY;
// 为该接口创建一个网桥端口数据，并初始化好该端口的相关
// 数据，详情可参阅该函数代码。
p = new_nbp(br, dev);
if (IS_ERR(p))
return PTR_ERR(p);
err = kobject_add(&p->kobj);
if (err)
goto err0;
// 将该接口的物理地址写入到 MAC-端口映射表中。
// 该MAC是属于网桥内部端口的固定MAC地址，
// 它在fdb中的记录是固定的，不会失效（agged）
err = br_fdb_insert(br, p, dev->dev_addr);
if (err)
goto err1;
err = br_sysfs_addif(p);
if (err)
goto err2;
rcu_assign_pointer(dev->br_port, p);
// 打开该接口的混杂模式，网桥中的各个端口必须处于
// 混杂模式，网桥才能正确工作。
dev_set_promiscuity(dev, 1);
// 加到端口列表
list_add_rcu(&p->list, &br->port_list);
spin_lock_bh(&br->lock);
br_stp_recalculate_bridge_id(br);
br_features_recompute(br);
if ((dev->flags & IFF_UP) && netif_carrier_ok(dev) &&
(br->dev->flags & IFF_UP))
br_stp_enable_port(p);
spin_unlock_bh(&br->lock);
br_ifinfo_notify(RTM_NEWLINK, p);
dev_set_mtu(br->dev, br_min_mtu(br));
kobject_uevent(&p->kobj, KOBJ_ADD);
return 0;
err2:
br_fdb_delete_by_port(br, p, 1);
err1:
kobject_del(&p->kobj);
err0:
kobject_put(&p->kobj);
return err;
}
int br_add_if(struct net_bridge *br, struct net_device *dev) {
struct net_bridge_port *p;
int err = 0;
// Kernel仅支持以太网网桥
if (dev->flags & IFF_LOOPBACK || dev->type != ARPHRD_ETHER)
return -EINVAL;
// 把网桥接口当作物理接口加入到另一个网桥中，是不行的。
// 逻辑和代码上都会出现 loop
if (dev->hard_start_xmit == br_dev_xmit)
return -ELOOP;
// 该物理接口加绑定到另一个网桥了。
if (dev->br_port != NULL)
return -EBUSY;
// 为该接口创建一个网桥端口数据，并初始化好该端口的相关
// 数据，详情可参阅该函数代码。
p = new_nbp(br, dev);
if (IS_ERR(p))
return PTR_ERR(p);
err = kobject_add(&p->kobj);
if (err)
goto err0;
// 将该接口的物理地址写入到 MAC-端口映射表中。
// 该MAC是属于网桥内部端口的固定MAC地址，
// 它在fdb中的记录是固定的，不会失效（agged）
err = br_fdb_insert(br, p, dev->dev_addr);
if (err)
goto err1;
err = br_sysfs_addif(p);
if (err)
goto err2;
rcu_assign_pointer(dev->br_port, p);
// 打开该接口的混杂模式，网桥中的各个端口必须处于
// 混杂模式，网桥才能正确工作。
dev_set_promiscuity(dev, 1);
// 加到端口列表
list_add_rcu(&p->list, &br->port_list);
spin_lock_bh(&br->lock);
br_stp_recalculate_bridge_id(br);
br_features_recompute(br);
if ((dev->flags & IFF_UP) && netif_carrier_ok(dev) &&
(br->dev->flags & IFF_UP))
br_stp_enable_port(p);
spin_unlock_bh(&br->lock);
br_ifinfo_notify(RTM_NEWLINK, p);
dev_set_mtu(br->dev, br_min_mtu(br));
kobject_uevent(&p->kobj, KOBJ_ADD);
return 0;
err2:
br_fdb_delete_by_port(br, p, 1);
err1:
kobject_del(&p->kobj);
err0:
kobject_put(&p->kobj);
return err;
}
第四部分： 总结
网桥是2层的网格连接设备，它工作在协议栈的第二层。本文以简单的例子作为基础，分析网桥处理报文，更新MAC-端口映射表，和如何控制网桥和端口的功
能。文中帖上了大量的关键代码，并以代码加上注释这种贴近程序员的方式来分析代码。对于缺少kernel网络编程经验的朋友，在某些代码处，写了在背景知
识的分析和解释。
