Xen bridge networking(转载)

类似VMware，Xen提供了几种不同的网络连接方式，主要有桥接模式，NAT模式，路由模式。其中最常用的，也是Xen默认安装的方式就是桥接模式。

 

在桥接模式下，Xen会创建了一个网桥，并且把服务器上的物理网卡接口加入到这个网桥中。之后，Xen会把dom0和其他domU的虚拟网卡接口也加入到这个网桥中来。这样在这个网桥之内的所有domU在网桥内部可以互相通讯，另外还可以通过网桥中的物理网卡接口跟外界通讯。物理网卡连接到哪些网络，则domU也可以连接到同样的网络，这是让domU与外界通讯的最简单方法。

 

在Xend的配置文件/etc/xen/xend-config.sxp中，桥接模式是默认的模式。需要注意的是，除了network-bridge和vif-bridge以外的其他行都是被注释掉的。

 

配置文件看起来像如下所示:

 

(network-script network-bridge)

(vif-script vif-bridge)

# (network-script network-route)

# (vif-script vif-route)

# (network-script network-nat)

# (vif-script vif-nat)

 

network-bridge脚本和vif-bridge脚本都存放在/etc/xen/scripts目录下。

network-bridge脚本的作用是建立网络环境，并且使用bridge-utils工具创建一个网桥xenbr0。

vif-bridge脚本的作用是当一台guest服务器启动的时候，为这个guest服务器创建后端的vif接口。

 

在没有创建任何gueste服务器的时候，在Dom0上使用ifconfig命令查看网络的时候，可以看到类似下边的输出。

[root@localhost xen]# ifconfig
eth0   Link encap:Ethernet  HWaddr 48:5B:39:89:E5:43
       inet addr:192.168.1.86  Bcast:192.168.1.255 Mask:255.255.255.0
lo     Link encap:Local Loopback
       inet addr:127.0.0.1  Mask:255.0.0.0
peth0  Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
       inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link
vif0.0 Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
       inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link
xenbr0 Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
       UP BROADCAST RUNNING NOARP  MTU:1500 Metric:1

除了熟悉的eth0以外，多出几个接口。你可能会好奇，这些接口是什么时候，怎么创建的？如下所示步骤，是当Xen Server和Xend服务启动的时候接口的创建顺序。(本例中，除了Dom0以外，没有其他guset domain被Xend设置为自动启动,且服务器上只有一个物理网卡接口)

 

1.执行在/etc/xen/xend-config.sxp中指定的/etc/xen/scripts/network-bridge脚本

2.network-bridge脚本创建一个新网桥，名字为xenbr0

3.复制物理网卡接口eth0的MAC地址和IP地址

4.停止物理网卡接口eth0

5.创建一对相连的虚拟网卡接口,veth0和vif0.0

6.将之前复制的物理网卡接口的MAC，IP分配给虚拟接口veth0

7.重命名物理网卡接口，从eth0改名为peth0

8.重名名虚拟网卡接口，从veth0改名为eth0

9.将物理网卡接口peth0,虚拟网卡接口vif0.0加入到网桥xenbr0中

10.启动网桥xenbr0,启动其他网络接口peth0,eth0,vif0.0

 

对于每一个新的domU，Xen会创建"一对相连的虚拟网卡"，其中一块在新建的domU上，另一块在dom0上。对于Linux的domU来说，其虚拟网卡名字是eth0，而在dom0这端的这一块的网卡名字是vif.0

当一台domU关机的时候，相关的虚拟网卡会被删除。

当domU启动的时候，dom0上的xend会运行vif-bridge脚本，该脚本会:

-将vif.0加入到xenbr0网桥中

-启动vif.0接口

 

所以在增加了新的domU以后，在dom0上用ifconfig查看网络，会得到类似的结果:

 

dom0:~# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:50:8B:DC:F7:2B
         inet addr:192.168.0.3  Bcast:192.168.0.255  Mask:255.255.255.192
         inet6 addr: fe80::250:8bff:fedc:f72b/64 Scope:Link
         UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
         RX packets:2848 errors:0 dropped:0 overruns:0 frame:0
         TX packets:1768 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:0
         RX bytes:256292 (250.2 KiB)  TX bytes:277686 (271.1 KiB)

lo        Link encap:Local Loopback
         inet addr:127.0.0.1  Mask:255.0.0.0
         inet6 addr: ::1/128 Scope:Host
         UP LOOPBACK RUNNING  MTU:16436  Metric:1
         RX packets:13 errors:0 dropped:0 overruns:0 frame:0
         TX packets:13 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:0
         RX bytes:1120 (1.0 KiB)  TX bytes:1120 (1.0 KiB)

peth0     Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
         inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link
         UP BROADCAST RUNNING NOARP  MTU:1500  Metric:1
         RX packets:3716 errors:0 dropped:0 overruns:0 frame:0
         TX packets:2046 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:1000
         RX bytes:493403 (481.8 KiB)  TX bytes:318089 (310.6 KiB)

vif0.0    Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
         inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link
         UP BROADCAST RUNNING NOARP  MTU:1500  Metric:1
         RX packets:1768 errors:0 dropped:0 overruns:0 frame:0
         TX packets:2848 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:0
         RX bytes:277686 (271.1 KiB)  TX bytes:256292 (250.2 KiB)

vif1.0    Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
         inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link
         UP BROADCAST RUNNING NOARP  MTU:1500  Metric:1
         RX packets:265 errors:0 dropped:0 overruns:0 frame:0
         TX packets:408 errors:0 dropped:203 overruns:0 carrier:0
         collisions:0 txqueuelen:0
         RX bytes:35758 (34.9 KiB)  TX bytes:215469 (210.4 KiB)

xenbr0    Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
         inet6 addr: fe80::200:ff:fe00:0/64 Scope:Link
         UP BROADCAST RUNNING NOARP  MTU:1500  Metric:1
         RX packets:208 errors:0 dropped:0 overruns:0 frame:0
         TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:0
         RX bytes:16101 (15.7 KiB)  TX bytes:0 (0.0 b)

 

可以看到，其中的vif1.0就是新增的domU相关联的虚拟网卡。

 

而在domU内部，使用ifconfig命令查看网络，会看到类似下边的结果:

 

[user@DomU]# ifconfig -a
eth0   Link encap:Ethernet  HWaddr 00:16:3E:5A:32:DA
       inet addr:128.153.144.96 Bcast:128.153.145.255 Mask:255.255.254.0
       inet6 addr: fe80::216:3eff:fe5a:32da/64 Scope:Link
lo     Link encap:Local Loopback
       inet addr:127.0.0.1  Mask:255.0.0.0
       inet6 addr: ::1/128 Scope:Host

在guest domain内部，无论Xen使用网桥模式还是路由模式，网络看起来和物理机没有任何区别。

 

每一个guest domain都有一个配置文件，我们可以在这个文件中指定它的网络设置。

 

vif = [mac=00:16:3E:02:00:41,bridge=xenbr0' ]

 

Vif:  指定该domain的虚拟网卡配置，采用如下格式

 

vif = [ "key1 = value1", "key2 = value2" ]

 

常用的配置指令有:

bridge:  指定该虚拟网卡连接的网桥名称

mac:  指定该虚拟网卡的MAC地址，如果不指定MAC，Xen启动的时候会在IEEE分配给Xensource的地址范围中随机分配一个MAC地址。

 

经过上面的解释，你应该已经了解dom0中的那些接口是从何而来的了。接下来，我们要看一看数据包在网桥中是如何流动的。参考下图

 

数据包到达硬件物理网卡接口peth0，dom0上的网卡驱动会进行处理。因为peth0绑定在网桥上，所以数据包被发送到网桥上。返回上边，观察ifconfig的输出，你会发现peth0,xenbr0,vif0.0和vif1.0都共享一个相同的MAC地址FE:FF:FF:FF:FF:FF，该地址是以太网广播地址。这表明物理网卡接口，dom0的loopback接口，所有guest domain的后端接口都广播到网桥接口xenbr0。当物理网卡接口peth0接收到一个数据包，它会将数据包直接发送到网桥接口xenbr0上。然后网桥会分发数据包，像交换机一样(话说交换机也是网桥的一种)。网桥会根据数据包接收者的MAC地址将其转发到正确的网络接口上。所以peth0这个接口不需要配置ip地址，只有MAC地址就够了。然后vif接口会将数据包发送给domU上相连的接口，然后domU中返回的数据包也通过vif发送回来。dom0也是一样的操作模式，通过vif0.0->eth0这一对相连的网卡。

 

如果你不想使用默认的xenbr0这个网桥的名字，可以在xend的配置文件中修改:

 

(network-script 'network-bridge bridge=')

 

将改成任何其他你想要的名字。

 

另外，network-script通常将物理接口eth0绑定到网桥上，如果要绑定其他物理网卡接口，可以如下修改:

 

(network-script 'network-bridge bridge= netdev=eth1')

 

如果服务器上不只一个物理网卡接口，且连接不同的网络，那么最好创建多个网桥，并将这些物理网卡绑定到不同的网桥上。例如一个guest domain连接xenbr0，peth0和xenbr1，peth1，另一个guest domain只连接xenbr1，peth1。所有这些都可以在network-bridge中配置。

 

要让Xen在启动时自动创建多个网桥，需要对/etc/xen/xend-config.sxp进行一些调整。因为启动时它只调用一次network-bridge脚本创建网桥，即只创建一个网桥。为了解决这个问题，我们需要创建一个network-wrapper脚本，它可以调用network-bridge脚本两次。

 

创建/etc/xen/scripts/network-wrapper，内容如下:

#!/bin/sh

/etc/xen/scripts/network-bridge $1 netdev=eth0 bridge=xenbr0

/etc/xen/scripts/network-bridge $1 netdev=eth1 bridge=xenbr1

 

然后修改/etc/xen/xend-config.sxp，让其调用我们创建的/etc/xen/scripts/network-wrapper

(network-script network-bridge-wrapper)

 

然后在每个domU中的配置文件中确认，如果你想使用新创建的第二个网桥

vif=[ 'bridge=xenbr1', 'mac=00:16:3e:07:d2:0e', ]

 

xen中的三种设备：

桥接设备

bridge, 网桥；一般起名为：xenbr0, xenbr1......

vif, 虚拟网络接口；一般起名为：vif0.0,vif0.1......

veth/eth, 虚拟网络设备；一般起名为：eth0......

桥接工具

/etc/xen/script/network-bridge, 网桥操作脚本

/etc/xen/script/vif-bridge,     虚拟接口操作脚本

brctl 工具，事实上以上两个脚本均调用了它

排查步骤

brctl show; 再看桥接是否OK。 

ethtool pethx; 先看物理网卡通不通。

例如：

[root@qht2 ~]# ethtool peth0

Settings for peth0:

        Current message level: 0x00000007 (7)

        Link detected: yes

ifconfig vifx; 看各虚拟接口是否正常。

例如：

[root@qht2 ~]# ifconfig vif0.0

vif0.0    Link encap:Ethernet  HWaddr FE:FF:FF:FF:FF:FF
inet6 addr: fe80::fcff:ffff:feff:ffff/64 Scope:Link
UP BROADCAST RUNNING NOARP  MTU:1500  Metric:1
RX packets:219 errors:0 dropped:0 overruns:0 frame:0
TX packets:2940 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:27062 (26.4 KiB)  TX bytes:237039 (231.4 KiB)

ifconfig ethx/veth; 看看虚拟网络设备是否正常。

[root@qht2 ~]# ifconfig eth0

......

查看dom0中网络配置情况，检查是否domU连接到了错误的网桥上 
brctl show 
如果是，修正vif连接到的网桥，用brctl命令进行删除和添加 
例如： 
#brctl show   #查看网络连接情况 
#xm list   #查看该DomU所的ID来确定vif号码（ID号与vif号相同） 
#brctl delif virbr0 vifx.0 #从错误的网桥中删除vifx.0（x.0中x为ID编号,0表示第一块网卡，下同） 
#brctl addif xenbr0 vifx.0 #在正确的网桥中加入vifx.0 
#brctl show   #检查最终结果