1.1 二层网络规划(Layer2)
通常部署相同应用的服务器要求在同二层广播域内。方便业务的部署,扩展和搬迁,要求数据中心之间服务器尽量二层可达。如上面所述,传统的数据中心通常通过按照分区划分二层网络,即每个分区是一个二层广播域。
云计算在数据中心广泛应用,要求服务器资源大范围资源共享、虚拟机大范围迁移。因此数据中心的网络具备灵活的二层扩展能力。但基于xSTP的二层网络网络技术在扩展和可靠性存在很多缺陷。很多解决二层扩展能力技术出现,包括基于设备的虚拟化的CSS/iStack, 基于传统以太扩展的TRILL,基于IP的overlay技术vxlan等。
二层网络范围和采用什么二层技术,是数据中心基础网络的关键。
1.1.1 二层部署规划建议
从业务发展的趋势看,数据中心内部网络必须具备灵活的二层扩展能力。保证业务灵活部署和扩展,以及资源的更大范围共享。
二层网络设计需要综合考虑设备能力,可靠性,业务安全。因此二层网络规模不能太大。建议大型数据中心划分为少量几个大型业务分区。以业务分区为单位构建二层网络区域,业务分区之间按需实现二层连接。典型组网如下图所示:
业务分区内部二层构建方案详见下面的几节。分区间之间二层可以应用VXLAN或者EVN等技术。
1.1.2 二层技术比较
比较项
|
xSTP网络
|
堆叠(CSS/iStack)
|
SVF
|
TRILL
|
VXLAN
|
线路利用率
|
低,需要阻塞部分线路
|
高,但是只适用于星形网络
|
高,可支持
|
高
|
高
|
二层环路问题
|
需要运行xSTP协议避环
|
需要搭建星形网络
|
通过设备内部私有协议实现
|
通过运行内置ISIS协议避环
|
基于IP的协议实现路径计算
|
可靠性
|
一般
|
高
|
一般
|
高
|
高
|
扩展性
|
一般,网络规模受节点数和节点深度的限制
|
一般,CSS只支持两台设备
|
一般,受限于设备实现
|
好,可以组建较大网络
|
好
|
1.2 设备虚拟化组网方案规划
1.2.1 跨设备链路聚合(M-LAG)组网方案
跨设备链路聚合即M-LAG,英文全称(Multi-Chassis Group),是一种跨网络设备的二层端口虚拟化技术,两个设备有独立的控制平面,但支持把两个设备的端口组成链路捆绑。
如上图所示,M-LAG配对交换机对外提供M-LAG接口,用于接入二层业务;M-LAG配对交换机之间部署Peer-Link,用于MC-LAG协议消息交互,以及设备间横向业务流量转发;从三层视角看,M-LAG的配对设备又是两个独立的设备,可以支持独立的网管,并作为独立的OSPF路由节点。同时,M-LAG支持本地优先转发,最大程度减少M-LAG配对设备之间的东西向流量。M-LAG支持双主检测,由于两台配对设备为独立设备,因此通过带内或者带外的IP可达检测即可达到目的,不需要为此另外加线缆。
M-LAG组网建议
组网方案一:汇聚层使能M-LAG功能
通过跨设备端口虚拟化技术(M-LAG),实现汇聚层和接入层交换机之间的网络逻辑无环化,取代STP。汇聚层两台交换机配对,汇聚交换机之间横向链路配置为peer-link。两台汇聚交换机下行连接同一接入交换机的端口配置为跨框的ETH-trunk.
这种设计相对传统的STP断点保护,逻辑拓扑更加清晰、链路利用更加高效。M-LAG的配对设备,控制平面和管理平面独立,只有协议面的耦合,理论上可靠性相对堆叠更高,还提供设备独立升级的能力,带来维护的方便性。
组网方案二:接入层使能M-LAG功能
同样M-LAG技术适用于服务器双网卡要求双活接入的应用场景。服务器双活接入两网卡共享MAC。双网卡实现基于流的负载分担策略。因此,通过M-LAG将服务器连接的端口配置为ETH-Trunk,两个端口的MAC和ARP表项同步。M-LAG可以结合普通以太,TRILL,VXLAN等技术实现服务器双活接入。
【M-LAG部署应用限制:
组成M-LAG的两端设备类型要保持一致。如一端是SVF系统,另一端要求必须也是SVF系统。
组成M-LAG的两端设备的桥ID要配置相同,根优先级都配置为最高。
组成M-LAG的两台设备配置为SVF系统时CE必须同时接入父交换机或同时接入叶子交换机。
组成M-LAG的两台设备配置为SVF系统时peer-link接口必须配置在父交换机上。
组成M-LAG的两台设备配置为SVF系统时不支持跨SVF系统中叶子交换机创建Eth-trunk。
如果接入设备通过三层接入到组成M-LAG的两端设备上,无论是双归接入还是单归接入,必须通过VRRP/VRRP6虚拟网关的方式接入。必须在两端设备上创建相同的VLAN,并在VLAN下启用VLANIF接口,并且VLANIF接口上配置的IP地址不能相同,但网段和掩码长度必须相同,否则掩码过长的设备上的一部分主机可能无法访问。
组成M-LAG的两端设备上不同VLAN对应的VLANIF三层接口不能配置相同的网段,也不允许两个设备上的不同类型的两个三层接口配置相同的网段。】
1.2.2 SVF组网方案
SVF即是super virtual fabric超级虚拟交换网是一种设备间的虚拟化技术。SVF相比CSS/iStack支持不同类型设备虚拟化。SVF可实现不同层次间的设备拟为一台设备进行集中管理,如汇聚和接入层之间,减少管理设备数量,简化用户运维场景,提高用户运维效率。
在SVF虚拟化系统中,设备划分为两种角色,父交换机和叶子交换机。部署在上一层的设备称为父交换机,父交换机扮演主控者角色,负责整个系统的控制和管理和转发。部置下层设备设备,称为叶子交换机。叶子交换机为纵向扩展设备,作为远程接口板接入父交换机,相当于父交换机的端口拉远,端口用于连接服务器。
SVF组网建议
SVF技术主要应用于分区内部简化布线和管理。机架供电密度提升,单机架可部署的服务器的数量大幅增长。如果采用传统的EoR或者MOR部署模式,布线密度太高,无法进行管理和维护。为解决这个问题必须引入ToR的布线模式,ToR解决了布线复杂度问题,但需要部署更多的设备,管理网元增多,引入网络设备的管理和维护问题。SVF技术可以同时解决以上ToR和EoR部署面临的问题。解决这个问题有两种组网方案。
典型组网方案一
汇聚层和接入层之间增加汇接层。汇接层和接入层之间组成SVF虚拟化集群. 具体的物理组网如下图所示,汇接层设备部署在列头柜(EoR)或MoR网络柜,接入层部署在服务器机架内。
这种组网模式下,通过该组网方案两台汇接层交换机作为父交换机,服务器的架顶交换机作为叶子节点。
建议父交换机选择CE6800和CE7800系列盒式设备。具体设备选型根椐服务器类型,规模和业务的流量收敛比等多个因素确定。千兆服务器的机架,叶子交换机采用CE5800系列交换机。万兆服务器机架,叶子交换机建议采用CE6800系列交换机。
以CE6800/CE7800作为父交换机组网,为保证组网的可靠性,建议两台父交换机间建立iStack集群。叶子节点双归到两台汇接交换机,汇接层和接入层整体形成一个SVF系统。
典型组网方案二
整个机房模块内部的汇聚层和接入层组成SVF子系统,即整个POD或者分区内部虚拟化为一台逻辑交换机进行管理。具体物理部署结构如下图所示,接入交换机部署在服务器机架的架顶,汇聚层部署在机房的网络区域机架。
汇聚层部署CE12800系列,汇聚层作为SVF系统的父交换机。接入交换机需根据服务器的类型选择CE6800或者CE5800系列交换机。
整个机房模块部署SVF系统,因此父交换机出现故障直接影响机房模块的业务服务。建议在两台汇聚交换机分别组成两个独立的SVF子系统。服务器双网卡需要连接到属于不同子系统的两条接入交换机。具体拓扑如下图所示。
两个SVF系统之间配置跨子系统的ETH-TRUNK即M-LAG技术,实现冗余备份。两台交换机通过10GE或者40GE链路连接。互连链路配置为ETH-TRUNK,作为M-LAG的peer-link。M-LAG 在为服务器流量提供负载分担的同时,也通过链路备份保证了高可靠性。当某一侧的链路或交换机故障时,服务器流量将切换至另一条链路。
注:使用SVF之后,可能导致部分业务特性,详见SVF配置手册和白皮书。CE12800交换机作为父交换机当前不支持叶子节点双归到两台CE12800设备。
1.2.3 CSS/iStack组网方案
CSS(Cluster Switch System):集***换机系统,是网络虚拟化的一种形态。其通过把多台支持集群的交换机链接起来,从而组成一台更大的交换机。
CSS的典型特征有:
1、 交换机多虚一:CSS对外表现为一台逻辑交换机,控制平面合一,统一管理。
2、 转发平面合一:CSS内物理设备转发平面合一,转发信息共享并实时同步。
3、 跨设备链路聚合:跨CSS内物理设备的链路被聚合成一个TRUNK端口,和下游设备实现互联。
CSS/iStack组网建议
基于CSS/iStack典于组网结构如下图:
部署方案:
l 通过堆叠(iStack)/集群(CSS,Cluster Switch System,交换机集群系统
l 技术保证节点的可靠性;一台设备故障后,另外一台设备自动接管所有的业务。
l CSS + LAG + iStack 端到端可靠性架构打造无间断数据中心,保证业务持续运营。
l 多台接入层堆叠,2台汇聚层集群。
l 接入与汇聚间采用多条10GE或40GE链路全mesh连接,保障链路高可靠。
l 汇聚与核心间采用高速40GE链路全mesh连接,确保汇聚到核心无阻塞转发。
方案特色:
l 无环以太网简化网络架构,收敛时间远优于xSTP,收敛时间达到ms级。
l 提升链路利用率,采用逐流方式负载均衡,支持不同负载分担方式,二层报文,IP报文。
l 转发支持本地优先转发策略,减少设备间转发。
l 配置简单,不易引入配置故障,不需要配置多数可靠性的协议,如VRRP等,减化配置和维护工作量,减少出错的机率。
l 链路的可靠性保证,通过Trunk技术, 一条或多条链路故障后,流量自动切换到其他正常链路。
1.2.4 VS组网方案
CE12800系列提供VS(Virtual System)功能,可以将单台设备切分成多台虚拟设备使用,这些虚拟设备共用整机基础部件,但可以当作多台真实的交换机来部署。通过对设备的灵活切分,可以通过一组设备构建出多张逻辑网络,有效支持网络的虚拟化。华为VS技术提供的1:8-1:16设备虚拟化能力,满足多业务区(如生产区、办公区、DMZ区等)或多租户共享核心交换机的需求。
VS组网建议
在实际部署过程中,部分分区的网络规模比较小,可以将核心层和汇聚层部署在VS系统上,共用一组物理交换机。这样既不改动原有的分区结构与业务结构,保留原有的网络模型,又能减少网络投资,简化运维。
图表 3?5纵向核心汇聚融合组网图
通常企业可能会有多张相互独立的网络,分别运行不同的业务(例如生产网和办公网) 。两张网需要四台核心交换机,投资大,但资源利用率相对较低。部署VS 技术,两张网络在核心层共用两台物理交换机、独享不同的VS,既能实现网络隔离,又能充分灵活利用设备资源。
图表 3?6横向多网核心融合组网图
1.3 VXLAN组网方案规划
1.3.1 VXLAN技术概述
传统的数据中心业务分区网络一般采用汇聚-接入两层架构,业务网关一般部署于汇聚设备,在传统二层组网中,一般使用STP+VRRP的方案达到破环效果,但该方案有收敛速度慢,链路利用率低,配置复杂等问题,并且网络规模受限。
为什么需要引入VXLAN技术?
第一、 应用需要二层网络。1)应用节点没有DNS和SNAT改造,所以一类应用节点必须固定在一个二层网和Subnet下。如果不实施大二层,而改为一个TOR一个二层域,则每一类应用节点必须限定在某一台TOR上,且存在扩展上限。无法实现灵活部署、动态绑定。 2)虚拟机与物理机的HA,Oracle RAC双活,虚拟机vMotion等业务都需要二层。
第二、 需要大二层:1)大二层主要来源于规模资源下应用灵活弹性和充分共享的诉求,即当前分区过多,难以实现多个应用系统资源共享。因此部署大二层可实现规模资源下应用系统的灵活部署。2)大二层规模实践经验是4000台物理机(参考华为廊坊基地),因此共享资源的范围不需要太大,一个网5000台以内即可。
第三、 为什么要引入VXLAN架构。
(1)首先是扁平化、高可扩展性以及规模的组网能力诉求选取了Spine-leaf架构,由于网络仍需二层网络(无法像百度构建三层的Spine-Leaf架构),则在此类网络架构的技术目前只有TRILL和VXLAN。
此外,VXLAN技术本身具有下列特点:
l 网络依赖小,基于IP的overlay,仅需要边界设备间IP可达。
l 环路避免,隧道间水平分割、IP overlay TTL避免环路。
l 高效转发,数据流量基于IP路由 SPF及ECMP快速转发。
l 虚拟化,Overlay+VNI构建虚拟网络,支持多达16M的虚拟网络。
l 物理设备、vSwitch均能够部署,部署灵活。
1.3.2 VXLAN组网设计
VXLAN技术的典型组网如下图所示。基础网络骨干和叶子两层架构即spine-leaf架构,spine层和Leaf之间纯IP的网络,通过IP的多链路负载均衡,可以实现低收敛比甚至无阻塞。
Leaf交换机部署为VTEP接入物理服务器或者虚拟化服务器。
VXLAN的部署范围有两种模式,整个数据中心或分区内部。VXLAN域限制在物理分区内部署,这种模式Board-Leaf连接核心交换机,分区之间通过IP直接通信。整个数据中心模式Board-Leaf直接接出口路由器。
网关,防火墙,负载均衡等增值服务设备部署,可以灵活部署,可以在spine,Leaf层,独立网络服务区域等。
1.3.3 VXLAN网关设计建议
网关独立部署
网关与基础网络分离,基础网络内部只作二层交换,部署独立网关设备处理不同子网间和南北方向的流量。该模式网关水平扩展,提升网络的弹性扩展能力。
典型组网如下图所示,网关,负载均衡(LB),防火墙(FW)等网络增值服务部署在独立的业务区域。网络服务设备通过独立的交换机连接VXLAN网络,这些交换机通常称为Service Leaf。Service Leaf作为VXLAN的三层网关,实现跨VXLAN的报文交换。该方案可以通过增加网关设备,解决网关设备ARP等表项的性能和容量。多对网关按照租户或者VLAN/VNI进行业务划分。
网关独立部署方式另一典型组网如下图所示,网关和边界结点(BoarderLeaf)融合在同一设备。网关设备兼作南北和跨子网的业务网关。该组网方式适用于以向北流量为主的应用场景。
网关独立部署适用于可靠性要求高,Fabric网络规模大,服务器接入数量有弹性增长需求的场景。
网关部署在SPINE节点
网关部署在骨干交换机(SPINE),与传统服务器分区模式一致,网关集中部署在分区的汇聚点。这种模式下防火墙和LB等网络服务设备通常旁挂骨干交换机。
适用场景:
适合于中小数据中心、接入服务器规模不大的场景,如管理分区,开发测试区等。
网关部署在Leaf
所有的业务网关部署在就近的连接交换机上,实现业务就近选择网关。同一Leaf节点下的主机通信都在Leaf节点本地交换,相比其他方案路径最优。但网关部署Leaf,对Leaf节点配置要求高.Leaf上要保保存业务的主机路由,需要设备支持更大的路由表规格和VXLAN三层网关功能。同一个子网的网关需要配置在多个设备上,虚拟机迁移需要同进迁移ACL,策略路由,包过滤配置等。配置和维护复杂,并且与传统网络运维模式不一样。
网关部署在Leaf方案,适用于跨子网东西向流量大应用场景如Headoop集群。
1.3.4 VTEP部署设计建议
硬件交换机(Leaf)模式
VXLAN的VTEP部署在Leaf(TOR)上,实现VXLAN封装与解封装。物理服务器和虚拟化服务器都通过VLAN接入物理交换机,根椐Port和VLAN映射到VXLAN的VNI。同时VXLAN的三层网关部署在物理交换机上,这种方式俗称为纯硬模式。组网如下图:
VTEP部署在Leaf节点,可以兼容不同的虚拟化软件厂商。运维模式与传统网络一致。
网络性能相比软件vSwitch作为VTEP性能高。
软件vSwitch模式
虚拟化服务器直接在vSwitch作VXLAN的报文封装,即vSwitch作为VTEP。只有物理服务器连接的硬件交换机实现VXLAN报文封装功能。这种方式称为混合模式。
VTEP部署在vSwitch上,可以兼容不同物理网络,可以支持传统网络演进到VXLAN组网。
|
软件vSwitch模式
|
硬件交换机(Leaf)模式
|
性能
|
增加10-20%负荷
|
线速
|
运维
|
界面不清晰:虚拟化参与业务转发;由于ToR必须支持VTEP网关,软硬件都参与业务转发,两个界面都需维护;
|
运维界面保持不变:vSwitch维持原有功能不变,硬件新增功能;
|
兼容性
|
难于适配多个虚拟化平台
|
可适配多个虚拟化平台;
|
VTEP部署在硬件交换机的方案适用于使用多虚拟化平台应用场景。VTEP部署在vSwitch适用于单一虚拟化平台,或者利旧当前网络设备的应用场景。
1.3.5 服务器接入方案
物理服务器或者虚拟化服务器要求基于流的方式实现。服务器网卡双归到两台Leaf交换机。为保证两台Leaf交换机同步MAC和ARP表项。
方案一:Leaf交换机iStack堆叠,支持服务器主备/双活方式接入,以简化运维。
方案二:Leaf交换机配置M-LAG,支持服务器双活和接入,详见M-LAG的方案设计建议部分。
1.3.6 VXLAN控制面设计
VXLAN标准对控制没有统一规定,控制面可集中在SDN控制器或下沉到网络设备。
1) 控制面下沉模式,参见下图。
TOR收到免费ARP(Gratuitous ARP)后,进行头端复制,网关收到GARP之后,触发生成主机路由。TOR(leaf)通过BGP同步网关生成的主机表项(ip mac vtep vni)。 TOR(VTEP)收到本地ARP请求,查看本地是否有ARP表项:
如果请求的是本地服务器(主机路由是本地生成),则在本地广播。 如果请求的是远端地服务器(主机路由是远端生成),则封装为VXLAN单播报文,发送到远端NVE。
远端设备收到ARP请求后在本地广播。 如果找不到表项,根据设备隧道表(VNI,VTEP IP List)进行头端复制广播。
适用于私有云数据中心,对可靠性、运维要求高、服务器规模不大的场景。
2) 控制面集中模式,参见下图。
采用overlay控制面全部提升到控制器上(即隧道表,ARP,MAC全部都由控制器下发),控制器具备带内(数据面)虚拟感知(MAC接入) 能力。适用于互联网公有云、对服务器接入规模大的场景。
1.4 TRILL组网方案规划
1.4.1 TRILL技术概述
传统二层网络需要配置MSTP、RRPP等破环协议阻断环路,从而使大量冗余链路无法使用,对网络带宽形成浪费。TRILL(Transparent Interconnection of Lots of Links)是一种在二层网络上基于链路状态计算的路由协议,它通过扩展IS-IS协议来实现。 TRILL的部署既可以避免产生二层环路,又可以实现多链路的负载均衡。
TRILL的特点如下:
l TRILL引入ISIS协议,生成分发树,解决二层环路的问题,同时增加了二层网络的灵活性
l 支持ECMP等价多路径转发,任何一条路径故障,流量均可以切换到其它路径上去
l 快速收敛,可以达到毫秒级
l 高扩展性,网络规模扩张容易,最大可以支持512台网络设备的网络规模
l 简化了配置,并且配置灵活
1.4.2 TRILL组网设计
TRILL技术可以应用于以下几个场景,分区的内部的网络,实现分区间的二层连接。
业务区内部构建二层网络
数据中心内新建一个分区,分区内部服务器规模大,需要接入交换机数量较多。
采用TRILL等技术实现分区内部大二层。首先应将网关向上迁移至汇聚层,实现大范围VLAN的接入。在汇聚和接入之间使能TRILL特性,在互联链路上配置 为TRILL的Carrier VLAN。接入设备作为RB edge上配置CE VLAN接入服务器。
汇聚交换机做RB spine,通过VS虚拟化为两个设备,其中TRILL VS为TRILL终结设备,网关VS作为南北业务和跨VLAN业务的网关。如果跨VLAN流量不大,建议采用内环网关方案,无需划分网关VS与TRILL VS。
网关VS之间配置VRRP协议,实现业务冗余倒换。通常防火墙旁挂连接在汇聚交换机的上网关VS上。
TRILL技术可充分利用接入和汇聚之间链路带宽,实现多路径负载分担。支持分区实现分区内部的低收敛比。使用TRILL技术方便业务的带宽扩展,可以支持将汇聚设备扩展为四台甚至更多。
分区内部二层扩展
在数据中心中,汇聚作为二三层的分界,汇聚到核心为三层连接。后期为了分区扩展的需要,需要在POD主业务区和POD副业务区连通一个二层的网络,则在原有的三层上运行TRILL的方式,提高线路的利用率和减少环路的产生。
图1-1 TRILL二三层混合部署
具体部署如下:
1) 核心与汇聚之间不但要运行三层,同时还需要在它们之间部署TRILL,要求核心、汇聚设备支持TRILL功能;
2) 在需要二层互通的分区之间运行TRILL,不需要互通的则仍然运行三层。
3) 原有业务区为传统二层区域,与TRILL域之间可能会存在环路,如果存在环路,需要使用前面介绍的TRILL与传统二层融合的方法来避环。
4) 分区的扩展通常需要连接高带宽的链路,并且需要划分单独的二层通道。
5) 二层扩展分区的网关通常选择业务量较大的分区的汇聚设备上,可以采用集群+VS或者VS+VRRP方式,推荐使用集群+VS方式,这样可以避免使用VRRP,减少配置的复杂度。
6) 另外,分区和其它的分区间则通过三层互访。
TRILL分区与传统二层融合
原有二层分区为xSTP分区,需要对该分区进行二层的扩展,而新的支持TRILL。对于这样的场景可以采用三种方式来解决。
图 4?33TRILL与传统二层混合部署
方式1:边缘节点堆叠方式
TRILL域边缘节点设备是堆叠或者可改造为堆叠,如A、B,逻辑上形成一台设备。接入TRILL网络后,以堆叠设备为界,上面为TRILL网络,下面用MSTP以及堆叠技术破环,整网无环。网络链路/设备故障时,拓扑由TRILL或者MSTP计算自动收敛。
方式2:TRILL边缘节点模拟xSTP根桥方式
原有二层网络接入TRILL域,运行xSTP协议进行破环,根桥设置在C(边缘节点),局部破环。TRILL建立二层通路,导致新环路产生,如路径1。
TRILL域边缘节点设备为独立设备,将设备D(边缘节点)配置为模拟根桥,所有边缘节点都作为根桥参与计算,新增阻塞点2,完全破环。
网络链路/设备故障时,拓扑由TRILL或者MSTP计算自动收敛。
方式3:边缘节点配置AF方式:
下行设备双归接入TRILL域,边缘节点G和H之间设置优先级(可依据VLAN设置),设置H的优先级高于G,则新增阻塞点3,完全破除环。
H设备故障或者I到H的链路全部发生故障时,设备优先级倒换。
下面表为这三种方式的比较:
图 4?34TRILL三种部署综合比较
1.4.3 NickName设计
TRILL网络中的RB以nickname进行标识,nickname是一个2字节数值;Nickname相当于IP地址,用来唯一标识一台交换机。一台RB仅支持配置一个nickname,且须保证nickname全网唯一。Nickname 可以手动配置,也可以设备自动生成。跟随nickname的还有两个属性:priority(优先级)、root priority(树根优先级),分别用于nickname冲突协商和分发树树根选举。
1)Nickname生成
nickname是一个2字节数值,使用随机算法生成2字节的随机值。为保证不冲突,将生成值与当前设备学习到的nickname值以及nickname保留值比较,如果冲突就重新计算生成。
2)Nickname冲突协商
由于nickname可以自动生成,就可能出现两台RB产生相同的nickname,所以TRILL协议就提供了一个nickname优先级字段用于解决冲突。对于新入网的RB,需等待同步完现有网络LSDB后,确认本地Nickname和现网不冲突后再发布;如果冲突,则需要重新选取,避免影响现网中已有业务。
通常在TRILL组网设计中建议使用手动配置Nickname,方便管理和维护。建议核心交换机采用XX来做为NickName,例如:11,21等;汇聚交换机采用XXX来做为NickName,例如111,221等,其中第一个数字为核心的第一个数字,第二个数字为汇聚的编号,第三个则为具体的个数;接入交换机则采用XXXX,例如1101,2201等,其中第一个数字为核心的第一个数字,第二个数字为汇聚的编号,第三、四个则为具体的个数。例如核心为11,12,第一个分区的汇聚为111,112,第一个分区的接入交换机为1101,1102等。
1.4.4 TRILL网关设计
目前,由于芯片的限制,导致TRILL报文只有在出接口才能进行报文的解封装操作,所以到达三层网关接口需要外环。根据这样的应用方式,网关的部署方式大致为以下几种方式。
l VS方式做网关
交换机可以通过VS一虚二的方式,一台做TRILL的终结,另外一台做三层的网关,通过这样的方式解决TRILL网关部署的问题。
图表 4?36VS方式做网关
具体部署如下:
1) 在图中,在该图中部署TRILL网络,把上面的两台汇聚交换机做VS一虚多,虚拟成两台设备VS1、VS2;VS2做TRILL网络的终结,VS1做网关;目前华为支持该功能的设备为CE12800交换机;当然图中的VS1也可以分别使用一台单独的路由器或者交换机代替;
2) 两台汇聚交换机之间不需要线路连接;其中两台VS1之间运行VRRP,VRRP的心跳通过TRILL网络进行转发;
3) VS1和VS2之间需要根据实际应用的出口带宽和各VLAN互联流量的大小进行设置,通常至少需要设置两条甚至多台链路捆绑;
4) 不同VLAN之间的数据互访需要通过网关设备或者防火墙设备;而对外访问的数据也需要经过网关设备;网关的主备倒换主要依赖于VRRP的切换;
这种部署方式的特点是网关独立部署,适用于较大的二层网络规模,汇聚设备可以为独立的两台或者多台设备;而由于需要在网关之间运行VRRP协议,配置较为复杂,同时当汇聚设备较多时防火墙部署也较为复杂。
l CSS+VS方式做网关
由于上面的网关部署中存在需要部署VRRP,导致配置稍显复杂,而如果先通过CSS的方式虚拟化成一台,然后再VS的方式,则最终出现一台TRILL终结和一台网关的情况,从而不需要再进行VRRP的部署。
图表 4?37CSS+VS方式做网关
具体部署如下:
1) 在图中的TRILL网络中,首先把两台汇聚交换机做多虚一CSS操作,虚拟成一台逻辑交换机,然后对这台逻辑交换机再做VS一虚多,每台设备虚拟成两台设备VS1、VS2;其中VS2做TRILL网络的终结,VS1做网关;这么做可以更加合理的利用交换机的资源,目前华为支持该功能的设备为CE12800交换机;
2) VS1和VS2之间需要根据实际应用的出口带宽和各VLAN互联流量的大小进行设置,通常至少需要设置两条链路捆绑;不同VLAN之间的数据互访需要通过网关设备;对外访问的数据也需要经过网关设备;
这种组网的特点是资源重新进行分配,可以使分配的更加的合理,同时由于不需要再进行VRRP的部署,管理更加简单;该种方式下防火墙部署也比较方便。但是CSS/堆叠设备数量受限,目前CSS仅支持两台,扩展性受影响。
l TRILL终结设备做网关
如果设备不能做VS虚拟化,则前面两种情况均不适用,但是又会有一些只有盒式设备做TRILL组网,需要这些设备做网关,可以利用VLAN mapping的方式,进行外环做网关。
图表 4?38TRILL终结设备做网关
具体部署如下:
1) 在图中的TRILL网络中,该汇聚交换机不做虚拟化设置,通过设置不同的VLAN,对接口进行外环操作,外环时可以使用多链路进行捆绑,以增加可靠性和带宽;这样对交换机的要求变低,使得目前华为CE交换机均可使用;
2) 根据图中所示,TRILL报文经过VLan100后,去掉TRILL头,变成了普通的二层报文,发送到VLan101中,然后到达网关,再经过三层进行转发;
3) 三层报文经Vlan101到达Vlan100后,通过TRILL发送给到相应的设备;
4) 在两台设备之间需要使用VRRP协议,心跳报文仍然是需要经过TRILL进行转发;同样不同VLAN之间的数据互访需要通过网关设备;
5) 对外访问的数据也需要经过网关设备;网关的主备倒换主要依赖与VRRP的切换;
这种组网方式的特点是不支持VS的交换机也可以做网关,但是缺点是需要用掉几乎一倍的VLAN,同时配置稍显复杂,逻辑上清晰度不够。
l 网关和RB设备合并部署(V1R510支持)
DRB设备无需VS虚拟化,在DRB接口上配置CE VLAN的三层接口,承担业务网关。
1.4.5 服务器接入设计
通常为了增加服务器的带宽,采取对服务器的网卡进行绑定的方式接入到TRILL中。服务器双活接入(使能nic teaming,基于MAC负载分担),两台设备同时学到相同MAC,MAC漂移。这种MAC漂移一般被认为是网络异常,可以通过改变接口MAC优先级等方法来规避该问题,但这样与VM迁移的要求矛盾;或者在MAC漂移后认为发生环路而关闭接口,与双归接入的要求矛盾。TRILL域以nickname做转发标识,两台接入设备配置同一虚拟nickname,在TRILL转发层面逻辑上形成一个转发节点,链路1和链路2形成负载分担链路。
图表 4?39服务器双归接入到TRILL
双活接入设备中间有以太链路连接,被称为Peer-link。该链路实现两台设备之间传递协议报文,包括但不限于TRILL双活配对报文、E-Trunk同步报文、MAC同步报文、组播信息同步报文,同时还承载部分数据报文。
双归接入设备采用虚拟nickname作为转发标识,单归接入设备采用物理nickname作为转发标识(注:RB为CE128时,单归设备转发同样采用虚拟nickname,此时转发单归设备转发模型与双归设备相近。)
|