40G/100G 以太网的标准之路

40G/100G 以太网的标准之路

2011年04月14日

2010年是以太网技术领域最具里程碑的一年：6月17日IEEE正式批准了IEEE 802.3ba标准，这标志着40G/100G以太网的商用之路正式开始。回顾其过程，IEEE 802.3ba工作组于2008年初正式成立，到标准的正式获批和发布，经历了两年半的时间。

40G/100G 以太网的标准之路

文/汤勇

40G/100G以太网标准的诞生

在以太网标准中， 40G是个“另类”的以太网速率。从10M->100M->1000M（1G）->10G，以太网一直都是以10倍的速率来定义更高的接口速率，而40G的出现第一次打破了这个规律。是什么原因使得IEEE改变了以太网接口速率一直以来所遵循的规律？

早在2006年下半年，IEEE就成立了HSSG（Higher Speed Study Group），目标是要研究制定下一代高速以太网100G的标准。随着工作组相关工作的深入开展， 40G以太网被明确的提出，技术上的分歧也随之凸显，40G还是100G？下一代以太网的标准之路从一开始就面临一个艰难的抉择。

将40G以太网作为下一代标准，其支持者有着非常充分的理由：40G端口的相关技术和产业链相对成熟得多，在芯片成本、光模块成本和端口部署等方面都有着非常现实的意义，可以很快实现规模性的商用。而100G的支持者更愿意面临更大的技术挑战：虽然100G在诸多方面都存在技术和成本问题，但基于10G*10=100G的考虑，不能因为技术上的原因就放弃它。双方的分歧与争论一直持续着，并影响了最终发布的结果——40G和100G同时被定义下来。不过从市场定位来看，两者各有所侧重：40G以太网主要面向数据中心的应用；而100G以太网则更侧重在网络汇聚和骨干。

IEEE的40G/100G以太网标准发布的同时，多个光通信标准组织也在积极制定相关规范，涵盖40G/100G器件、光模块、OTN开销处理、系统设备等领域。具体来说，IEEE主要制定客户侧的网络接口和以太网相关映射标准，为40G/100G客户侧接口提供了规范；ITU-T主要制定运营商网络相关标准，2010年该组织对G.709标准进行了一次修订，进一步规范了OTN接口标准，把40G/100G以太网的承载和映射进行了明确的定义；OIF则负责制定40G/100G波分侧光模块电气机械接口、软件管理接口、集成式发射机和接收机组件、前向纠错技术的协议规范，有力地推动了波分侧接口设计标准化。

从2010年下半年开始，芯片供应商们明显加快了在40G/100G以太网上的开发节奏，我们有理由相信，40G/100G相关标准的正式发布，必将完全激活整个产业链的研发热情。在2011年以至未来，40G/100G必将成为技术热点。

40G/100G的需求高速增长

随着IT行业的高速发展，云计算、虚拟化、高清视频、电子商务、社交网络以及飞速发展高速无线网络等等各种新兴业务的不断涌现，都给基础网络带来了巨大的机会和挑战。

从业务层面来看，三网融合给网线赋予了更为丰富的内容：下载文件，电子购物，在线观看高清视频，以及高清视频通话等等。这也使得用户的带宽需求从64K迅速上升到10M、100M，甚至千兆。有数据表明，10G端口的增长速度已远远高于低速端口的增长速度，在接入和客户端设备上10G端口的应用正越来越多。这势必会引发网络汇聚层和骨干层对40G、100G端口需求的迅速增长。

云计算的部署，更加速了业务对网络带宽的需求。海量的数据在不断的交互，网络正在成为人类的第二个生活空间，越来越多的事情正在或将要在网络上进行。更强大的数据中心、更高的网络带宽是实现这一切的物理基础。这场革命已逐渐渗透到数据中心内部。处理器技术的飞速发展和业务的无限丰富推动了虚拟化技术在数据中心广泛应用，千兆端口已不能满足服务器对接口的需求。随着数据中心网络建设的融和趋势，局域网、存储网络和高性能计算网络融正逐步统一到以太网接口上，如图1所示，这也大大增加了服务器对10G、40G以太网接口的需求。一旦10G、40G接口成为服务器的普及端口，数据中心内部40G、100G的互联交换机接口就变得十分必要和紧迫。不仅如此，超大型的数据中心往往有很大的地域跨度（考虑到数据中心机房对电力、空间等的特殊需求，往往会建立在一些比较偏远的地方），这些数据中心的互联以及同Internet的接入都需要更高速率的链路。

图1 数据中心的融合网络

从网络的架构来看，网络的扁平化和融合也都大大促进了40、100G高速接口的发展，如图2所示。网络的扁平化对高端/核心路由器提出了更高端口密度和更高速率上行接口的要求，如每槽位需要32个10GE接口。在如此高密度、大容量的接入带宽下面，上行接口的带宽就有了更高的需求。比较常见的部署就是用多个10G端口进行聚合和捆绑，来实现更高性能的上行接口。可见，40G、100G的接口需求不仅现实的，而且是迫切的。

核心路由器在40G、100G接口上的技术突破，尤其是100G接口的出现，也极大的推动了传输网络的发展。IEEE、ITU-T和OIF联手定义了40G、100G接口如何利用DWDM实现长距传输，并提出下一代传输网络OTN。在OTN的架构下面，40G、100G乃至未来的400G、1T等高速接口都有了更广阔的发展空间。从目前业界的技术发展来看，虽然从用户侧（Client）到线路侧（Line）的映射（Mapping）标准中有多种封装的定义，但在100G接口的实际实现上，100G以太网几乎成为业界唯一的实现。从这个意义上讲，以太网已经完全突破了“自我”，不再局限在“局域网和城域网”，而是真真切切“跑”到了骨干网上，成为“运营商以太网”。

图2 承载网扁平化

说到OTN，就不得不说网络的融合。这是一次“跨界”的融合，即数据通信网络（IP网络）和传输网络（OTN）的融合。传统的数据通信（IP）网络和传输网（SDH/SONET/DWDM）在管理和运营上相互独立，路由器“看不见”传输设备，只是把传输当成“一根很长很长，信号质量很好的电缆”。传输资源的分配和链路的建立都是完全通过“人”这个接口来实现的，业务的开通要经过申请、审批、配置执行和调试等多个环节，开通的周期长，业务变更复杂。而在下一代传输网的架构中，IP和OTN网络将最大限度的融合，通过对GMPLS的全面支持，实现控制平面的对接和互通，交换机、路由器以及传输设备都成为网络上对等的节点。业务是端到端、按需的、动态的建立和拆除，极大的简化了网络的管理，并最大限度的实现链路带宽和资源的高效率适用。当然，要达到这样的目标在技术上还有很长的路要走，但融合的趋势和意愿已经迫在眉睫，其带来的一个必然结果就是路由器全面提供对能支持OTN（DWDM彩光）的接口，这也成为40G/100G接口出现动力之一。

再者，从降低网络的投资成本和运营成本的角度来看，也对40G/100G端口有着明确的需求。如前文所述，为实现更高性能的上行接口，通常会在数据中心的核心交换机上用多个10G端口进行聚合和捆绑当然40G POS可以解决单端口40G的骨干互联问题，但是仍然无法达到100G）。虽然物理带宽上实现了更高速物理接口的目的，但是链路聚合却存在着以下问题：

Ÿ 数据流在多个物理端口之间要进行链路选择（多采用HASH算法），这就会导致各个链路负载不均衡，从而降低聚合链路的有效带宽。并且，不同的流量模型可能会将此现象加剧和恶化，大大降低链路的可用带宽。

Ÿ 由于接口数量多，导致接口上连接的光纤数量大大增加，不仅仅给机房部署、设备维护带来更大麻烦，更为重要的是，会对链路保护和倒换造成极大的困难，甚至无法实现。对于可靠性要求极高的应用来说，这是一个致命的缺陷。

Ÿ 会给用户在网络基础建设方面带来更多的投入，包括占用路由器、交换机上更多端口（或槽位），需要购买更多的光模块、光纤，租用更多的低速端口链路等等。

当然，在40G/100G应用之初，这些高速接口本身还是“天价”，甚至远大于多个低速接口的捆绑。但是随着产业链的成熟和应用数量的增加，总体成本一定会快速下降到合理的范畴之内。到那个时候，单端口40G/100G在投资和运营成本上的优势一定会更加明显的体现出来。

40G/100G技术面临的挑战

40G/100G作为一项新技术，在其研发和部署的各个环节会涉及到一些关键技术的突破和革新，这也给芯片开发商、设备制造商和最终用户都带来一系列新的挑战和问题。

1. 路由器/交换机处理能力（包括整机容量、端口密度、高速查表、流量管理以及热设计和节能设计）

当每端口的带宽上升10倍（相对于10G端口）的时候，就会给系统设计带来更高的要求。通常在设计系统交换容量时，都会考虑加速比（speedup），即报文在板间交换时需要一定的报文附加信息开销。加速比一般在1.5～2之间，这意味着当物理接口为100G时，需要的背板交换容量为150G~200G，双向就是300G～400G。如果产品以后每槽位提供4*100G的超大容量，这就要求系统为每槽位提供1.2T～1.6T的交换容量。如果按照10Gbps的SerDes进行设计，则需要60～80对高速的信号。如此之多的高速信号给系统设计、单板设计和PCB设计都带来巨大的挑战。目前，业界已经开始研究25Gbps SerDes的背板技术，如果能够商用，则可以大大减少SerDes的数量，简化系统的设计。

不仅如此，当单端口的带宽上升到100G的时候，对于设备而言，线速情况下每秒需要处理150 Million个报文的转发（150M pps），这对路由查找、流量管理（报文的缓存和队列调度）等特性的实现也带来巨大的挑战。同时，光模块、TCAM以及NPU等等这些部件在实现100G处理性能的时候，会产生巨大的功耗和热量，如何实现高效的通风散热，这也正逐步成为高端设备系统设计的一个极其重要和关键的方面。

2. 专用报文处理芯片的高速接口，包括高速SerDes、高速大容量缓存等

对于40G/100G的平台，高速接口成为芯片和系统设计的关键技术之一。

在新一代的高端平台上，每槽位需要的10Gbps SerDes（64/66编码）60～80对，换算成3.125Gbps的SerDes（8/10编码）则高达240～320对，这个密度物理上几乎无法实现，因此，尽可能的采用更高速率的SerDes是实现高端平台的关键。

除了SerDes，对报文做缓存和队列调度也是在实现40G/100G平台中的关键技术。从理论上看，1个100G端口进来的报文，缓存一次需要1写1读，这样就需要200G的带宽，而3个64位控制器的总理论带宽是3*85.376=256.128G（@667MHz），也就是说至少要3个64位的DDR3控制器才能满足1个100G端口的报文缓存需求。考虑到DDR3的实际有效带宽会更低一些（短包的时候效率下降尤为明显）以及调度的开销，实际可能需要更多的内存控制器才能实现。如此之高的内存接口数量和带宽需求，对芯片设计本身来说也是巨大的挑战。

3. 在（超）长距传输中，利用现有的光纤等基础设施，实现单波长40G/100G的超长距传输

40G/100G接口的出现为核心/骨干路由器的互联提供了一个非常好的“管道”，但如何实现所谓的ULH（Ultra Long Haul）传输，成为骨干网的一个重要课题。近几年来，业界不断在研究如何尽量在利用现有基础设施（包括光纤、DWDM设备等等）的情况下，实现单波长40G甚至100G的高速超长距传输。这涉及到诸多光学领域的关键技术，包括采用更复杂的光调制技术，如DP-QPSK（Dual Polarization Quadrature Phase Shift Keying），使用光放大器EDFA，研究增益更高高速FEC算法等等。相关的技术已经有了比较明显的突破，商用的道路也已经逐渐清晰。

结束语

40G/100G以太网应用的序幕已经徐徐拉开，期待着这张“超高速”的以太“网”能够给网络世界带来翻天覆地的变化。