分类: 架构设计与优化
2021-11-05 14:38:09
近日,LiveVideoStackCon 2021 音视频技术大会北京站隆重召开。作为多媒体行业的技术盛会,众多行业专家齐聚在此,新技术、新产品、新趋势与新思想在这里碰撞交汇,不断催生出创新突破的新灵感。
网易云信服务端首席架构师吉奇受邀参加,并分享主题为《网易云信自研大规模传输网核心系统架构剖析》的演讲,介绍了网易云信全球智能路由网络 WE-CAN 背后的设计理念,受到与会嘉宾广泛关注。
WE-CAN 这个词,对于一些开发者略显陌生。简单理解,WE-CAN(Communications Acceleration Network)是一个架设在公共互联网上,通过对各种资源智能调度来实现提高数据传输质量、降低数据传输成本目标的复杂网络系统。
吉奇表示,网易云信的目标是成为融合通信云服务第一品牌,而要实现这一目标,通信数据的传输质量至关重要,尤其在长距离、复杂网络环境下。在这样的背景下,WE-CAN 诞生,并获得快速发展。
据吉奇介绍,目前 WE-CAN 能对流媒体进行高到达、低延迟的传输,且 WE-CAN 能在媒体本身的各种 QoS 策略之外额外进行可选的、对业务透明的 ARQ、FEC 及其他冗余策略,这些策略对 WE-CAN 其他所有传输模式也通用;
WE-CAN 也能对视频直播进行超大规模分发,通过路径级联和复用消除房间人数瓶颈,降低带宽成本,做到成本上接近 CDN,实时性上接近 RTC,更好地支持低延迟直播场景;
WE-CAN 还能对信令、IM或其他数据进行可靠传输。所谓“可靠传输”是指保证数据一定能到,并且保证数据投递的顺序性;
WE-CAN 的服务和协议拥有业界领先的解耦和分层设计,实现优雅,使用简单,方式灵活。例如其对可靠传输协议进行了抽象封装,对外提供了一个极简接口,我们管它叫 MessageBus,MessageBus 的目标是提供一个全球部署的分布式消息队列服务。
作为网易云信的传输基座,WE-CAN 从一开始,定位就不是普通的传输网,而是建立一个能将任意数据从全球任一点稳定、快速、高效地发送到全球任何其他角落的通用传输网络。
“WE-CAN 的实现原理并不难,但要真正达到网易云信的设计目标,有很多工作要做。”吉奇与参会者分享道。
从整体而言最大的挑战就是如何保持各层之间的抽象和隔离,另外 WE-CAN 虽然最终目标是建立一个覆盖全球的软件定义的通用传输网络,但出发点毕竟是为网易云信 RTC 服务的,所以与上层业务系统的解耦也是一个很大的挑战。
本次分享中,吉奇也深入剖析了各层的架构设计。
之所以这么设计,吉奇表示,出于四方面的考虑:一、WE-CAN 本身是公共互联网的 overlay,分层能更独立、更安全;二、分层能够实现各司其职、系统边界清晰;三、分层能够更好的针对性优化,从而实现各层不同的传输优化策略;四、为了支持更多的传输场景。
实现过程中,WE-CAN 将整个架构分为五层,即网络层、控制层、传输层、应用层和业务层。
其中,网络层是 WE-CAN 核心网的入口,为报文提供寻址路由功能,是整个架构最复杂、流程最长的一层。
控制层主要负责数据的路由、流量调度、拥塞控制。控制层会将转发节点编织为一张高速公路网,并为接入节点分配最优的高速公路入口。
传输层,负责报文的排序、重传、切片等,WE-CAN 基于 UDP 协议自研了一套可靠的传输机制,能够支持更丰富的应用场景,比如对应用层协议进行流量控制、熔断限流等,对应用层提供分级服务策略等。
应用层提供 Message Bus 的协议封装,包括 Topic 订阅、多目的地广播、承载 RTC 服务端信令等。
业务层支持 RTC、IM、直播点播、数据上报等各种应用,能有效降低业务延迟,提升通信质量的同时,降低成本。
如吉奇所说,彻底的分层解耦既能使各层独立工作互不影响,从而提高系统稳定性,又能促进功能的快速迭代,降低开发难度。另外,彻底的分层抽象也使 WE-CAN 能够提供更灵活、更多元化的分级服务。这也是网易云信 WE-CAN 区别于很多厂商最大的不同。
不但追求架构先进性,WE-CAN 对降低传输成本也有始终如一的追求,吉奇在设计 WE-CAN 的过程中坚持的一点就是用远低于专线的成本来达到甚至超过专线的质量。实际在线上运行中业务数据也很好地验证了这一理念,WE-CAN 在跨国传输场景中优势巨大,真正做到了用公网带宽实现专线质量。
截至当前,WE-CAN 已经遍布中国,同时覆盖全球各大洲,在印度、中东、欧洲、北美、北非等全球主要地区均实现节点部署。 WE-CAN 承载着包括 RTC、IM、直播点播等业务流量,每日传输千亿条消息和数亿分钟媒体流数据。传输质量优异,其中在国内音视频传输中能做到超过 99.9% 的网内优质传输率,端到端优质传输率超过 99%,在跨国通信中,能做到接近专线质量,全球范围内延迟不超过 250ms。
WE-CAN 是网易云信最可靠、坚实的基座,基于 WE-CAN 强大的传输能力,网易云信已经帮助众多知名企业深耕海内外市场,稳步推进全球化业务布局。
当然,网易云信的目标不止于此,网易云信期待每个智能终端都拥有云信的融合通信能力。
《网易云信自研大规模传输网核心系统架构剖析》演讲实录即将发布,欢迎持续关注。