阿里SLB技术原理浅析

1.SLB功能介绍

 
SLB（Server Load Balance）服务通过设置虚拟服务地址（IP），将位于同一地域（Region）的多台云服务器（Elastic Compute Service，简称ECS）资源虚拟成一个高性能、高可用的应用服务池；再根据应用指定的方式，将来自客户端的网络请求分发到云服务器池中。

 

SLB服务会检查云服务器池中ECS的健康状态，自动隔离异常状态的ECS，从而解决了单台ECS的单点问题，同时提高了应用的整体服务能力。在标准的负载均衡功能之外，SLB服务还具备TCP与HTTP抗DDoS攻击的特性，增强了应用服务器的防护能力。
 
SLB服务是ECS面向多机方案的一个配套服务，需要同ESC结合使用。

2 SLB技术架构

 

整个SLB系统由3部分构成：四层负载均衡，七层负载均衡 和 控制系统，如下图所示；

• 四层负载均衡，采用开源软件LVS（linux virtual server），并根据云计算需求对其进行了定制化；该技术已经在阿里巴巴内部业务全面上线应用2年多详见第3节；
• 七层负载均衡，采用开源软件Tengine；该技术已经在阿里巴巴内部业务全面上线应用3年多；参见第4节；
• 控制系统，用于 配置和监控 负载均衡系统；

 

 

3 LVS技术特点

 

LVS是全球最流行的四层负载均衡开源软件，由章文嵩博士（当前阿里云产品技术负责人）在1998年5月创立，可以实现LINUX平台下的负载均衡。
 
LVS是 基于linux netfilter框架实现（同iptables）的一个内核模块，名称为ipvs；其钩子函数分别HOOK在LOCAL_IN和FORWARD两个HOOK点，如下图所示；
 

 
在云计算大规模网络环境下，官方LVS存在如下问题；

• 问题1：LVS支持NAT/DR/TUNNEL三种转发模式，上述模式在多vlan网络环境下部署时，存在网络拓扑复杂，运维成本高的问题；
• 问题2：和商用负载均衡设备（如，F5）相比，LVS缺少DDOS攻击防御功能；
• 问题3：LVS采用PC服务器，常用keepalived软件的VRRP心跳协议进行主备部署，其性能无法扩展；
• 问题4：LVS常用管理软件keepalived的配置和健康检查性能不足；

 

为了解决上述问题，我们在官方LVS基础上进行了定制化；

• 解决1：新增转发模式FULLNAT，实现LVS-RealServer间跨vlan通讯；
• 解决2：新增synproxy等攻击TCP标志位DDOS攻击防御功能，；
• 解决3：采用LVS集群部署方式；
• 解决4：优化keepalived性能；

 

注1：ali-LVS开源地址；
 

3.1 FULLNAT技术

 

FULLNAT实现主要思想：引入local address（内网ip地址），cip-vip转换为lip->rip，而 lip和rip均为IDC内网ip，可以跨vlan通讯；
 
IN/OUT的数据流全部经过LVS，为了保证带宽，采用万兆（10G）网卡；
 
FULLNAT转发模式，当前仅支持TCP协议；
 

 

3.2 SYNPROXY技术

 

LVS针对TCP标志位DDOS攻击，采取如下策略；

1. Synflood攻击，利用synproxy模块进行防御，如下图所示；实现主要思想：参照linux tcp协议栈中syncookies的思想，LVS代理TCP三次握手；代理过程：client发送syn包给LVS，LVS构造特殊seq的 synack包给client，client回复ack给LVS，LVS验证ack包中ack_seq是否合法；如果合法，则LVS再和 Realserver建立3次握手；

 

 

1. Ack/fin/rstflood攻击，查找连接表，如果不存在，则直接丢弃；

 

3.3 集群部署方式

 

LVS集群部署方式实现的主要思想：LVS和上联交换机间运行OSPF协议，上联交换机通过ECMP等价路由，将数据流分发给LVS集群，LVS集群再转发给业务服务器；
 
健壮性：lvs和交换机间运行ospf心跳，1个vip配置在集群的所有LVS上，当一台LVS down，交换机会自动发现并将其从ECMP等价路由中剔除；
 
可扩展：如果当前LVS集群无法支撑某个vip的流量，LVS集群可以进行水平扩容；
 
集群部署方式极大的保证了异常情况下，负载均衡服务的稳定性；
 

 

3.4 keepalived优化

 

对LVS管理软件keepalived进行了全面优化；

1. 优化了网络异步模型，select改为epoll方式；
2. 优化了reload过程；

 

综上所述，四层负载均衡产品有如下特点；

1. 高可用，LVS集群保证了冗余性，无单点；
2. 安全，LVS自生攻击防御+云盾，提供了近实时防御能力；
3. 健康检查：对后端ECS进行健康检查，自动屏蔽异常状态的ECS，待该ECS恢复正常后自动解除屏蔽；

 

4 Tengine技术特点

 

Tengine是阿里巴巴发起的web服务器项目，其在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性；Nginx是当前最流行的7层负载均衡开源软件之一；
 
注：Tengine开源地址；

 

针对云计算场景，tengine定制的主要特性如下；

1. 继承Nginx-1.4.6的所有特性，100%兼容Nginx的配置；
2. 动态模块加载（DSO）支持。加入一个模块不再需要重新编译整个Tengine；
3. 更加强大的负载均衡能力，包括一致性hash模块、会话保持模块，还可以对后端的服务器进行主动健康检查，根据服务器状态自动上线下线；
4. 监控系统的负载和资源占用从而对系统进行保护；
5. 显示对运维人员更友好的出错信息，便于定位出错机器；
6. 更强大的防攻击（访问速度限制）模块；

 

采用Tengine作为SLB的基础模块，阿里七层负载均衡产品有如下特点；

1. 高可用，Tengine集群保证了冗余性，无单点；
2. 安全，多维度的CC攻击防御能力；；
3. 健康检查，对后端ECS进行健康检查，自动屏蔽异常状态的ECS，待该ECS恢复正常后自动解除屏蔽；
4. 支持7层会话保持功能；
5. 支持一致性hash调度；

 

5 技术展望

 

SLB作为负载均衡设备，其最重要的指标是 稳定性，在进一步提高稳定性方面，主要工作有2点;

1. 支持集群内部 session同步；
2. 采用anycast技术实现同城双A；

 
同时，在功能方面有更多支持；

1. 白名单访问控制。从SLB层面实现访问控制，用户可以在SLB系统上配置白名单，便于用户灵活限定外部访问请求；
2. 更多服务协议的支持。如：HTTPS、UDP等；

 
（本文作者是SLB研发工程师 吴佳明_普空）