故障测试之模拟网络丢包

本文分享自天翼云开发者社区《故障测试之模拟网络丢包》，作者：y****n

 

1、模拟网络丢包工具——TC（Traffic Control）

      TC(Traffic Control) 是linux自带的模块，一般不需要安装，TC要求内核2.4.18以上。Linux 操作系统中的流量控制器 TC用于Linux内核的流量控制，它利用队列规定建立处理数据包的队列，并定义队列中的数据包被发送的方式，从而实现对流量的控制。TC 模块实现流量控制功能使用的队列规定分为两类，一类是无类队列规定，另一类是分类队列规定。无类队列规定相对简单，而分类队列规定则引出了分类和过滤器等概念，使其流量控制功能增强。

       无类队列规定是对进入网络设备（网卡）的数据流不加区分统一对待的队列规定。使用无类队列规定形成的队列能够接收数据包以及重新编排、延迟或丢弃数据包。这类队列规定形成的队列可以对整个网络设备（网卡）的流量进行整形，但不能细分各种情况。常用的无类队列规定主要有 pfifo_fast（先进先出）、TBF（令牌桶过滤器）、SFQ（随机公平队列）、ID（前向随机丢包）等等。这类队列规定使用的流量整形手段主要是排序、限速和丢包。

       分类队列规定是对进入网络设备的数据包根据不同的需求以分类的方式区分对待的队列规定。数据包进入一个分类的队列后，它就需要被送到某一个类中，也就是说需要对数据包做分类处理。对数据包进行分类的工具是过滤器，过滤器会返回一个决定，队列规定就根据这个决定把数据包送入相应的类进行排队。每个子类都可以再次使用它们的过滤器进行进一步的分类。直到不需要进一步分类时，数据包才进入该类包含的队列排队。除了能够包含其他队列规定之外，绝大多数分类的队列规定还能够对流量进行整形。这对于需要同时进行调度（如使用SFQ）和流量控制的场合非常有用。

      Linux流量控制的基本原理为：接收包从输入接口（Input Interface）进来后，经过流量限制（Ingress Policing）丢弃不符合规定的数据包，由输入多路分配器（Input De-Multiplexing）进行判断选择。如果接收包的目的地是本主机，那么将该包送给上层处理，否则需要进行转发，将接收包交到转发块（Forwarding Block）处理。转发块同时也接收本主机上层（TCP、UDP等）产生的包。转发块通过查看路由表，决定所处理包的下一跳。然后，对包进行排列以便将它们传送到输出接口（Output Interface）。一般我们只能限制网卡发送的数据包，不能限制网卡接收的数据包，所以我们可以通过改变发送次序来控制传输速率。Linux流量控制主要是在输出接口排列时进行处理和实现的。

2、TC常用命令

（1）模拟延迟传输

# tc qdisc add dev eth0 root netem delay 100ms

该命令将 eth0 网卡的传输设置为延迟 100 毫秒发送；

（2）模拟延迟波动

# tc qdisc add dev eth0 root netem delay 100ms 10ms

更真实的情况下，传输延迟不会精确到100ms，会有一定的波动，该命令将 eth0 网卡的传输设置为延迟 100ms ± 10ms (90 ~ 110 ms 之间的任意值)发送；

（3）模拟延迟波动随机性

# tc qdisc add dev eth0 root netem delay 100ms 10ms 30%

为了更进一步加强这种波动的随机性，该命令将 eth0 网卡的传输设置为 100ms ,同时,大约有 30% 的包会延迟 ± 10ms 发送；

（4）模拟网络丢包

# tc qdisc add dev eth0 root netem loss 1%

该命令将 eth0 网卡的传输设置为随机丢掉 1% 的数据包；

（5）模拟网络丢包成功率

# tc qdisc add dev eth0 root netem loss 1% 30%

该命令将 eth0 网卡的传输设置为随机丢掉 1% 的数据包,成功率为 30%；

（6）删除相关配置

# tc qdisc del dev eth0 root netem delay 100ms

该命令将对应命令中的add 改为 del 即可删除配置；

（7）模拟包重置

# tc qdisc add dev eth0 root netem duplicate 1%

该命令将 eth0 网卡的传输设置为随机产生 1% 的重复数据包

（8）模拟包损坏

# tc qdisc add dev eth0 root netem corrupt 0.2%

该命令将 eth0 网卡的传输设置为随机产生 0.2% 的损坏的数据包 。 (内核版本需在 2.6.16 以上)

（9）模拟包乱序

# tc qdisc change dev eth0 root netem delay 10ms reorder 25% 50%

该命令将 eth0 网卡的传输设置为:有 25% 的数据包(50%相关)会被立即发送,其他的延迟10 秒

（10）查看网卡配置

# tc qdisc show dev eth0

该命令将 查看并显示 eth0 网卡的相关传输配置

（11）查看丢包率

# tc -s qdisc show dev eth0

4、模拟丢包流程

首先需要确定在哪里制造丢包，针对具体场景分析，比如使用系统盘创建私有镜像的过程，是在cinder-api到volume的消息队列丢包，还是cinder-volume要通过存储外向ceph的盘写数据还是cinder-volume要通过存储外向对象存储的盘写数据，确定之后需要找开发确定对应步骤使用的网卡，确定网卡之后，

（1）首先需要确定该操作涉及服务所在的节点：kubectl get pod -n az3|grep cinder-volume |awk '{print $1}'| xargs -I{} kubectl exec -n az3 {} -- grep -rn image-id /var/log/cinder/cinder-volume.log

（2）在服务所在的节点上设置网卡丢包率：tc qdisc add dev bond2 root netem loss 10%；

（3）查看丢包率：tc -s qdisc show dev bond2

（4）通过ping对应网卡服务的ip验证确实丢包（该例ping对象存储ip）：ping 10.24.255.1

（5）测试结束后，删除丢包配置：tc qdisc del dev bond2 root netem loss 10%