2021年（31）
分类： 信息化
2021-05-11 19:10:38
我们把用户访问系统造成的数据传输定义为流量，那么在用户访问系统的过程中，我们可以把进入和流出的数据复制下来，进行保存，待后续使用，即离线模式，或者转发到一个新的服务器，立即使用，即在线模式。
性能测试中我们可以使用诸如 ab, wrk, httperf, locust, JMeter 等工具模拟用户请求，也可以使用流「流量复制」工具，实时捕捉生产环境流量并导向目标测试系统。同时，这些「流量复制」工具可以支持对真实流量进行放大或缩小。
于是有人说，就是因为这样才应该直接用真实流量的方式来做嘛，这样就不用管业务模型了，直接就有生产的业务模型了。没错，只要你能通过生产流量扩大回放的方式实现压力部分，确实可以不用考虑业务场景了。但这么做的前提也必须是你的生产流量来源是可以覆盖想要测试的业务场景的。
这里要批驳一个观点，就是有些人觉得只有通过生产流量回放的方式，才是真实地 模拟了线上的流量。事实上，这个观点是偏颇的。
总结一下，流量复制工具的优势就是可以将线上流量拷贝到测试机器，实时的模拟线上环境，真实的模拟线上流量的变化规律，达到在程序不上线的情况下实时承担线上流量的效果。
流量复制工具一般分成这几类：
该模块目前只实现了两个配置指令，用法相当简单：
location / {
mirror /mirror;
proxy_pass
}
location /mirror {
internal;
proxy_pass $request_uri;
}
每一条 mirror 配置项对应用户请求的一个副本，我们就可以通过配置多次 mirror 指令来实现 “流量 放大” 的效果。当然，你也可以将多个副本转发给不同的后端目标系统。
示例配置：
server {
listen 8080;
access_log /home/work/log/nginx/org.log;
root html/org;
}
server {
listen 8081;
access_log /home/work/log/nginx/mir.log ;
root html/mir;
}
upstream backend {
server 127.0.0.1:8080;
}
upstream test_backend {
server 127.0.0.1:8081;
}
server {
listen 80;
server_name localhost;
# original 配置 location / {
# mirror指定镜像uri为 /mirror mirror /mirror;
# off|on 指定是否镜像请求body部分(开启为on，则请求自动缓存;) mirror_request_body off;
# 指定上游server的地址 proxy_pass
}
# mirror 配置 location /mirror {
# 指定此location只能被“内部的”请求调用 internal;
# 指定上游server的地址 proxy_pass $request_uri;
# 设置镜像流量的头部 proxy_set_header X-Original-URI $request_uri;
}
}
流量放大, 配置两个 mirror 即可:
location / {
mirror /mirror;
mirror /mirror;
proxy_pass
}
使用很方便，但是线上 nginx 一般都承载了不止一个业务，修改 nginx 配置后需要 nginx -s reload 来使之生效，这种操作在线上还是尽量需要避免的。
TCPCopy 是一种请求复制（复制基于 TCP 的 packets）工具 ，通过复制在线数据包，修改 TCP/IP 头部信息，发送给测试服务器，达到欺骗测试服务器的TCP 程序的目的，从而为欺骗上层应用打下坚实基础。
TCPCopy 由网易技术部的王斌在王波的工作基础上中 2010 年开发，并于 2011 年 9 月开源。T
TCPCopy 一般会与 TCPDump 共同使用。
基于 C 语言
地址：
stars：3.9k
TCPCopy 由两部分组成：TCPCopy 和 intercept。TCPCopy 在线上服务器上运行并捕获在线请求，intercept 运行在辅助服务器上并执行一些辅助工作，例如将响应信息传递给 TCPCopy。测试应用程序则在目标服务器上运行。也就是使用上其实还需要一个辅助服务器。
TCPCopy 的主要优势：
同时，也具有以下不足：
Goreplay 是用 Golang 写的一个 HTTP 实时流量复制工具。功能更强大，支持流量的放大、缩小，频率限制，还支持把请求记录到文件，方便回放和分析，也支持和 ElasticSearch 集成，将流量存入 ES 进行实时分析。
GoReplay 不是代理，而是监听网络接口上的流量，不需要更改生产基础架构，而是在与服务相同的计算机上运行 GoReplay 守护程序。
特点：简单易用
地址：
stars：14.1k
与 TCPCopy 相比它的架构更简单，只有一个 gor 组件，如下：
只需要在生产服务器上启动一个 gor 进程，它负责所有的工作包括监听、过滤和转发。它的设计遵循 Unix 设计哲学：一切都是由管道组成的，各种输入将数据复用为输出。
敲下命令，即可进行流量复制。无需理解复杂的概念。同样支持在线直接转发。存储到文件进行重放，N 倍重放。
sudo ./gor --input-raw :8000 --output-http="" sudo ./gor --input-raw :8000 --output-file=requests.gor
相比 tcpcopy 只能复制 HTTP 和 HTTPS 的流量。使用时编译很麻烦，一般直接使用编译好的版本。
一般配合 diffy 一起使用，diffy 提供 diff 能力，可以智能降噪音。
TCPReplay 是一种 pcap 包的重放工具，它可以将用 ethreal、wireshark工具抓下来的包原样或经过任意修改后重放回去。它允许你对报文做任意的修改（主要是指对2层、3层、4层报文头），指定重放报文的速度等，这样tcpreplay 就可以用来复现抓包的情景以定位 bug，以极快的速度重放从而实现压力测试。
地址：
stars：765
JVM 沙箱容器，一种 JVM 的非侵入式运行期 AOP 解决方案
需要代码的编写，可适用于一些比较定制化的场景
阿里巴巴开源
地址：
stars：4.3k
整体架构图：
沙箱有两种启动方式：
使用jvm的attach机制，线上随时可进行attach
java agent启动，需要在命令行增加参数，故需要重启。
流量复制的场景下基本就是选择 attach了。提供的脚本非常简单易用，直接在安装目录下敲入命令即可。
# 假设目标JVM进程号为'2343' ./sandbox.sh -p 2343
其他的就是编写 AOP相关代码然后编译成 jar 包放入到安装目录。官网的例子非常详细，有兴趣可以了解了解。
整体架构图：
整体架构图：
参考资料：