HTTP/HLS/RTMP超级负载测试工具

原文链接:
http://blog.csdn.net/win_lin/article/details/11835011

服务器负载测试工具(st-load)：
1. 模拟huge并发：2G内存就可以开300k连接。基于states-threads的协程。
2. 支持HLS解析和测试，下载ts片后等待一个切片长度，模拟客户端。支持HLS点播和直播。
3. 支持HTTP负载测试，所有并发重复下载一个http文件。可将80Gbps带宽测试的72Gbps。
4. 支持RTMP流测试，一个进程支持5k并发。使用nginx-rtmp的协议直接将chunk流解析为messgae。

state-threads用来模拟超级并发，并简化异步socket的逻辑为同步socket，http-parser解析http协议部分。

这两个库设计都很巧妙，所以我开了一个项目：

state-threads之前就有写过文章说明，那时候主要是支持高并发的rtmp服务器，也是并发和异步变为同步的协程很方便。

http-parser用yum就可以search到，它其实设计得也相当巧妙，相当于只是解析buffer的http内容，并不负责网络部分。libcurl/poco等都带了网络处理，所以不合适。

举例说明，http_parser_parse_url这个函数，解析url，设计得非常有意思，不是返回字符串，而是返回位置索引，譬如主机头在什么位置长度多长等等。

1. [winlin@dev6 st-hls-load-run]$ ./objs/http-parser-2.1/url_parser_g get 
2. Parsing 
3. Parse ok, result :   
4. field_set: 0xf, port: 3080  
5. field_data[0]: off: 0 len: 4 part: "http  
6. field_data[1]: off: 7 len: 13 part: "192.168.2.111  
7. field_data[2]: off: 21 len: 4 part: "3080  
8. field_data[3]: off: 25 len: 13 part: "/hls/hls.m3u8  

提供了url_parser这个示例程序。

另外，还有个例子是nginx大牛Igor写的，parsetrace.c：

/* Based on src/http/ngx_http_parse.c from NGINX copyright Igor Sysoev

就是读取文件，然后用http-parser解析。

这个工具写完，支持HTTP文件和HLS两种负载测试。

对比下代码行数：

1. [winlin@dev6 src]$ find . -name "*.*pp"|xargs wc -l  
2.    35 ./upp/upp.upp  
3.   156 ./main/htl_main_hls_load.cpp  
4.   156 ./main/htl_main_http_load.cpp  
5.    45 ./app/htl_app_http_client.hpp  
6.    53 ./app/htl_app_http_base.cpp  
7.    32 ./app/htl_app_http_base.hpp  
8.    44 ./app/htl_app_http_load.cpp  
9.   172 ./app/htl_app_m3u8_parser.cpp  
10.   228 ./app/htl_app_http_client.cpp  
11.   138 ./app/htl_app_hls_load.cpp  
12.    18 ./app/htl_app_http_load.hpp  
13.    30 ./app/htl_app_m3u8_parser.hpp  
14.    28 ./app/htl_app_hls_load.hpp  
15.    91 ./os/htl_os_st.hpp  
16.   280 ./os/htl_os_st.cpp  
17.    67 ./core/htl_core_log.hpp  
18.    40 ./core/htl_core_error.hpp  
19.    48 ./core/htl_core_log.cpp  
20.     2 ./core/htl_core_error.cpp  
21.   138 ./core/htl_core_http_parser.cpp  
22.    53 ./core/htl_core_http_parser.hpp  
23.    20 ./core/htl_stdinc.hpp  
24.  1874 total  

对比httpload，只能做http文件测试的工具：

1. [winlin@dev6 http_load-12mar2006]$ ls|xargs wc -l  
2.  1857 http_load.c  
3.   107 port.h  
4.   328 timers.c  
5.   106 timers.h  
6.     8 version.h  
7.  2406 total  

当ts文件码率为400kbps时，一个进程能开10000连接。http load只能开1024每进程。

效率大约是http-load的10倍，若进行小文件测试，可以到100倍以上。

单进程开启1k连接，不sleep取完一个接着取下一个，能将虚拟机的回环网卡带宽请求到8Gbps，1CPU的虚拟机。

基本上这个工具用来做http测试模拟大并发足够了。