tcpdump丢包

近日用tcpdump抓包，发现有大量的丢包出现("packets dropped by kernel"),

如下：

tcpdump -i eth0 dst port 1234 and udp -s 2048 -X -tt >a.pack

264 packets captured
3043 packets received by filter
2706 packets dropped by kernel

 

丢包原因：

经过google以及分析，造成这种丢包的原因是由于libcap抓到包后，tcpdump上层没有及时的取出，导致libcap缓冲区溢出，从而覆盖了未处理包，此处即显示为dropped by kernel，注意，这里的kernel并不是说是被linux内核抛弃的，而是被tcpdump的内核，即libcap抛弃掉的，上层监听到

1234端口的server可以正常的获取数据。

 

解决方法：

根据以上分析，可以通过改善tcpdump上层的处理效率来减少丢包率，下面的几步根据需要选用，每一步都能减少一定的丢包率

1.最小化抓取过滤范围，即通过指定网卡，端口，包流向，包大小减少包数量

 

2. 添加-n参数，禁止反向域名解析

tcpdump -i eth0 dst port 1234 and udp -s 2048 -n -X -tt >a.pack

大多数情况这样就可以解决了

可以通过改善tcpdump上层的处理效率来减少丢包率

3. 将数据包输出到cap文件

tcpdump -i eth0 dst port 1234 and udp -s 2048 -n -X -tt  -w a.cap

用了这一步，基本上所有的网络server都可以搞定了

 

4. 用sysctl修改SO_REVBUF参数，增加libcap缓冲区长度

这一步是绝招了，由于设计内核参数修改，尽量不要使用，要用了不行，那就没办法了 ^_^

5.  把 /PROC/SYS/NET/CORE/RMEM_DEFAULT (AND RMEM_MAX)  改大后就没丢包了。

在客户现场定位拓扑线路丢包问题，用发包机在设备的一端发包，另一端统计收到的包。用tcpdump 统计的，很诡异的是发包机和接收端之间只经过一个光纤也有丢包现象。通过查询发现tcpdump 本身就有丢包的问题，资料如下：

　通过tcpdump抓包时，结束后tcpdump会给出如下统计信息：
　　1552 packets captured
　　1586 packets received by filter
　　34 packets dropped by kernel
　　
　　其中“captured”的计数指的是应用层捕获到的数据，“received by filter”和“dropped by kernel”的计数由内核维护，应用层通过getsockopt来获取。收到一个包，“received by filter”会加1，如果sock的接收buffer被填满时，则把这个数据包丢弃，将“dropped by kernel”加1。
　　if (atomic_read(&sk->sk_rmem_alloc) + skb->truesize >= (unsigned)sk->sk_rcvbuf){
　　 spin_lock(&sk->sk_receive_queue.lock);
　　 po->stats.tp_drops++;
　　 spin_unlock(&sk->sk_receive_queue.lock);
　　}
　　通过调节/proc/sys/net/core/rmem_default和/proc/sys/net/core/rmem_max能够改变sk_rcvbuf的大小。
　　
　　正常“captured”加上“dropped by kernel”应该等于“received by filter”的大小，有的时候出现不等的情况应该是还有一些数据包在sk_rcvbuf中，还没有被应用层收到的原因。

 

通过调节发包速率，发包速率调慢，丢包率明显降低。