Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2136172
  • 博文数量: 145
  • 博客积分: 8668
  • 博客等级: 中将
  • 技术积分: 3922
  • 用 户 组: 普通用户
  • 注册时间: 2007-03-09 21:21
个人简介

work hard

文章分类

全部博文(145)

文章存档

2016年(1)

2015年(1)

2014年(1)

2013年(12)

2012年(3)

2011年(9)

2010年(34)

2009年(55)

2008年(20)

2007年(9)

分类: LINUX

2009-10-31 17:23:56

本文着重分析内核中CONNMARK的实现,同时还包括MARKmatchtarget模块的实现。因为CONNMARK模块通常是和MARK模块搭配使用的。关于iptables中如何使用这三个模块,参看本人的另外一篇文章《Netfilter CONNMARK用法及分析(一)-- iptables令行的使用》。

 

本文欢迎自由转载,但请标明出处和本文链接,并保持本文的完整性。

CU Godbach
    Blog
http://blog.chinaunix.net/u/33048/index.html

Oct 31, 2009

1. CONNMARK及相关模块的选项

这里先列出CONNMARKMARKmark模块的iptables命令行的选项,随后我们再逐一分析各个模块的内核实现。iptables版本为v1.3.5

1CONNMARK target的选项

 

选项

功能

--set-mark value[/mask]

给链接跟踪记录打标记。

--save-mark [--mask mask]

将数据包上的标记值记录到链接跟踪记录上。

--restore-mark [--mask mask]

重新设置数据包的nfmark值。

 

2MARK target 的选项

 

选项

功能

--set-mark value

设置数据包的nfmark值。

--and-mark value

数据包的nfmark值和value进行按位与运算。

--or-mark  value

数据包的nfmark值和value进行按或与运算。

 

3MARK match的选项:

选项

功能

[!] --mark value[/mask]

数据包的nfmark值与value进行匹配,其中mask的值为可选的。

 

其中CONNMARKMARK match中都有mask选项,这个主要用来指定给出value值中哪几位是需要设置的。通常,如果我们不指定mask的话,其值会被默认初始为0xFFFFFFFFUL

 

2. MARK target的内核实现

我这里分析的内核源码版本是2.6.18,该模块的代码见文件xt_MARK.c,其核心的target实现代码如下:


 41 static unsigned int
 42 target_v1(struct sk_buff **pskb,
 43 const struct net_device *in,
 44 const struct net_device *out,
 45 unsigned int hooknum,
 46 const struct xt_target *target,
 47 const void *targinfo,
 48 void *userinfo)
 49 {
 50 const struct xt_mark_target_info_v1 *markinfo = targinfo;
 51 int mark = 0;
 52
 53 switch (markinfo->mode) {
 54 case XT_MARK_SET:
 55 mark = markinfo->mark;
 56 break;
 57
 58 case XT_MARK_AND:
 59 mark = (*pskb)->nfmark & markinfo->mark;
 60 break;
 61
 62 case XT_MARK_OR:
 63 mark = (*pskb)->nfmark | markinfo->mark;
 64 break;
 65 }
 66      /*将用户设置的mark值赋给数据包的nfmark*/
 67 if((*pskb)->nfmark != mark)
 68 (*pskb)->nfmark = mark;
 69
 70 return XT_CONTINUE;


MARK target三个选项中最常用的应该是--set-mark,给数据包的nfmark设置标记。诸如下面这条规则

iptables -A POSTROUTING -p tcp --dport 21 -t mangle -j MARK --set-mark 1

就是将符合前面匹配选项的数据包的nfmark值设置为1。在内核中对应的源码为:


54     case XT_MARK_SET:

 55         mark = markinfo->mark;

 56         break;


选项--and-mark对应的源码为:

 58 case XT_MARK_AND:
 59 mark = (*pskb)->nfmark & markinfo->mark;
 60 break;


功能就是将数据包中记录的
nfmark值和用户设置的value进行按位与。同理选项--or-mark就是将数据包中记录的nfmark值和用户设置的value进行按位或,其源码如下:

 62 case XT_MARK_OR:
 63 mark = (*pskb)->nfmark | markinfo->mark;
 64 break;


该模块最后统一判断一下设置后的mark值是否与数据包中保存的nfmark值相等,如果不等,则更新数据包的nfmark值为刚刚设置的mark。其代码如下:

 67 if((*pskb)->nfmark != mark)
 68 (*pskb)->nfmark = mark;


个人觉得不管数据包nfmarkmark是否相等,直接将mark赋给nfmark就可以了。这里加一条if判断,难道是为了当两个值相等的时候,少执行一次写内存的指令?

3. MARK match的内核实现

该模块的实现在内核源码的xt_mark.c中。其核心匹配模块的实现代码如下:

 22 static int
 23 match(const struct sk_buff *skb,
 24 const struct net_device *in,
 25 const struct net_device *out,
 26 const struct xt_match *match,
 27 const void *matchinfo,
 28 int offset,
 29 unsigned int protoff,
 30 int *hotdrop)
 31 {
 32 const struct xt_mark_info *info = matchinfo;
 33
 34 return ((skb->nfmark & info->mask) == info->mark) ^ info->invert;
 35 }


该模块实现的功能相对简单,就是判断一下数据包的nfmark值是否与用户指定的相同。判断的时候要考虑mask以及取反的标记位。

     下面这条iptables规则就是实现了对所有标记不为0的数据包都执行ACCEPT动作:

iptables -A POSTROUTING -t mangle -m mark ! --mark 0 -j ACCEPT

假设skb->nfmark1,由于没有指定mask,所以默认值为0xFFFFFFFFULinfo->mark0,取反标记位被置位,info->invert1。因此,((skb->nfmark & info->mask) == info->mark) ^ info->invert的结果应该是(1&0xFFFFFFFFUL== 0)^1 = 0^1 = 1

该模块match函数的返回值为1,执行ACCEPT动作。

4. CONNMARK target的内核实现

该模块的实现在内核源码的xt_CONNMARK.c中。其核心动作模块的实现代码如下:


 35 static unsigned int
 36 target(struct sk_buff **pskb,
 37 const struct net_device *in,
 38 const struct net_device *out,
 39 unsigned int hooknum,
 40 const struct xt_target *target,
 41 const void *targinfo,
 42 void *userinfo)
 43 {
 44 const struct xt_connmark_target_info *markinfo = targinfo;
 45 u_int32_t diff;
 46 u_int32_t nfmark;
 47 u_int32_t newmark;
 48 u_int32_t ctinfo;
 49 u_int32_t *ctmark = nf_ct_get_mark(*pskb, &ctinfo);
 50
 51 if (ctmark) {
 52 switch(markinfo->mode) {
 53 case XT_CONNMARK_SET:
 54 newmark = (*ctmark & ~markinfo->mask) | markinfo->mark;
 55 if (newmark != *ctmark)
 56 *ctmark = newmark;
 57 break;
 58 case XT_CONNMARK_SAVE:
 59 newmark = (*ctmark & ~markinfo->mask) | ((*pskb)->nfmark & markinfo->mask);
 60 if (*ctmark != newmark)
 61 *ctmark = newmark;
 62 break;
 63 case XT_CONNMARK_RESTORE:
 64 nfmark = (*pskb)->nfmark;
 65 diff = (*ctmark ^ nfmark) & markinfo->mask;
 66 if (diff != 0)
 67 (*pskb)->nfmark = nfmark ^ diff;
 68 break;
 69 }
 70 }
 71
 72 return XT_CONTINUE;
 73 }


这段代码最开始先取出了数据包对应的链接跟踪中记录mark值的地址:


49 u_int32_t *ctmark = nf_ct_get_mark(*pskb, &ctinfo);


然后判断ctmark是否为NULL

51 if (ctmark) {


如果ctmark == NULL,说明链接跟踪中没有ct->mark这个字段,惟一可能的原因就是内核的配置文件中并没有对CONFIG_NF_CONNTRACK_MARK进行配置,也就是没有启用Conntrack Mark的功能。否则,就根据用户配置的动作进行相应的实现。

以下将分成三个部分介绍。

1)给链接跟踪设置标记(--set-mark

     实现代码如下:


 53 case XT_CONNMARK_SET:
 54 newmark = (*ctmark & ~markinfo->mask) | markinfo->mark;
 55 if (newmark != *ctmark)
 56 *ctmark = newmark;
 57 break;


     这里先按照markinfo->mask中所有被置位的bit,将*ctmark中对应的bit位清零,然后再与markinfo->mark进行按位或。这样就保证了mask中置位的bit位,一定为按照mark中的值重新设置。

     55~57行代码的实现和我们第2部分分析的67~68代码的实现相同。

2)保存标记值到链接跟踪(--save-mark

     实现代码如下:


 58 case XT_CONNMARK_SAVE:
 59 newmark = (*ctmark & ~markinfo->mask) | ((*pskb)->nfmark & markinfo->mask);
 60 if (*ctmark != newmark)
 61 *ctmark = newmark;
 62 break;


这部分代码中mask的功能和上面分析的相同。为了简单化分析起见,我们假设用户没有指定mask,默认值为0xFFFFFFFFUL。这样,59行的计算简化为:

     newmark = (*pskb)->nfmark

再加上后两行代码:


 60 if (*ctmark != newmark)
 61 *ctmark = newmark;


具体的功能就很明确了,将当前数据包记录的nfmark值记录到链接跟踪中的ct->mark中。

     那么,按理说如果数据包的流程走到这部分代码,应该就是数据包已经被打上标记了,也就是前面分析的MARK target--set-mark进行的处理。因此,在下在iptables规则的时候,通常--set-mark的规则在前,--save-mark的规则在后。这就保证了数据包先被打上标记,然后再将数据包上的标记记录到其对应的链接跟踪上。以下几条示例规则就是按照这个流程进行的:


iptables -A POSTROUTING -m mark --mark 0 -p tcp --dport 21 -t mangle -j MARK --set-mark 1

iptables -A POSTROUTING -m mark --mark 0 -p tcp --dport 80 -t mangle -j MARK --set-mark 2

iptables -A POSTROUTING -m mark --mark 0 -t mangle -p tcp -j MARK --set-mark 3

iptables -A POSTROUTING -t mangle -j CONNMARK --save-mark


3)重新设置数据包的标记值(--restore-mark

 实现代码如下:


 63 case XT_CONNMARK_RESTORE:
 64 nfmark = (*pskb)->nfmark;
 65 diff = (*ctmark ^ nfmark) & markinfo->mask;
 66 if (diff != 0)
 67 (*pskb)->nfmark = nfmark ^ diff;
 68 break;


这里我们同样默认用户没有设置mask,其初始值为0xFFFFFFFFUL。因此,64行代码可简化为:

     diff = *ctmark ^ nfmark

结合代码


 66 if (diff != 0)
 67 (*pskb)->nfmark = nfmark ^ diff;


我们可以看出这个功能就是将链接记录上的*ctmark保存到了(*pskb)->nfmark上。

     简单的说来,如果一个链接跟踪记录被打上了标记,那么通过该段代码,就确保了所有属于该链接的数据包也都被打上了该标记。这样,系统中后面的模块就可以根据数据报上的标记进一步的处理,譬如TC可以根据该标记继续带宽管理。


5.总结

     那么--restore-mark规则应该怎么与--set-mark--save-mark进行配合,完成给链接打标记,进而为连接上的所有数据包打标记呢?请看下面几条规则:

iptables -A POSTROUTING -t mangle -j CONNMARK --restore-mark

iptables -A POSTROUTING -t mangle -m mark ! --mark 0 -j ACCEPT

iptables -A POSTROUTING -m mark --mark 0 -p tcp --dport 21 -t mangle -j MARK --set-mark 1

iptables -A POSTROUTING -m mark --mark 0 -p tcp --dport 80 -t mangle -j MARK --set-mark 2

iptables -A POSTROUTING -m mark --mark 0 -t mangle -p tcp -j MARK --set-mark 3

iptables -A POSTROUTING -t mangle -j CONNMARK --save-mark


解释如下:

1)第1条规则就是完成了将链接跟踪上的标记记录到该连接上的每一个数据包中;

2)第2条规则判断数据包的标记,如果不为0,则直接ACCEPT。如果数据包上没有被打标记,则交由后面的规则进行匹配并打标记。这里为什么会出现经过了CONNMARK模块,数据包仍未被打标记呢?可以想到,如果一条链接的第1个数据包经过第1条规则处理之后,由于ct->mark0,所以其数据包的标记skb->nfmark应该仍旧为0,就需要进行后面规则的匹配。

3)第3~5条规则,则按照匹配选项对符合规则的数据包打上不同的标记。

4)第6条规则就是将数据包上的标记记录到链接跟踪上。这样,当属于该链接的下一个数据包走到第1条规则的时候,就会被打上标记,然后就会命中第2条规则,执行动作ACCEPT

     至此,内核模块CONNMARKMARKmatchtarget实现都已分析完毕。如有分析不妥或遗漏指出,请大家多多指正。


阅读(7697) | 评论(4) | 转发(8) |
给主人留下些什么吧!~~

Godbach2009-11-09 10:15:36

>>>因为我之前做的是用winpcap。这个只能捕获数据报的信息,但是原数据包还是会发到目的地,如果使用netfilter的话是不是可以把原数据包暂时锁住,然后再修改完成后再释放开?? Reply: 看我上面的那个回复,NF是可以通过注册hook函数的方式拦截数据包,并进行修改。关于这方面的实践,可以参看本博客转载的文章《深入Linux网络核心堆栈》,链接:http://blog.chinaunix.net/u/33048/showart_2078418.html。一共三篇文章,从实践到角度告诉你如何利用NF框架拦截数据包。一旦你拦截倒了数据包,如何修改,就看自己的需求了。

qhu0092009-11-08 05:45:46

因为我之前做的是用winpcap。这个只能捕获数据报的信息,但是原数据包还是会发到目的地,如果使用netfilter的话是不是可以把原数据包暂时锁住,然后再修改完成后再释放开??因为刚开始接触,所以还有很多疑惑,如果你方便的话,可以加QQ聊吗,我的是862697257

qhu0092009-11-08 05:42:27

你好,我是一个刚开始接触linux的人,因为项目的要求,我们老师要求我们在linux内核中修改每个从系统里面发出去的包。另外一台电脑要模拟一个路由器的工作状态,我在网上看了一些文章,大家说可以用netfilter解决路由器的模拟,但是我想问问,netfilter是不是可以把那个发出去的数据包接收到,那然后再进行修改呀??