Chinaunix首页 | 论坛 | 博客

Leungffy XUExueliangfei.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

xueliangfei

  • 博客访问： 2321004
  • 博文数量： 252
  • 博客积分： 5472
  • 博客等级： 大校
  • 技术积分： 3107
  • 用 户 组： 普通用户
  • 注册时间： 2011-09-17 18:39
文章分类

全部博文（252）

文章存档

2012年（96）

2011年（156）

我的朋友
最近访客
推荐博文
相关博文
HTMLParse---Filter

分类： Java

2012-03-31 11:28:26

HTMLParser遍历了网页的内容以后，以树（森林）结构保存了结果。HTMLParser访问结果内容的方法有两种。使用Filter和使用Visitor。

（一）Filter类
顾名思义，Filter就是对于结果进行过滤，取得需要的内容。HTMLParser在org.htmlparser.filters包之内一共定义了16个不同的Filter，也可以分为几类。

TagNameFilter
HasAttributeFilter
HasChildFilter
HasParentFilter
HasSiblingFilter
IsEqualFilter

AndFilter
NotFilter
OrFilter
XorFilter

NodeClassFilter
StringFilter
LinkStringFilter
LinkRegexFilter
RegexFilter
CssSelectorNodeFilter

所有的Filter类都实现了org.htmlparser.NodeFilter接口。这个接口只有一个主要函数：
boolean accept (Node node);
各个子类分别实现这个函数，用于判断输入的Node是否符合这个Filter的过滤条件，如果符合，返回true，否则返回false。

，自己添加import部分）

  1. public static void main(String[] args) {
  2.         
  3.         try{
  4.             Parser parser = new Parser( (HttpURLConnection) (new URL("")).openConnection() );
  5.         
  6.             // 这里是控制测试的部分，后面的例子修改的就是这个地方。
  7.             NodeFilter filter = new TagNameFilter ("DIV");
  8.             NodeList nodes = parser.extractAllNodesThatMatch(filter);
  9.             
  10.             if(nodes!=null) {
  11.                 for (int i = 0; i < nodes.size(); i++) {
  12.                     Node textnode = (Node) nodes.elementAt(i);
  13.                     
  14.                     message("getText:"+textnode.getText());
  15.                     message("=================================================");
  16.                 }
  17.             }
  18.         }
  19.         catch( Exception e ) {
  20.             e.printStackTrace();
  21.         }
  22.     }

输出结果：

  1. getText:div id="top_main"
  2. =================================================
  3. getText:div id="logoindex"
  4. =================================================

可以看出文件中两个Div节点都被取出了。下面可以针对这两个DIV节点进行操作

2.2 HasChildFilter
下面让我们看看HasChildFilter。刚刚看到这个Filter的时候，我想当然地认为这个Filter返回的是有Child的Tag。直接初始化了一个
NodeFilter filter = new HasChildFilter();
结果调用NodeList nodes = parser.extractAllNodesThatMatch(filter);的时候HasChildFilter内部直接发生NullPointerException。
实际上HasChildFilter是返回有符合条件的子节点的节点，需要另外一个Filter作为过滤子节点的参数。缺省的构造函数虽然可以初始化，但是由于子节点的Filter是null，所以使用的时候发生了Exception。从这点来看，HTMLParser的代码还有很多可以优化的的地方。呵呵。

修改代码：

  1. NodeFilter innerFilter = new TagNameFilter ("DIV");
  2. NodeFilter filter = new HasChildFilter(innerFilter);
  3. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:body
  2. =================================================
  3. getText:div id="top_main"
  4. =================================================

可以看到，输出的是两个有DIV子Tag的Tag节点。（body有子节点DIV "top_main"，"top_main"有子节点"logoindex"。

注意HasChildFilter还有一个构造函数：
public HasChildFilter (NodeFilter filter, boolean recursive)
如果recursive是false，则只对第一级子节点进行过滤。比如前面的例子，body和top_main都是在第一级的子节点里就有DIV节点，所以匹配上了。如果我们用下面的方法调用：
NodeFilter filter = new HasChildFilter( innerFilter, true );
输出结果：

  1. getText:html xmlns=""
  2. =================================================
  3. getText:body
  4. =================================================
  5. getText:div id="top_main"
  6. =================================================

可以看到输出结果中多了一个html xmlns=""，这个是整个HTML页面的节点（根节点），虽然这个节点下直接没有DIV节点，但是它的子节点body下面有DIV节点，所以它也被匹配上了。

2.3 HasAttributeFilter
HasAttributeFilter有3个构造函数：

  1. public HasAttributeFilter ();
  2. public HasAttributeFilter (String attribute);
  3. public HasAttributeFilter (String attribute, String value);

这个Filter可以匹配出包含制定名字的属性，或者制定属性为指定值的节点。还是用例子说明比较容易。

调用方法1:

  1. NodeFilter filter = new HasAttributeFilter();
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

什么也没有输出。

调用方法2:

  1. NodeFilter filter = new HasAttributeFilter( "id" );
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);


输出结果：

  1. getText:div id="top_main"
  2. =================================================
  3. getText:div id="logoindex"
  4. =================================================


调用方法3:

  1. NodeFilter filter = new HasAttributeFilter( "id", "logoindex" );
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:div id="logoindex"
  2. =================================================


2.4 其他判断列Filter
HasParentFilter和HasSiblingFilter的功能与HasChildFilter类似，大家自己试一下就应该了解了。

IsEqualFilter的构造函数参数是一个Node：
public IsEqualFilter (Node node) {
    mNode = node;
}
accept函数也很简单：
public boolean accept (Node node)    {
    return (mNode == node);
}
不需要过多说明了。


这个Filter就可以针对不同Node类型进行过滤。
测试代码：

  1. NodeFilter filter = new NodeClassFilter(RemarkNode.class);
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:这是注释
  2. =================================================

可以看到只有RemarkNode（注释）被输出了。

4.2 StringFilter
这个Filter用于过滤显示字符串中包含制定内容的Tag。注意是可显示的字符串，不可显示的字符串中的内容（例如注释，链接等等）不会被显示。
修改一下例子代码：

  1. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "">
  2. <head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-title-www.baizeju.com</title></head>
  3. <html xmlns="">
  4. <body >
  5. <div id="top_main">
  6.     <div id="logoindex">
  7.         
  8.         白泽居-字符串1-www.baizeju.com
  9. <a href="http://">白泽居-链接文本-www.baizeju.com</a>
  10.     </div>
  11.     白泽居-字符串2-www.baizeju.com
  12. </div>
  13. </body>
  14. </html>


测试代码：

  1. NodeFilter filter = new StringFilter("");
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:白泽居-title-
  2. =================================================
  3. getText:
  4. 白泽居-字符串1-
  6. =================================================
  7. getText:白泽居-链接文本-
  8. =================================================
  9. getText:
  10. 白泽居-字符串2-
  12. =================================================

可以看到包含title，两个内容字符串和链接的文本字符串的Tag都被输出了，但是注释和链接Tag本身没有输出。

4.3 LinkStringFilter
这个Filter用于判断链接中是否包含某个特定的字符串，可以用来过滤出指向某个特定网站的链接。
测试代码：

  1. NodeFilter filter = new LinkStringFilter("");
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:a href="http://"
  2. =================================================


4.4 其他几个Filter
其他几个Filter也是根据字符串对不同的域进行判断，与前面这些的区别主要就是支持正则表达式。这个不在本文的讨论范围以内，大家可以自己实验一下。

前面介绍的都是简单的Filter，只能针对某种单一类型的条件进行过滤。HTMLParser支持对于简单类型的Filter进行组合，从而实现复杂的条件。原理和一般编程语言的逻辑运算是一样的。
3.1 AndFilter
AndFilter可以把两种Filter进行组合，只有同时满足条件的Node才会被过滤。
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new AndFilter(filterID, filterChild);

输出结果：

  1. getText:div id="logoindex"
  2. =================================================

3.2 OrFilter
把前面的AndFilter换成OrFilter
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new OrFilter(filterID, filterChild);

输出结果：

  1. getText:div id="top_main"
  2. =================================================
  3. getText:div id="logoindex"
  4. =================================================

3.3 NotFilter
把前面的AndFilter换成NotFilter
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new NotFilter(new OrFilter(filterID, filterChild));
输出结果：

  1. getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" ""
  2. =================================================
  3. getText:
  5. =================================================
  6. getText:head
  7. =================================================
  8. getText:meta http-equiv="Content-Type" content="text/html; charset=gb2312"
  9. =================================================
  10. getText:title
  11. =================================================
  12. getText:白泽居-
  13. =================================================
  14. getText:/title
  15. =================================================
  16. getText:/head
  17. =================================================
  18. getText:
  20. =================================================
  21. getText:html xmlns=""
  22. =================================================
  23. getText:
  25. =================================================
  26. getText:body
  27. =================================================
  28. getText:
  30. =================================================
  31. getText:
  33. =================================================
  34. getText:
  36. =================================================
  37. getText:这是注释
  38. =================================================
  39. getText:
  40. 白泽居-
  42. =================================================
  43. getText:a href="http://"
  44. =================================================
  45. getText:白泽居-
  46. =================================================
  47. getText:/a
  48. =================================================
  49. getText:
  51. =================================================
  52. getText:/div
  53. =================================================
  54. getText:
  55. 白泽居-
  57. =================================================
  58. getText:/div
  59. =================================================
  60. getText:
  62. =================================================
  63. getText:/body
  64. =================================================
  65. getText:
  67. =================================================
  68. getText:/html
  69. =================================================
  70. getText:
  72. =================================================

除了前面3.2中输出的几个Tag，其余的Tag都在这里了。


3.4 XorFilter
把前面的AndFilter换成NotFilter
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new XorFilter(filterID, filterChild);

输出结果：

  1. getText:div id="top_main"
  2. =================================================



4.1 NodeClassFilter
这个Filter用于判断节点类型是否是某个特定的Node类型。
2.1 TagNameFilter
TabNameFilter是最容易理解的一个Filter，根据Tag的名字进行过滤。


阅读(3272) | 评论(0) | 转发(0) |
0

上一篇：extends implements

下一篇：getFetchSize()

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6