开源网络爬虫大比拼

Nutch 和 Lucene 的对比 
Lucene 不是完整的应用程序，而是一个用于实现全文检索的软件库。
Nutch 是一个应用程序，可以以 Lucene 为基础实现搜索引擎应用。

现在很多论坛、Wiki都采用Lucence作为全站搜索引擎，比如jForum和SnipSnap。

Nutch 和 GRUB 的对比
是一个分布式搜索引擎。用户只能得到客户端工具(只有客户端是开源的)，其目的在于利用用户的资源建立集中式的搜索引擎。
Nutch 是开源的，可以建立自己内部网的搜索引擎，也可以针对整个网络建立搜索引擎。自由(Free)而免费(Free)。

Nutch 和 Larbin的对比
"Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。Nutch 则还可以存储到数据库并建立索引。

Larbin以法国人开发的，采用C++编写，有完整的英文使用文档。

Nutch的早期版本不支持中文搜索，不过经过多次改进，最新版本对中文搜索的支持已经做得很好了。