寻找严肃、沉默和专注的力量。
发布时间:2013-06-25 17:26:34
1. larbin简介(百度百科) larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人Sébastien Ailleret独立开发,用c++语言实现。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。 Larbin只是一个爬虫,也就是说larbin只抓取网页,至于如何parse的事情则由用户自己完.........【阅读全文】
发布时间:2013-06-25 17:24:45
(1)运行larbin./larbin -c conf_file选项-c是指定使用的配置文件,不指定时默认使用的是larbin.conf当larbin运行起来后进行下面的操作.(2)在larbin.conf的第12行是httpPort 8081,由于这个端口和我机器上的其他应用冲突了,所以我改成了8099.这样你在浏览器中输入localhost:8099,就会看到统计信息.(3)在.........【阅读全文】
发布时间:2013-06-25 17:20:23
先说下自己遇到的问题吧:1. configure时提示没有makedepend程序。因为自己使用的是centos,所用使用yum install 来安装makedepend程序。安装过程中centos提示没有makedepend包,yum install makedepend可以安装)2. 安装+配置完成larbin后,居然没有爬取到结果。在网上查了下,也没有答案。开始怀疑是公司网络有问题,.........【阅读全文】