阿弥陀佛
发布时间：2013-09-30 10:29:13
由Crawl 得到fetch list，fetch list 里面全部都是链接，nutch采用了生产者-消费者 模型，一个生产者，多个消费者QueueFeeder 读取 fetch list 里面的元素，然后将这些元素放入到多个FetchItemQueue里面去,每个主机对应一个队列，当队列中的元素少的时候，QueueFeeder再将往队列中放。然后由多个FetcherThread线程抓.........【阅读全文】
发布时间：2013-09-29 18:32:03
刚运行爬虫命令的时候报错。报错：stopping at depth 0 no more urls to fetch解决方法：修改的配置文件没有同步到其他的分布式nutch节点上。nutch-site.xml如下......【阅读全文】
