Chinaunix首页 | 论坛 | 博客

四方

首页　| 　博文目录　| 　关于我

xpjjy

  • 博客访问： 550687
  • 博文数量： 136
  • 博客积分： 4010
  • 博客等级： 上校
  • 技术积分： 1343
  • 用 户 组： 普通用户
  • 注册时间： 2008-08-19 23:18
文章分类

全部博文（136）

文章存档

2011年（28）

2009年（60）

2008年（48）

我的朋友
最近访客
推荐博文
相关博文
050529 011245 fetch okay, but can't parse myfile,

分类： Java

2009-01-09 15:19:06

NUTCH默认下载的文件大小是限制的，最大为65536Bytes,为了使nutch支持大文件的下载（viaHTTP），修改nutch-site.xml文件并增加以下条目：
http.content.limit 150000
如果你不想限制nutch下载文件大小的限制，把http.content.limit修改如下
http.content.limit -1

阅读(402) | 评论(0) | 转发(0) |
0

上一篇：怎样使nutch从一个失败的process开始

下一篇：nutch为什么不能爬行到相对网址？一些页面没有被编入索引，但是我的正则表达式和其他文件都是正确的？

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6