Chinaunix首页 | 论坛 | 博客
  • 博客访问: 468018
  • 博文数量: 118
  • 博客积分: 4015
  • 博客等级: 上校
  • 技术积分: 1233
  • 用 户 组: 普通用户
  • 注册时间: 2010-11-24 22:11
文章分类

全部博文(118)

文章存档

2013年(5)

2011年(61)

2010年(52)

分类:

2010-12-03 16:07:31

需求:从某个站点下载一组连续的网页,用wget下载,perl完成
源代码如下:
#!/usr/bin/perl -w
use strict;
my $pageno = 0;
my $cmd = "";
for($pageno = 1; $pageno < 210; $pageno ++){
    $cmd = "$pageno&xxxxx";
    system("wget -O $pageno.html \'$cmd\'");
}
注意的地方:动态页面通过Get方式在链接上传参数,?之后的就是参数,在wget的URL上,应该把
整个地址用单引号包起来,不然的话 wget 读到问号就停住了。。。

运行perl
考虑到文件较多,决定将下载放到后台,命令如下
>(nohup) perl htmlfetcher.pl 2>/dev/null &

>ps -e#查看进程

>kill pid #杀进程

阅读(919) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~