Chinaunix首页 | 论坛 | 博客
  • 博客访问: 169253
  • 博文数量: 28
  • 博客积分: 536
  • 博客等级: 中士
  • 技术积分: 285
  • 用 户 组: 普通用户
  • 注册时间: 2011-11-10 21:00
文章分类

全部博文(28)

文章存档

2013年(2)

2012年(22)

2011年(4)

分类: Python/Ruby

2012-11-24 23:10:09

要下载几十个网页到本地,一个类似目录的网页上有下一级页面的链接,只需将下一级页面的相对路径提取出来,和目录页的路径组合成一个绝对路径,然后获取内容并保存到电脑即可。

点击(此处)折叠或打开

  1. #!/usr/bin/perl

  2. use warnings;
  3. use strict;
  4. use LWP::Simple;
  5. use LWP::UserAgent;

  6. my $url='http://****/DOCUMENTS/Inst_Notes/NR9.6/1350OMS-HPUX_9.6.1.0.9AD4/';

  7. #get html
  8. my $ua = LWP::UserAgent->new();
  9. my $rv = $ua->get($url);
  10. #print $rv->content;

  11. #parse the subpath
  12. my @sublink=($rv->content =~ m/href="(.*)"/g);

  13. #make the full path,get the html and save!
  14. my $eachlink;
  15. my $each_FullPath;
  16. foreach $eachlink(@sublink) {
  17. $each_FullPath="$url$eachlink";
  18. my $feedback=getstore($each_FullPath,"E:\\Tech\\TMN\\NR9.6\\instHtml\\$eachlink");
  19. }

阅读(2388) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~