2011年(109)
分类: 系统运维
2011-05-28 14:12:37
采集程序的思路很简单,无非就是先打一个页面,一般都是列表页,取得里面全部链接的地址,然后打开逐条链接,寻找我们感兴趣的东西,如果找到,就把它入库或别的处理。下面以一个很简单的例子来说说。
首先确定一个采集页,一般就是列表面了。这里目标是:。这 是一个列表页,我们的目的就是采集这个列表页上全部的文章。有列表页了,第一步先打开它,把它的内容纳入到我们的程序中来。一般用fopen或是 file_get_contents这两个函数,我们这里用fopen作例子。怎么打开它呢? $source=fopen("[url=",] /article/11/index.htm",'r'[/url]);实际上已经把内容纳入到我们的程序中来了。注意得到的$source是一个资源, 不是可处理的文本,所以再用函数fread将内容读到一个变量中,这次就是真正的可编辑的文本了。例子:
$content=fread($source,99999);后面的数字表示字节数,填个大的就行。你用file_put_contents 将$content写入到一个文本文件,可以看出里面的内容其实就是网页的源码。得到了网页的源码,我们就要分析里面的文章链接地址,这里要用到正则表达 式了,[推荐正则表达式教程()]。通过查看源代码,我们可以看到里面文章的链接地址全是这个样子