发布时间：2013-07-24 12:48:04

关键字：scrapy 入门教程 爬虫 Spider作者：http://www.cnblogs.com/txw1958/出处：http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html  在这篇入门教程中，我们假定你已经安装了Scrapy。如果你还没有安装，那么请参考安装指南。我们将使用开放目录项目(dmoz)作为.........【阅读全文】

发布时间：2013-07-24 12:47:57

一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from data mining to monitoring and automated testing.官方主页： http://www.scrapy.org/.........【阅读全文】

发布时间：2013-07-24 12:47:51

网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。一般的爬虫从一部分start url开始，按照一定的策略开始爬取，爬取到的新的url在放入到爬取队列之中，然后进行新一轮的爬取，直到抓取完毕为止。我们看.........【阅读全文】

发布时间：2013-07-24 12:47:24

......【阅读全文】

发布时间：2013-07-24 12:47:14

用urllib2 和BeautifulSoup抓取分析网页以抓取豆瓣电影Top250的排行信息为例，本以为还要做个爬虫，后来发现那排行有文本列表显示的选项，直接把Top250个电影信息在一个页面显示出来了，所以只要用urllib2下载页面，再用BeautifulSoup分析就行了。 Beautiful Soup第三方库的下载地.........【阅读全文】