Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1527909
  • 博文数量: 2163
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 21758
  • 用 户 组: 普通用户
  • 注册时间: 2020-11-26 14:30
个人简介

更多python、Linux、网络安全学习内容,可移步:www.oldboyedu.com或关注\"老男孩Linux\"公众号

文章分类

全部博文(2163)

文章存档

2024年(10)

2023年(643)

2022年(693)

2021年(734)

2020年(80)

我的朋友

分类: Python/Ruby

2022-12-20 14:08:51

  Python语言的应用场景可谓是十分全面,比如后端开发、网络爬虫、人工智能、数据分析,之所以应用场景这么广泛,其原因在于丰富的第三方库,那么适用于网络爬虫的第三方库有哪些呢?以下是详细的内容:

  网络:

  通用:

  urllib:网络库(stdlib)

  requests:网络库

  grab:网络库(基于pycurl)

  pycurl:网络库(绑定libcurl)

  urllib3:Python HTTP库,安全连接池、支持文件post、可用性高

  httplib2:网络库

  RoboBrowser:一个简单的、极具Python风格的Python库,无需独立的浏览器即可浏览网页

  MechanicalSoup:一个与网站自动交互Python库

  mechanize:有状态、可编程的Web浏览库

  socket:底层网络接口(stdlib)

  异步:

  treq:类似于requests的API(基于twisted)

  aiohttp:asyncio的HTTP客户端/服务器(PEP-3156)

  网络爬虫框架:

  功能齐全的爬虫:

  grab:网络爬虫框架(基于pycurl/multicur)

  scrapy:网络爬虫框架(基于twisted),不支持Python3

  pyspider:一个强大的爬虫系统

  其他:

  portia:基于Scrapy的可视化爬虫

  restkit:Python的HTTP资源工具包,可以让你轻松地访问HTTP资源,并围绕它建立的对象

阅读(436) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~