python版爬虫 _chinaboywg-ChinaUnix博客

chinaboy小宝chinaboy007.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

chinaboywg

博客访问： 2898688
博文数量： 348
博客积分： 2907
博客等级：中校
技术积分： 2272
用户组：普通用户
注册时间： 2010-03-12 09:16

个人简介

专注 K8S研究

文章分类

全部博文（348）

elk（2）
docker（5）
error（0）
zabbix（21）
haproxy（2）
linux（11）
redis（2）
lvs（9）
squid（8）
nagios（4）
puppet（6）
html（1）
nginx（45）
apache（3）
mysql（65）
php（0）
python（114）

pycharm（1）

pip（1）

requests（1）

requests（0）

urllib（0）

logging（1）

flask（0）

lib（0）

pyqt4（14）

django（7）

beautifulsoup（11）

scrapy（3）

string（6）

pexpect（4）
shell（19）
linux（25）
other（4）
未分配的博文（2）

文章存档

2019年（22）

2018年（57）

2016年（2）

2015年（27）

2014年（33）

2013年（190）

2011年（3）

2010年（14）

我的朋友

最近访客

推荐博文

python版爬虫

发布时间：2013-09-01 23:58:42

python爬虫的三个版本： 1. 基于urllib, urllib2基于http请求响应的封装。有局限性，因为不能处理动态的脚本如js，一些操作无法实现。2. 内嵌webbrowser如pyqt的webkit,pamie, spynner(基于webkit)这种内嵌的方式类似于com调用，支持所有浏览器的操作，兼容性好，但不如urllib快捷。.........【阅读全文】

阅读(3519) | 评论(0) | 转发(1)

python 爬虫抓取心得分享

发布时间：2013-09-01 23:43:03

title:python 爬虫抓取心得分享0x1.urllib.quote('要编码的字符串')如果你要在url请求里面放入中文，对相应的中文进行编码的话，可以用:urllib.quote('要编码的字符串') query = urllib.quote(singername) url = 'http://music.baidu.com/search?key='+query response = urllib.urlopen(url) text = response.read(.........【阅读全文】

阅读(91716) | 评论(0) | 转发(1)

BeautifulSoup嵌套使用fina_all的例子

发布时间：2013-08-20 11:50:35

#!/usr/bin/env python#coding:utf-8from bs4 import BeautifulSoup import urllibimport re """结构分析 &nb.........【阅读全文】

阅读(8066) | 评论(1) | 转发(0)

BeautifulSoup使用总结

发布时间：2013-07-31 11:34:54

BeautifulSoup是Python的一个第三方库，可用于帮助解析html/XML等内容，以抓取特定的网页信息。目前最新的是v4版本，这里主要总结一下我使用的v3版本解析html的一些常用方法。1.初始化导入模块#!/usr/bin/env pythonfrom BeautifulSoup import BeautifulSoup .........【阅读全文】

阅读(1535) | 评论(0) | 转发(0)

用python编写网络爬虫

发布时间：2013-07-08 13:41:37

......【阅读全文】

阅读(1552) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

urgel_babay2016-05-11 11:05

转载了！仅作学习之用，谢谢

回复　　| 　举报

lkyuang2014-09-18 10:48

Echo "/usr/local/agent/sbin/zabbix_agentd -c /usr/local/agent/etc/zabbix_agentd.conf" >>/etc/tc.local

这个地方的开头 "Echo" 首字母不应该大写，末尾的“tc.local”是不是打错了啊 “rc.local”

回复　　| 　举报