宁为玉碎,不为瓦全
分类: Python/Ruby
2021-08-19 16:37:36
大家好,我是爱分享的小爬虫,小编自从学爬虫后关注了很多的公众号。然后自己也弄了个来玩,经营一小段时间,也会经常分享些很浅薄的东西。但是人气不是很高,还需要好好的经营。今天这期文章小编想分析一波读者的留言情况,不仅可以对公众号的各位铁粉一目了然,还可以通过分析的结果对公众号的经营进行更好的规划。如读者留言的内容通常是内容是什么?关注的点是什么等等这些。
本文数据来源于公众号,这里主要分享下源码示例如下:
#! -*- encoding:utf-8 -*- import base64 import sys import random PY3 = sys.version_info[0] >= 3 def base64ify(bytes_or_str): if PY3 and isinstance(bytes_or_str, str): input_bytes = bytes_or_str.encode('utf8') else: input_bytes = bytes_or_str output_bytes = base64.urlsafe_b64encode(input_bytes) if PY3: return output_bytes.decode('ascii') else: return output_bytes class ProxyMiddleware(object): def process_request(self, request, spider): # 代理服务器(产品官网 ) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理验证信息 proxyUser = "16NJFAEO" proxyPass = "530651" request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort) # 添加验证头 encoded_user_pass = base64ify(proxyUser + ":" + proxyPass) request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass # 设置IP切换头(根据需求) tunnel = random.randint(1,10000) request.headers['Proxy-Tunnel'] = str(tunnel)