python爬取知乎那些神评论数据

对于很多年轻人来说，知乎也是一个必不可少的社交软件，知乎上面有很多的话题大家都愿意参与讨论，也有很多的神评论。有些问题下面的回答数竟有上万条，实在太多了忍不住了，好想知道大家都评论了些什么。所以这种情况下就可以发挥下我们的爬虫技术了。

首先需要明确需求，爬什么数据？这里我们可以直接爬取知乎首页上推荐的评论比较多的问题，包括该问题下评论的用户的归属地、用户的昵称、用户的性别、用户回答的赞同数、用户回答的评论数。爬虫我们之前写过很多遍了，思路都差不多，而且知乎网站对爬虫还是很友好的反爬机制并不是很严。这里我只是简单的用到代理IP和随机ua，那些上万评论数的问题很快就爬取完了。全部源码献上，关于代码的解释，可以搜索亿牛云详细了解，这里就不再赘述了，如果还有问题，可以私信或者评论问我。

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = ""

    # 要访问的目标HTTPS页面
    # targetUrl = ""

    # 代理服务器(产品官网 )
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

爬取结果简单的进行了整理，因为问题的太多，爬取的数据也比较多，所以整理好后下次分享给大家参考。爬虫学习就是要多实践，爬取各种有难度的网站去解决更多反爬机制，这样才能让自己的爬虫技术有提升。