Chinaunix首页 | 论坛 | 博客
  • 博客访问: 140521
  • 博文数量: 15
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 166
  • 用 户 组: 普通用户
  • 注册时间: 2018-03-27 14:41
文章分类
文章存档

2022年(4)

2021年(10)

2019年(1)

我的朋友

分类: Python/Ruby

2022-03-04 16:25:47

感动你我,感动中国。茫茫人海,总有人会给世界带来长叹、带来愤慨,也总有人让世界温暖着、美好着。感动的力量,让我们面对茫茫人海仍然相信,仍然热爱,对自己,对生活,对未来。2022年感动中国年度人物颁奖典礼落下了帷幕,《感动中国》的意义就是慢慢的让我们知道,感动是我们前行的强大力量。感动中国已经举行了很多届了,这中间有太多的人物值得我们去学习,去尊重,去崇拜。

《感动中国》每次的进行都是受到很多的人关注,很多人在了解了这些伟大事迹后都会在网络上发表一些自己的看法,大多都是发表一些积极的向上的言论,让更多的人关注这样的事迹。今天我们就通过python大数据来了解下关于《感动中国》的各种文章,这里我们主要通过百度搜索关键词来获取数据。数据的获取不是特别复杂,像百度这样的网站反爬也不是特别严厉,但是数据量大了也会触发封ip这样的机制,所以我们在访问的过程中加上代理。以下是代理在爬虫程序中的简单实现部分,示例如下:

 #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = ""

    # 要访问的目标HTTPS页面
    # targetUrl = ""

    # 代理服务器(产品官网 )
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

获取到的数据需要进行整理后才能给大家看,简单了看下,很多的文章都写的很真诚,正能量,从中也看到了榜样带大家的力量。如果有兴趣的朋友可以去观看下《感动中国》也写写感想。做爬虫的小伙伴也可以借由这个主题试驾下爬虫能力,获取些好的文章分享给大家。

阅读(171) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~