Chinaunix首页 | 论坛 | 博客
  • 博客访问: 140509
  • 博文数量: 15
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 166
  • 用 户 组: 普通用户
  • 注册时间: 2018-03-27 14:41
文章分类
文章存档

2022年(4)

2021年(10)

2019年(1)

我的朋友

分类: Python/Ruby

2022-04-11 16:41:04

今天上午,A股大跌又上了热搜,创业板跌3%以上,上证指数也逐渐触碰-2%的地方,其他新能源、半导体、军工等基金,都是直接下跌4%以上。很多网友表示不用看也知道我的基金绿了;还有网友表示,没了,没了,全没了一个月又白干了 。关于A股大跌应该和中美10年期国债利差出现倒挂有关系吧。这些经济领域小编也不是很懂,但是我们是学python爬虫的啊,我可以获取股票数据跟大家分析分析。

今天我们就通过python抓取证券之星上当天所有A股数据,爬虫程序主要分为三个部分:网页源码的获取、所需内容的提取、所得结果的整理。我们都知道抓一页的源码容易,但是在网站内大量抓取网页源码却会经常遭到服务器拦截,顿时感觉世界充满了恶意,于是在获取数据的过程中我们需要加上反爬措施。1.伪装流浪器报头,很多网站都会识别User-Agent这个参数,所以请求头最好带上。2.使用代理IP,获取数据的时候目标网站会记录你IP,所以只有不停的更换高匿代理IP才能完美的应对。

关于简单的关于获取股票信息的代码如下:代码里面刚好加了代理IP,有需要的可以了解下。

 #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = ""

    # 要访问的目标HTTPS页面
    # targetUrl = ""

    # 代理服务器(产品官网 )
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

关于股票数据的获取就分享到这里,对爬虫感兴趣的小伙伴可以关注大家交流下,对反爬策略有研究的小伙伴也可以交流下经验。

阅读(94) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~