Chinaunix首页 | 论坛 | 博客
  • 博客访问: 188586
  • 博文数量: 86
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 876
  • 用 户 组: 普通用户
  • 注册时间: 2018-03-27 14:41
个人简介

宁为玉碎,不为瓦全

文章分类
文章存档

2024年(30)

2023年(28)

2022年(17)

2021年(10)

2019年(1)

我的朋友

分类: Python/Ruby

2022-11-24 16:26:38

上海迪士尼乐园将于11月25日起全面恢复运营,11月25日的营业时间为8:30~20:30。同时,玩具总动员酒店也将恢复运营,客房预订将于即日起重新开放,在线旅游平台携程数据显示,携程平台瞬时访问量暴涨5倍,上海迪士尼全面恢复运营的消息带动上海城市搜索热度上升30%。此前的11月17日,迪士尼小镇、星愿公园和上海迪士尼乐园酒店已恢复运营。截至发稿,来自携程的数据显示,{BANNED}中国第一阶段恢复至今,上海迪士尼相关搜索热度增长130%。
作为标志性景区,上海迪士尼乐园重新开放为旅游业再次带来积极信号,那么开放后的访问量暴涨和疫情之前对比是有所增加加上减少呢?这里我们可以通过python大数据来进行分析对比。可以利用python爬取携程迪士尼以往的访问数据量。因为这会使用到python爬虫技术,所以在获取数据的过程中会遇到网站的反爬机制,这里我们可以通过 通过爬虫程序+爬虫代理进行大数据采集,其中爬虫脚本使用Python常用的requests+BeautifulSoup+selenium完成。爬虫代理在网上找到一家提供隧道转发技术的产品,这种代理产品自带IP池随机切换,直接配置代理信息即可使用方便快捷,参考对方提供的demo完全自动化使用简单粗暴的方式逐页爬行。实现过程如下:
Plain Text
复制代码
#! -*- encoding:utf-8 -*-

import requests
import random

# 要访问的目标页面
targetUrl = ""

# 要访问的目标HTTPS页面
# targetUrl = ""

# 代理服务器(产品官网 )
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}

# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}


# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}



resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code
print resp.text
根据获取数据分析对比,迪士尼的访问量相对疫情前还是下降很多,但是没有办法,疫情影响这么大,能逐渐放开已经是好消息了。而且主题乐园对周边消费带动作用明显。去哪儿此前数据显示,今年以来,上海迪士尼、北京环球影城、广州长隆景区选择多住一晚的客人数量明显增加,因多住一晚产生的房费,外加餐饮、交通,间接拉动人均消费增加上千元,这也是带动经济复苏的一种方式。
阅读(271) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~