Chinaunix首页 | 论坛 | 博客

劳工的天空bailiang.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

bailiangcn

  • 博客访问： 1730289
  • 博文数量： 410
  • 博客积分： 9563
  • 博客等级： 中将
  • 技术积分： 4517
  • 用 户 组： 普通用户
  • 注册时间： 2010-07-03 19:59
个人简介

文章分类

全部博文（410）

文章存档

2017年（6）

2016年（1）

2015年（3）

2014年（4）

2013年（32）

2012年（45）

2011年（179）

2010年（140）

我的朋友
最近访客
推荐博文
相关博文
python抓取天气预报的三种方法总结

分类： Python/Ruby

2011-02-01 09:54:30

最近需要通过网页抓取天气数据，对三种采集方法进行了对比
1、采集xml数据
  1. def getWeather0():
  2.     '''
  3.     从 取得天气数据(xml格式)
  4.     直接保存为xml格式
  5.     来源格式说明:
  6.     String(0) 到 String(4)：省份0，城市1，城市代码2，城市图片名称3，最后更新时间4。
  7.     String(5) 到 String(11)：当天的 气温5，概况6，风向和风力7，天气趋势开始图片
  8.         名称(以下称：图标一)8，天气趋势结束图片名称(以下称：图标二)9，现在的天
  9.         气实况10，天气和生活指数11。
  10.     String(12) 到 String(16)：第二天的 气温12，概况13，风向和风力14，
  11.             图标一15，图标二16。
  12.     String(17) 到 String(21)：第三天的 气温17，概况18，风向和风力19，
  13.             图标一20，图标二21。
  14.     String(22) 被查询的城市或地区的介绍
  15.     输出格式说明:(参见listToxml()输入要求)
  16.     '''
  17.     #相应参数:如果网址参数发生变化, 修改以下部分
  18.     ############################################
  19.     ID = ''
  20.     URL = ''.join(("",
  21.             "WebServices/Weatherwebservice.asmx/",
  22.             "getWeatherbyCityName?theCityName=",
  23.              ID))
  24.     FILENAME = "template/wea0.xml"
  25.     SOURCE = "0"
  26.     ############################################
  27.     try:
  28.         # 获取网页源文件
  29.         sock = urllib.urlopen(URL)
  30.         strxml = sock.read()
  31.         dom=xml.dom.minidom.parseString(strxml)
  32.         root=dom.documentElement
  33.         #验证xml的第二个string元素, 如果是表示数据正常
  34.         strlist=root.getElementsByTagName("string")
  35.         if strlist[1].hasChildNodes():
  36.             areastr=strlist[1].firstChild.data
  37.         else:
  38.             log('weather0获取xml文件失败')
  39.             log(strxml)
  40.             return False
  41.         if areastr== u'城市名称':
  42.             #生成一个包含所有天气字符串的列表
  43.             weatherlist = []
  44.             for eachstr in strlist:
  45.                 weatherlist.append(getText(eachstr))
  46.             resultlist = [u'0', weatherlist[4].replace("-", "/"),
  47.                     weatherlist[6], weatherlist[5], weatherlist[7],
  48.                     weatherlist[8], weatherlist[13],weatherlist[12],
  49.                     weatherlist[15],weatherlist[18],weatherlist[17],
  50.                     weatherlist[20]]
  51.             listToxml(resultlist, "template/wea0.xml")
  52.             log('weather0获取天气信息成功', 'logs/running.log')
  53.         else:
  54.             log('weather0获取xml文件失败')
  55.             log(strxml)
  56.             log('weather0获取xml文件失败', 'logs/running.log')
  57.             return False
  58.     except Exception, ex:
  59.         #如果错误, 记入日志
  60.         log('严重错误:weather0获取xml文件失败')
  61.         errlog('getWeather0', ex, sys.exc_info())
  62.         return False
  63.     return True
2、通过正则表达式抓取网页
  1. def getWeather2():
  2.     '''
  3.         从qq.ip138.com 取得天气数据(html格式), 输出为xml格式
  4.     '''
  5.     #相应参数:如果网址参数发生变化, 修改以下部分
  6.     ############################################

  8.     URL = "***.htm"

  10.     ############################################

  12.     reDay = re.compile(r'(?<=日期).*星期.+?(?=)',
  13.             re.I|re.S|re.U)
  14.     reWeather = re.compile(r'(?<=align\="center">天气).+?(?=,
  15.             re.I|re.S|re.U)
  16.     reTemperature = re.compile(r'(?<=align\="center">气温).+?(?=,
  17.             re.I|re.S|re.U)
  18.     reWind = re.compile(r'(?<=align\="center">风向).+?(?=,
  19.             re.I|re.S|re.U)
  20.     rePic = reWeather
  21.     reEachDay = re.compile(r'(\d{4}-\d{1,2}-\d{1,2})',re.I|re.S|re.U)
  22.     
  23.     weadata = []
  24.     for i in range(12):
  25.         weadata.append(u'')
  26.     try:
  27.         #获取网页源文件
  28.         sock = urllib.urlopen(URL)
  29.         strhtml = sock.read()
  30.         strhtml = unicode(strhtml, 'gb2312','ignore').encode('utf-8','ignore')

  32.         # 正则表达式取得各段
  33.         dayPara = re.findall(reDay, strhtml)
  34.         weatherPara = re.findall(reWeather, strhtml)
  35.         temperaturePara = re.findall(reTemperature, strhtml)
  36.         windPara = re.findall(reWind, strhtml)
  37.         picPara = re.findall(rePic, strhtml)
  38.         #获取日期
  39.         theDays= re.findall(reEachDay, dayPara[0])
  40.         firstDay = datetime.datetime.strptime(theDays[1],'%Y-%m-%d')
  41.         nextDay = firstDay + datetime.timedelta(1)
  42.         lastDay = firstDay + datetime.timedelta(2)
  43.         weadata[0] = u'2'
  44.         weadata[1] = unicode(theDays[0].replace('-', '/'))
  45.         weadata[2] = unicode(firstDay.month)+u'月'+unicode(firstDay.day)+u'日 '
  46.         weadata[6] = unicode(nextDay.month)+u'月'+unicode(nextDay.day)+u'日 '
  47.         weadata[9] = unicode(lastDay.month)+u'月'+unicode(lastDay.day)+u'日 '

  49.         #获取天气概况
  50.         theWeathers= re.findall(r'(?<=br/>).+?(?=,weatherPara[0])
  51.         weadata[2] += unicode(theWeathers[1].decode('utf-8'))
  52.         weadata[6] += unicode(theWeathers[2] .decode('utf-8'))
  53.         weadata[9] += unicode(theWeathers[3] .decode('utf-8'))
  54.         # 获取温度信息
  55.         # [0] 当前温度 [1]明日最高 [2]明日最低[3]后日最高[4]后日最低
  56.         theGrades = re.findall('(-?\d+℃)', temperaturePara[0])
  57.         weadata[3] = unicode(theGrades[2].decode('utf-8')
  58.                 ) + u'/' +unicode(theGrades[3].decode('utf-8'))
  59.         weadata[7] = unicode(theGrades[4].decode('utf-8')
  60.                 ) + u'/' +unicode(theGrades[5].decode('utf-8'))
  61.         weadata[10] = unicode(theGrades[6].decode('utf-8')
  62.                 ) + u'/' +unicode(theGrades[7].decode('utf-8'))
  63.         #获取风向
  64.         # [0] 当前风向 [1]明日 [2]后日
  65.         theWinds = re.findall(r'(?<=td>).+?(?=)', windPara[0])
  66.         weadata[4] = unicode(theWinds[1].decode('utf-8'))
  67.         #获取天气图标
  68.         thePics = re.findall(r'/image/(..\.gif)"', picPara[0])
  69.         weadata[5] = unicode(thePics[1].decode('utf-8'))
  70.         weadata[8] = unicode(thePics[2].decode('utf-8'))
  71.         weadata[11] = unicode(thePics[3].decode('utf-8'))

  73.         listToxml(weadata, "template/wea2.xml")
  74.         log('weather2获取天气信息成功', 'logs/running.log')
  75.     except Exception, ex:
  76.         #如果错误, 记入日志
  77.         log('严重错误:weather2获取xml文件失败')
  78.         errlog('getWeather2', ex, sys.exc_info())
  79.         log('weather2获取xml文件失败', 'logs/running.log')
  80.         return False
  81.     return True

3、通过Python的BeautifulSoup模块分析html网页
  1. def getWeather1():
  2.     '''
  3.         从***.shtml
  4.         取得天气数据(html格式), 输出为xml格式
  5.     '''
  6.     #相应参数:如果网址参数发生变化, 修改以下部分
  7.     ############################################

  9.     URL = "***.shtml"

  11.     ############################################

  13.     weadata = []
  14.     for i in range(12):
  15.         weadata.append(u'')
  16.     try:
  17.         # 获取网页源文件
  18.         sock = urllib.urlopen(URL)
  19.         strhtml = sock.read()
  20.         soup = BeautifulSoup(strhtml)
  21.         #取得当日日期
  22.         daystr = soup.find("div", "weatherYubao").find("h1", "weatheH1").text
  23.         strday = re.search(r'\d{4}-\d{1,2}-\d{1,2}',daystr).group()
  24.         firstDay = datetime.datetime.strptime(strday,'%Y-%m-%d')
  25.         nextDay = firstDay + datetime.timedelta(1)
  26.         lastDay = firstDay + datetime.timedelta(2)
  27.         weadata[0] = u'1'
  28.         weadata[1] = unicode(strday.replace('-', '/') )
  29.         weadata[2] = unicode(firstDay.month)+u'月'+unicode(firstDay.day)+u'日 '
  30.         weadata[6] = unicode(nextDay.month)+u'月'+unicode(nextDay.day)+u'日 '
  31.         weadata[9] = unicode(lastDay.month)+u'月'+unicode(lastDay.day)+u'日 '

  33.         #取得有关天气的标签
  34.         wealist = soup.find("div", "weatherYubaoBox").findAll("table", "yuBaoTable")
  35.         if len(wealist) == 3:
  36.             #取得第一天信息
  37.             daytr = wealist[0].findAll("td")
  38.             #图片
  39.             thePic = os.path.basename(daytr[2].img['src'])
  40.             weadata[5] = thePic
  41.             #天气
  42.             theWeather = daytr[3].text
  43.             weadata[2] += theWeather
  44.             #温度
  45.             gradehighstr=daytr[4].findAll("strong")
  46.             theHighGrade = gradehighstr[0].text + gradehighstr[1].text
  47.             gradelowerstr=daytr[10].findAll("strong")
  48.             theLowerGrade = gradelowerstr[0].text + gradelowerstr[1].text
  49.             weadata[3] = theLowerGrade + u'/' + theHighGrade
  50.             #风向
  51.             weadata[4] = daytr[5].text + daytr[6].text

  53.             #取得第二天信息
  54.             daytr = wealist[1].findAll("td")
  55.             #图片
  56.             thePic = os.path.basename(daytr[2].img['src'])
  57.             weadata[8] = thePic
  58.             #天气
  59.             theWeather = daytr[3].text
  60.             weadata[6] += theWeather
  61.             #温度
  62.             gradehighstr=daytr[4].findAll("strong")
  63.             theHighGrade = gradehighstr[0].text + gradehighstr[1].text
  64.             gradelowerstr=daytr[10].findAll("strong")
  65.             theLowerGrade = gradelowerstr[0].text + gradelowerstr[1].text
  66.             weadata[7] = theLowerGrade + u'/' + theHighGrade

  68.             #取得第三天信息
  69.             daytr = wealist[2].findAll("td")
  70.             #图片
  71.             thePic = os.path.basename(daytr[2].img['src'])
  72.             weadata[11] = thePic
  73.             #天气
  74.             theWeather = daytr[3].text
  75.             weadata[9] += theWeather
  76.             #温度
  77.             gradehighstr=daytr[4].findAll("strong")
  78.             theHighGrade = gradehighstr[0].text + gradehighstr[1].text
  79.             gradelowerstr=daytr[10].findAll("strong")
  80.             theLowerGrade = gradelowerstr[0].text + gradelowerstr[1].text
  81.             weadata[10] = theLowerGrade + u'/' + theHighGrade

  83.             listToxml(weadata, "template/wea1.xml")
  84.             log('weather1获取天气信息成功', 'logs/running.log')

  86.         else:
  87.             log('weather1获取html文件失败')
  88.             log(strhtml)
  89.             log('weather1获取html文件失败', 'logs/running.log')
  90.             return False

  92.         return True

通过对比，三种方法中，xml的方式最准确，但是如果没有xml信息源，必须采集html网页,BeautifulSoup的方法维护起来要比正则表达式要方便的多，正则表达式维护比较困难
阅读(2428) | 评论(0) | 转发(0) |
0

上一篇：wma批量转换为mp3

下一篇：如何友好的 监控与管理 Linux 进程

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6