code highlight test python

#-------------------------------------------------------------------------------
# Name:         webAns
# Purpose:     3366游戏抓取
#
# Author:      winxos
#
# Created:     17/11/2011
# Copyright:   (c) winxos 2011
# Licence:     free
#-------------------------------------------------------------------------------
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib2
import re
from sqlite3 import *
import os
from time import clock
import sys


#游戏数据结构
class gameinfo:
    def __init__(self):
        self.name=''#名称
        self.id=0#页面ID
        self.type=''#类型
        self.tag=''#标签
        self.width=0#宽度
        self.heigh=0#高度
        self.score=0.0#评分
        self.detail=''#详情
    def ToString(self):
        return str(self.id)+self.name+self.type+str(self.width)+str(self.heigh)+\
                self.SRC()+" ".join(self.tag)+str(self.score)+self.detail
    def SRC(self):#链接
        a1=int(self.id)%100
        return ""+str(a1)+"/"+str(self.id)+".swf"
#进度保存类
class ProgressSaver:
    def Save(self,msg):
        ofile=open('config.txt','w')
        ofile.write(msg)
        ofile.close()
    def Load(self):
        ret=''
        if os.path.exists('config.txt'):#要判断文件是否存在
            ifile=open('config.txt')
            ret=ifile.read()
        return ret

def GetGameInfo(gameid):
    uri=""+str(gameid)+".shtml"
    print "visit:%s"%uri
    try:
        page=urllib2.urlopen(uri,timeout=3) #超时
        data=page.read()
        page.close()
    except Exception,e: #捕捉访问异常，一般为timeout，信息在e中
        return None


    g=gameinfo()
    g.id=int(gameid)
    p1=re.compile('FlashPage\((.*)\)') #得到游戏主要信息
    m1=p1.search(data)
    if m1!=None:
        s=m1.group(1)
        s=s.replace('"','')#去掉引号
        s=s.replace(' ','')#去掉空格p
        ans=s.split(',')
        g.date=ans[15]
        g.width=int(ans[4])
        g.heigh=int(ans[5])
        g.name=ans[1]
        g.type=ans[7]

    p2=re.compile('t_tag">(\W*))#得到标签
    m2=p2.findall(data)
    g.tag=' '.join(m2)

    p3=re.compile('score_num">(\d.\d)<')#得到分数
    m3=p3.search(data)
    if  None:
        g.score=float(m3.group(1))
    p4=re.compile('\xd3\xce\xcf\xb7\W*\s*(\W*)')#得到游戏简介，注意空白字符的匹配
    m4=p4.search(data)
    if m4!=None:
        tmp=m4.group(1)
        g.detail=tmp.replace('"','')
    else:
        print uri
    return g



#建立详细游戏资料库，包含id，名字，标签，源地址，宽高，说明等
def CreateDetailLib():
    ifile=open("e:/3366list.txt").read()
    pt=re.compile('(\d+),')
    m=pt.findall(ifile)
    mu=list(set(m))#去除重复元素
    if os.path.isfile('gamedetail.db'):#已经建立数据库
        conn=connect('gamedetail.db')
        curs=conn.cursor()
    else:
        conn=connect('gamedetail.db')
        curs=conn.cursor()
        curs.execute('create table gamelist(id integer primary key, name text, \
                        type text, src text, tag text, width integer,\
                        heigh text, score real, detail text)')
    ps=ProgressSaver()#用于自动恢复计算
    progress=ps.Load()
    if progress=='':
        progress=0
    else:
        progress=int(progress)+1
    for x in range(progress,len(mu)):
        a=GetGameInfo(mu[x])
        while a==None: #访问失败，持续访问。
            print "Connection Error! ReConnecting..."
            a=GetGameInfo(mu[x])
        try:
            st='insert into gamelist values(%d,"%s","%s","%s","%s",%d,%d,%f,"%s")'%\
                (a.id,a.name,a.type,a.SRC(),a.tag,a.width,a.heigh,a.score,a.detail)
            st=' '.join(st.split())#去除空白符和换行符
            print x,st
            st=unicode(st,'GBK')#进行编码转换，不然数据库里面会是乱码，用gb2312会有生僻字无法识别
            curs.execute(st)
            conn.commit()
            ps.Save(str(x))
        finally:
            pass
    conn.close()
if __name__ == '__main__':
    GetRawSeries()
    #CreateDetailLib()