[转]理解python的unicode字符串

# -*- coding:gb2312 -*-

if __name__=='__main__':
    print "-------------code 1----------------"
    a = "和谐b你b可爱女人"
    print a
    print a.find("你")   #index=5,对于一般字符串,按照了
                        #指定的编码方式(这里为gb2312)
                        #并不像unicode字符串一样,把任何字符视为长度1,
                        #而是视为字节长度(5=2+2+1).
    b = a.replace("爱", "喜欢")
    print b
    print "--------------code 2----------------"
    x = "和谐b你b可爱女人"
    print a.find("你")
    y = unicode(x) #此处将x解码(成字符串),如果有编码第二参数,应该和第一行指示编码相同
    print y
    print y.encode("utf-8") #若和指示编码不一样,则会打印乱码
    print y.encode("gb2312")

    print y.find(u"你")  #index=3,因为unicode字符都视为1长度
    z = y.replace(u"爱", u"喜欢小")
    print z.encode("utf-8")
    print z.encode("gb2312")
    print "---------------code 3----------------"
    print y
    newy = unicode(x,"gb2312") #如果和指示编码行的指示不一样的话,将报错
    print newy

# -*- coding:gb2312 -*-
 
if __name__=='__main__':
    print "-------------code 1----------------"
    a = "和谐b你b可爱女人"
    print a
    print a.find("你")   #index=5,对于一般字符串,按照了
                        #指定的编码方式(这里为gb2312)
                        #并不像unicode字符串一样,把任何字符视为长度1,
                        #而是视为字节长度(5=2+2+1).
    b = a.replace("爱", "喜欢")
    print b
    print "--------------code 2----------------"
    x = "和谐b你b可爱女人"
    print a.find("你")
    y = unicode(x) #此处将x解码(成字符串),如果有编码第二参数,应该和第一行指示编码相同
    print y
    print y.encode("utf-8") #若和指示编码不一样,则会打印乱码
    print y.encode("gb2312")
    
    print y.find(u"你")  #index=3,因为unicode字符都视为1长度
    z = y.replace(u"爱", u"喜欢小")
    print z.encode("utf-8")
    print z.encode("gb2312")
    print "---------------code 3----------------"
    print y
    newy = unicode(x,"gb2312") #如果和指示编码行的指示不一样的话,将报错
    print newy

输出：

引用

-------------code 1----------------
和谐b你b可爱女人
5
和谐b你b可喜欢女人
--------------code 2----------------
5
和谐b你b可爱女人
???b浣????濂充??
和谐b你b可爱女人
3
???b浣????娆㈠?濂充??
和谐b你b可喜欢小女人
---------------code 3----------------
和谐b你b可爱女人
和谐b你b可爱女人

utf-8版本的编码指示行:

# -*- coding:utf-8 -*-

if __name__=='__main__':
    print "-------------code 1----------------"
    a = "和谐b你b可爱女人"
    print a
    print a.find("你")   #index=7,对于一般字符串,按照了指定的编码方式(这里为utf-8)
                        #并不像unicode字符串一样,把任何字符视为长度1,
                        #而是视为字节长度(7=3+3+1).
    b = a.replace("爱", "喜欢")
    print b
    print "--------------code 2----------------"
    x = "和谐b你b可爱女人"
    print a.find("你")#同----code 1----,index=7
    y = unicode(x) #此处将x解码(成字符串),如果有编码第二参数,应该和第一行指示编码相同
    print "直接print::",y
    print "若和指示编码不一样,以下两行有一行会打印乱码"
    print "UTF-8::",y.encode("utf-8")
    print "GB2312::",y.encode("gb2312")

    print y.find(u"你")  #index=3,因为unicode字符都视为1长度
    z = y.replace(u"爱", u"喜欢小")
    print "若和指示编码不一样,以下两行有一行会打印乱码"
    print z.encode("utf-8")
    print z.encode("gb2312")
    print "---------------code 3----------------"
    print "直接print::",y
    newy = unicode(x,"gb2312") #如果和指示编码行的指示不一样的话,将报错
    print newy

# -*- coding:utf-8 -*-

if __name__=='__main__':
    print "-------------code 1----------------"
    a = "和谐b你b可爱女人"
    print a
    print a.find("你")   #index=7,对于一般字符串,按照了指定的编码方式(这里为utf-8)
                        #并不像unicode字符串一样,把任何字符视为长度1,
                        #而是视为字节长度(7=3+3+1).
    b = a.replace("爱", "喜欢")
    print b
    print "--------------code 2----------------"
    x = "和谐b你b可爱女人"
    print a.find("你")#同----code 1----,index=7
    y = unicode(x) #此处将x解码(成字符串),如果有编码第二参数,应该和第一行指示编码相同
    print "直接print::",y
    print "若和指示编码不一样,以下两行有一行会打印乱码"
    print "UTF-8::",y.encode("utf-8") 
    print "GB2312::",y.encode("gb2312")
    
    print y.find(u"你")  #index=3,因为unicode字符都视为1长度
    z = y.replace(u"爱", u"喜欢小")
    print "若和指示编码不一样,以下两行有一行会打印乱码"
    print z.encode("utf-8")
    print z.encode("gb2312")
    print "---------------code 3----------------"
    print "直接print::",y
    newy = unicode(x,"gb2312") #如果和指示编码行的指示不一样的话,将报错
    print newy

输出:

引用

-------------code 1----------------
和谐b你b可爱女人
7
和谐b你b可喜欢女人
--------------code 2----------------
7
直接print:: 和谐b你b可爱女人
-----若和指示编码不一样,以下两行有一行会打印乱码----
UTF-8:: 和谐b你b可爱女人
GB2312:: ��гb��b�ɰ�Ů��
3
----若和指示编码不一样,以下两行有一行会打印乱码-----
和谐b你b可喜欢小女人
��гb��b��ϲ��СŮ��
---------------code 3----------------
直接print:: 和谐b你b可爱女人
Traceback (most recent call last):
  File "E:\JavaWork\WorkForLab\PythonStarter\src\LangProbe\__init__.py", line 28, in
    newy = unicode(x,"gb2312") #如果和指示编码行的指示不一样的话,将报错
UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 0-1: illegal multibyte sequence

我的解释......还请各位指出谬误.

笔者使用的文本物理编码始终是utf-8,但是对指示行编码进行了更改操作.看起来:
虽然,如果在eclipse编辑器中改掉第一行的编码指定为一个不兼容的编码,比如"utf-8"->"gbk",那么保存后整个文件就会出乱码.但是这是eclipse的python编辑器的特性,如果再将事先预存的无乱码的内容覆盖拷回代码中,程序仍将正常显示和运行,而且查看文件发现物理编码并无改变.因此,文本的物理编码和python指示行的编码实际上并不干扰,是两回事.
(有趣的是,在eclipse中改变了一次指示行编码保存后(utf8到gb2312),代码显示为乱码,如果再改回,则eclipse报错,因为按乱码显示的文本无法再保存,编码已被破坏;如果再ctrl-z回退,使得指示行再为utf-8保存,文件显示为之前不是乱码的状态,保存,eclipse不报错,但是查看此时物理编码变成了ANSI)

硬盘阶段:
    *.py文件编码是utf-8,然后eclipse内置文本编辑器能够正确地以此编码读入内存,交给python解释器程序(本示例中文件编码是utf-8).
内存中python解释器阶段:
    python解释器看到第一二行有编码指示行,则把程序代码编码成该指示编码.(本示例1中,就是gb2312;示例2中是utf-8).
内存中运行时阶段
    运行时遇到一般字符串,则按照解释器的编码读入,print直接把此编码字节推送OS打印.若遇到unicode字符串,无编码参数创建的,则按照 程序开头第一行的指示编码创建;若有编码参数则此参数必须和第一行指示编码参数相同或者兼容,否则程序报错,因为python会直接把一般字符串的字节(已为指示行编码)强行解码为语句指定编码来构造unicode字符,一般会失败.相同了之后,print这个unicode字串,python将以系统(系统语义:到底是那个级别的系统)默认编码来解码显示,如果系统默认编码不支持unicode字符,比如ascii,那么显然会出错.