Python字符编码自学心得

最近1个月都在尽量抽空学习python，与以往学习java感觉最大的差异是 中文文档相当稀少，只能硬着头皮看E文教材，对于中文处理的介绍就更少，可能因为这个原因，大部分初学者都感觉python天生处理中文能力奇差，小弟努 力学习一个星期后，发现其实python对字符编码处理能力相当强劲，特写个学习新心得。

1。字符串还是字节串？

我认为，python的字符串只能说是字节串，你甚至可以在里面存放一张图片或者一个二进制可执行文件

import types
f=open('d:\\hello.jpg','r')
pic=f.read()
print type(pic)==types.StringType
print pic

如果图片存在，这段代码会显示True和一串乱码。显然所谓字符串只是一串字节数据。

2。' ' 和 u' '

python的字符串有' '和u' '两种，前者是一个字节串，后者是经过unicode编码的。unicode是一种用两个字节表示每一个字符的编码方式，具体不介绍了。可以这样测试：

>>>str1='你好'
>>>str1
'\xc4\xe3\xba\xc3'        得到一个字节串，我的机子是xp系统的，默认编码是cp936，所以这是“你好”的cp936编码
>>>str2=str1.decode('cp936')
>>>str2
u'\u4f60\u597d'          转化为unicode编码，str2是一个unicode字符串

str1和str2都是一个字符串，不过编码的方式不一样，我们可以看出他们都占用4个字节，不过真实长度却一样。

>>>len(str1)
4
>>>len(str2)
2

str1只是一个普通的字节串，python并不知道他使用的是什么编码，所以长度等于它占用的字节数。而str2是一个经过unicode编码的 字符串，我们使用字符串对象的方法decode告诉系统'\xc4\xe3\xba\xc3'是一个cp936编码串，然后系统会把它转化为 unicode编码串u'\u4f60\u597d'，系统就可以判断出这是一个含有两个字符的字符串。反过来，我们可以使用encode方法把 unicode字符串编码为普通字符串。

>>>str2.encode('gbk')
'\xc4\xe3\xba\xc3'

惊喜的是，我们其实很容易就可以得到一个中文unicode字符串。我们测试一下：

>>>mycity=u'佛山'
>>>mycity
u'\u4f5d\u5c71'

看到吗？python已经为我们完成了转换，mycity已经是unicode字符串。

转自：http://hi.baidu.com/xncyy/blog/item/60dbc524bbd748318644f916.html

在中文转换中我们需要获取当前系统使用字符编码，我们可以通过locale模块获取。

>>>import locale
>>>locale.getdefaultlocale()
('zh_cn','cp936')

可以看到我的机子上的编码是cp936。同样我们可以通过locale模块获取系统支持的所有编码。

>>>import locale
>>>locale.locale_encoding_alias
{'en': 'ISO8859-1', 'euc_jp': 'eucJP', 'jis7': 'JIS7', 'ascii': 'ISO8859-1', 'is
o8859_15': 'ISO8859-15', 'iso8859_14': 'ISO8859-14', 'iso8859_11': 'ISO8859-11',
'iso8859_10': 'ISO8859-10', 'iso8859_13': 'ISO8859-13', 'euc_kr': 'eucKR', 'jis
': 'JIS7', 'utf_8': 'UTF8', 'iso2022_jp': 'JIS7', 'latin_1': 'ISO8859-1', '437':
'C', 'ajec': 'eucJP', 'c': 'C', 'tactis': 'TACTIS', 'koi8_r': 'KOI8-R', 'shift_
jis': 'SJIS', 'iso8859_9': 'ISO8859-9', 'iso8859_8': 'ISO8859-8', 'koi8_u': 'KOI
8-U', 'iso8859_5': 'ISO8859-5', 'iso8859_4': 'ISO8859-4', 'iso8859_7': 'ISO8859-
7', 'iso8859_6': 'ISO8859-6', 'iso8859_1': 'ISO8859-1', 'iso8859_3': 'ISO8859-3'
, 'iso8859_2': 'ISO8859-2'}

转自：http://hi.baidu.com/xncyy/blog/item/df921b34e85f47395ab5f51b.html