深入理解Python的字符编码utf-8 & unicode

参考：http://lukejin.iteye.com/blog/598303

一，通过例子理解字符编码

在Python中有两个和字符很相关的类型，一个是str类型，一个是unicode类型。

这两种类型的对象都是sequece序列，其中str是字节序列，而unicode是字符序列在2.x版本的python中，默认定义的字符串是str类型的。

比如你这么定义

# -*- coding:utf-8 -*-
s=”中文”
us=u”中文”

这样的源码是保存在源码文件中的，其实文件保存在磁盘上的时候都是二进制的字节编码 E4 B8 AD E6 96 87，只有一定的软件比如文件编辑器打开文件对这些文本的二进制编码进行正确的解码后才能在软件中显示正确，被人们所看懂。

 那么在运行的时候是什么样的状态呢？

首先python的运行环境会检测你的源码的编码方式，utf-8且s的类型是str类型，即字节序列，那么我们需要将”中文”从源码文件中按照utf-8读取成字节序列，那么s在运行的时候就是找个字节序列。其长度len(s)为6，因为utf-8中一个中文需要3个字节E4 B8 AD E6 96 87来表示而us是unicode字符串，那么在运行的时候，us是“中”和“国”这两个字符的unicode字符\u4E2D \u6587，其长度是2

二.Python中和编码相关的两个函数

在Python中和编码相关的两个函数为decode和encode

在Java中你也会发现这两个类似的方法。

你搜索一下互联网你会发现关于这两个方法的叙述会很多，很多都说的不是很准确。

其中encode()是将某个unicode字符串按照一定的编码方式编码成字节序列而decode()是一个反过程，将一个字节序列按照一定的编码方式解码成unicode字符串。

这个时候可能有人会问：那么对于一个str类型（已经是字节数组）再应用decode是什么概念呢？？

其实str.encode(e) 是和 unicode(str).encode(e)是一样的，python底层做的时候也是确实这么做的。

python这么实现主要是为了方式当某个对象不确定是str还是unicode类型的时候，那么用encode函数总是不会出现错误。