我们知道,在 Unicode 编码中,中文占3个字节,所以一个中文字符编码为 Bytes 型数据以后,会占用3个 Bytes 字符,例如:
代码语言:javascript复制>>> a = '青'
>>> a.encode()
b'xe9x9dx92'
>>> b = '青南'
>>> b.encode()
b'xe9x9dx92xe5x8dx97'
注意这里的xe9
需要作为整体来看待,表示一个16进制数。
所以,当我要把 Bytes 型数据xe9x9dx92xe5x8dx97
转为字符串时,Python 会把xe9x9dx92
转成青
字,把xe5x8dx97
转成南
字,看起来,似乎是 Python 知道应该把每3个 Bytes 符号一组来进行处理。
然而,Unicode 中,emoji 表情是4个字节,例如表情符号:?
,它对应的 Bytes 型数据为:xf0x9fxa4x94
,如下图所示:
如果我把青?南
转换为 Bytes 型数据,值为:xe9x9dx92xf0x9fxa4x94xe5x8dx97
,如下图所示,一共10个 Bytes 字符:
那么问题来了,当我对这个 Bytes 型数据进行 decode 的时候会怎么样呢?如下图所示:
Python 可以正确地把 Bytes 数据划分为:
代码语言:javascript复制xe9x9dx92 对应“青”
xf0x9fxa4x94 对应“?”
xe5x8dx97 对应“南”
为什么 Python 知道要把xf0x9fxa4x94
这4个符号分到一组?为什么不会像下面这样分组?
xe9x9dx92
xf0x9fxa4
x94xe5x8dx97
实际上,这个问题的原因,只有当我们用二进制来看的时候,才能发现端倪。
青
对应的第一个 Bytes 字符xe9
,其中的e9
是一个十六进制数字,把它转成十进制是233
,转成二进制是11101001
。
南
对应的第一个 Bytes 字符xe5
,其中的e5
是一个十六进制数字,把它转成十进制是229
,转成二进制是11100101
。
?
对应的第一个 Bytes 字符xf0
,其中的f0
是一个十六进制数字,把它转成十进制是240
,转成二进制是11110000
。
如果还看不出他们的差异,那我们把他们放在一起对比一下:
代码语言:javascript复制11101001
11100101
11110000
看出差异了吗?中文汉字是三个字节,转换为 Bytes 型数据以后,第一个字符对应的二进制数是1110
开头。emoji 是4个字节,转换为 Bytes 型数据以后,第一个字符对应的二进制数是1111
开头。
所以,当给定一个 Bytes 型数据需要给 Python 来转换为字符串的时候,Python 是这样判断应该有几个字符一组的。
- 给定 Bytes 型数据:
xe9x9dx92xf0x9fxa4x94xe5x8dx97
- 看第一个字符对应的二进制数的高4位是1110,所以当前字符和它后面两个字符(合计3个字符)一组,进行解析,得到
青
字。 - 跳过已经解析的字符,直接来到第四位
xf0
,发现它对应的二进制数高4位是1111,所以这个字符和接下来3个字符(合计4个字符)一组,解析出?
。 - 跳过已经解析的字符,来到第8位
xe5
,对应的二进制高4位是1110,因此这个字符和接下来的两个字符一组进行解析,得到南
。 - 完成。
对于数字和英文字母,在 Unicode 里面只使用一个字节来表示,他们的 Ascii 码小于128。而多字节的 Unicode 字符,都是从129开头的,所以英文字母数字与中文混合生成的 Bytes 型数据,在解码的时候也不会出现分组不明确的问题。