大家好,又见面了,我是你们的朋友全栈君。
unicode编码方案: unicode只规定了每个字符所对应的码值(码点),即编码,但并没有规定如何在计算机中实现。同一个字符,可通过utf-8、utf-16、utf-32、gb2312(对中文)等多种方式各自实现。encode()方法就是将unicode编码方式转化为对应的实现方式,而decode()相反,将实现方式转化为编码。
1.decode()
bytes.decode(encoding=“utf-8”, errors=“strict”) 1.这个函数是bytes类型数据调用的,字符串str类型是不能够调用的。(好多文章说字符串也可以调用该函数,我是真搞不懂。) 2.该函数返回字符串。换句话说是bytes类型转化成str类型的函数。 3.encoding规定解码方式。bytes数据是由什么编码方式编码的,该函数encoding参数就必须用相应解码方式,这样才能返回正确字符串。解码后的字符串自动转为unicode编码方式。 4.errors参数默认为strict,即解码错误后引起异常发生。其他参数值为ignore,replace等。
2.encode()
str.encode(encoding=“utf-8”, errors=“strict”) 参数含义同上。这个函数将字符串转化成相应编码方式的字节形式。对于ASCII字符(数字,英文,部分标点符号)而言,不同编码方式编码后的字节是一样的。但是对于中文来说,编码后的字节不一样。
3.转码
例如,我有一个中文网站,网站编码方式为gb2312,我通过requests请求后要将网页打印出来。但是python内部是unicode编码的,直接response.text肯定会返回乱码。
代码语言:javascript复制import requests
url_all="https://www.kanunu8.com/"
header_all={
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
'upgrade-insecure-request': '1',
}
def get_classification_urls(url,headers):
try:
response=requests.get(url,headers=headers,timeout=10)
if response.status_code==200:
print(response.text))
except Exception as e:
print(e)
如下图,果然乱码
这时就需要正确解码,即将gb2312解码为unicode.我们可以这样: 1.先获取编码的二进制格式,该格式为gb2312编码的二进制:
代码语言:javascript复制bytes=response.content
2.将二进制格式通过decode()函数解码为unicode格式:
代码语言:javascript复制bytes.decode(encoding="gb2312")
decode()函数是bytes类型转str类型,这样就能够返回正确的字符串了。
当然,这个例子即使通过gb2312解码,仍然是乱码。原因可能是原网页含有gb2312不能识别的字符(虽然gb2312是为中国文字服务的,但是有些少数名族的字符也属于中国文字,但是并没有包含在gb2312内)。后来为了扩充编码,由在gb2312基础上增加了gbk和gb18030编码,二者范围更广。事例用gb18030即可正确解码。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。