Python字符编码转码之GBK,UTF8互转

一、Python字符编码介绍

1、须知：

在python 2中默认编码是 ASCII，而在python 3中默认编码是 unicode

unicode 分为utf-32 (占4个字节),utf-16(占两个字节)，utf-8(占1-4个字节)，所以utf-16 是最常用的unicode版本，但是在文件里存的还是utf-8，因为utf8省空间

在python 3,encode编码的同时会把stringl变成bytes类型，decode解码的同时会把bytes类型变成string类型

在unicode编码中 1个中文字符=2个字节，1个英文字符 = 1个字节，切记：ASCII是不能存中文字符的

utf-8是可变长字符编码,它是unicode的优化，所有的英文字符依然按ASCII形式存储，所有的中文字符统一是3个字节

unicode包含了所有国家的字符编码，不同字符编码之间的转换都需要经过unicode的过程

python本身的默认编码是utf-8

2、py2中的编码和转码的过程，如图：

注：因为unicode是中间编码，任何字符编码之前的转换都必须解码成unicode，在编码成需要转的字符编码

二、字符编码的转换

1、py2字符编码的转换，代码如下：

#! /usr/bin/env python# -*- coding:utf-8 -*-# __auther__ == luoahong s = "我是学员"#utf-8解码成unicode编码s_to_unicode = s.decode("utf-8")print("--------s_to_unicode-----")print(s_to_unicode)#然后unicode再编码成gbks_to_gbk = s_to_unicode.encode("gbk")print("-----s_to_gbk------")print(s_to_gbk)#gbk解码成unicode再编码成utf-8gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")print("------gbk_to_utf8-----")print(gbk_to_utf8) #输出--------s_to_unicode-----我是学员-----s_to_gbk------�����˧------gbk_to_utf8-----我是学员

 注：以上这种情况适合字符是非unicode编码请款下，但是如果字符编码已经是Unicode的了咋办呢？广告回来，更加精彩。。。。。

2、字符编码已经是unicode情况下，代码如下：

#! /usr/bin/env python# -*- coding:utf-8 -*-# __auther__ == luoahong #u代码字符编码是unicodes = u'你好'#已经是unicode，所以这边直接是编码成gbks_to_gbk = s.encode("gbk")print("----s_to_gbk----")print(s_to_gbk)#这边再解码成unicode然后再编码成utf-8gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")print("-----gbk_to_utf8---")print(gbk_to_utf8)#输出----s_to_gbk----���-----gbk_to_utf8---你好

注：在python2中，在文件的开头指定字符编码，是要告诉解释器我现在的字符编码使用的是utf-8，那我在打印的中文时候，那么在utf-8中包含中文字符，那么可以打印出来。那么如果你不制定字符编码，默认使用系统编码，如果你的系统编码是ASCII，那么就会报错，因为ASCII不能存中文字符。