特色栏目： python 批处理 net编程 Javascript Php Asp Css Html5 Android seo centos

UnicodeDecodeError: 'utf8' codec can't decode

来源：互联网收集：自由互联发布时间：2022-06-15

数据库存了些中文字符, 比如'处理脚本'这样的汉字, 结果导致一个python程序报错. 下面记录处理过程和相关结论. =========================== dal.py 程序片段,python 2.7, 使用了pypyodbc模块 ========

数据库存了些中文字符, 比如'处理脚本'这样的汉字, 结果导致一个python程序报错. 下面记录处理过程和相关结论.

===========================

dal.py 程序片段,python 2.7,

使用了pypyodbc模块

===========================

# -*- coding: utf-8 -*-

from __future__ import unicode_literals

def save(field_value):

#logger.debug('%s'%type(field_value)) # trouble shooting 时加入的代码

logger.debug('%s'%field_value)

save_to_db(field_value)

上面这个程序, 当field_value是汉字时, 报错:

logger.debug报错, UnicodeDecodeError: 'utf8' codec can't decode byte 0xb4 in position 0: invalid start byte

===========================

原因分析:

===========================

我在logger.debug('%s'%field_value), 增加了如下代码, 发现field_value的类型是str, 非unicode.

logger.debug('%s'%type(field_value))

通过type(field_value)获知, field_value本身是str, 而不是unicode. 原因是field_value的值是在pypyodbc模块中初始化的, 并没有做自动做unicode转换.

在我们的py程序中, 表达式'%s'%field_value将实例化一个字符串,因为加了import unicode_literals, 默认是字符串变量将是unicode.

对于非unicode的field_value, python会自动按照utf-8做decode, 而实际上在DB中是按照GBK做的编码, 导致decode会报错.

那为什么python会自作主张按照utf-8做decode呢? 我原以为是"# -*- coding: utf-8 -*-"和py文件按照utf-8存储, 经试验, 推翻了我的猜测. 有知道的朋友, 请告知.

===========================

测试了几个方法:

===========================

方法1:

将__future__ 的unicode_literals 拿掉后, logger中汉字显示是乱码, 但save()函数最终存到DB中的汉字, 却没有问题.

方法2:

将logger.debug('%s'%field_value) 换成 logger.debug(field_value), 不报错, 但logger中汉字显示是乱码

方法3:

从DB中取出汉字后, 马上对其按GBK 做decode, 将其转成unicode类型, 然后再调用save()方法, 问题彻底解决了.

field_value=field_value_raw.decode('GBK') # here field_value is unicode

===========================

知识点:

===========================

1. unicode是一个编码字符集, 即为每个字符设定了一个对应的编码表, 至于如何存储字符的编码, 并没有做规定. utf-8/utf-16等编码即是unicode的具体存储实现方式, 其中utf-8也是最常用的方式.

2. GB2312、GBK、 GB18030既是编码字符集, 也是存储方式.

3. 如果py文件加了# -*- coding: utf-8 -*-, 字符串默认将以utf-8编码存储, 而且Eclipse也很智能将文件也按照UTF-8存放.

4. 如果py文件加了from __future__ import unicode_literals, 本py文件中声明的字符串将按照unicode 类型.

5. 对于py程序从DB取出汉字的过程, 涉及到两个不同世界的存储方式, 一般都需要先做decode, 将其转为unicode.

6. 如果使用的是Oracle数据库, 汉字若存在varchar字段, 要看NLS_CHARACTERSET设定值, 比如ZHS16GBK, 需要做decode('GBK'); 如果汉字存在NVARCHAR中, 要看 NLS_NCHAR_CHARACTERSET 的设定, 因为NLS_NCHAR_CHARACTERSET多设定为UTF8, python程序就不需要做转换了.

===========================

UnicodeDecodeError: 'utf8' codec can't decode

相关文章