抓取数据时遇到的问题 gbk无法解码，illegal multibyte sequence
原因：1.utf-8编码
2.gbk编码，但是有多字符和特殊字符gbk无法解码
解决方式：打开网页：F12 在console输入document.charset 查看编码方式
确定编码方式后，如果是utf-8 就改编码语言，如果是gbk那么问题就出在第二项上
解决方式：
改用复杂度更高的gb18030，解码

如题，Python3读取文本时，遇到如下错误：

起初以为是编码问题导致，通过修改各种编码问题也未得到解决。。。

file = open("test.txt",encoding='utf-8')

两种解决方案：

• 方案1：忽略文本中的问题字符

file = open("test.txt",errors='ignore')
data = file.readlines()
str_data = data[1][0:5]
print(type(str_data))
print(str_data)
file.close()

测试结果：

<class 'str'>
joint

• 方案2：以二进制读取文件，再将二进制数据转换成想要的类型

file = open("test.txt",'rb')
data = file.readlines()
str_data = data[1][0:5]
str_data1= str(str_data ,'utf-8')     # 二进制转字符  方法1
str_data2= str_data.decode('utf-8')   # 二进制转字符  方法2
print(type(str_data))
print(type(str_data1))
print(type(str_data2))
print(str_data)         
print(str_data1) 
print(str_data2) 

测试结果：

<class 'bytes'>
<class 'str'>
<class 'str'>
b'joint'
joint
joint

参考链接：

• https://www.jb51.net/article/235285.htm
• https://blog.csdn.net/lqzdreamer/article/details/76549256
• https://blog.csdn.net/qq_31267769/article/details/109128882

每天一点点，记录工作中遇到的问题，及实操可行
python response 解析网页时 ,gbk无法解码
错误：
UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xaf in position 111: illegal multibyte sequence

gbk编码，但是有多字符和特殊字符gbk无法解码
解决方式1
右键–检查 （或显示网页源代码）
在console输入document.charset 查看编码方式

确定编码方式后，如果是utf-8 就改编码语言，如果是gbk那么问题就改为gb18030 进行解码

datas = res.content.decode('gb18030') 

如果这个方法还是无法解决，那么试一下下边这个方法：
**方法二：**粗暴解决

datas = res.content.decode('gbk','ignore')