在做文本词频统计的时候遇到的问题,弄了1个小时也没找到解决方法,在偶然的一次试一试,居然成功解决了这个问题。


一般情况下是这样是可以直接没问题的:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence


出现问题时:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence




一般情况下解决方式(网上绝大部分):

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence



但是出现这种情况:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence

UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence

此时我们输入encoding='16'  问题就解决了。

但是很快我们会发现这个还是不行。在切换其他编码格式再用utf-16时还是不行。

那么终级办法和最直接有效的办法就是用notepad++打开要处理的文本,强制转换成utf-8编码格式,然后 就成功解决了编码问题。


相关文章:

  • 2021-12-15
  • 2021-07-22
  • 2021-09-21
  • 2022-01-16
  • 2022-12-23
  • 2021-06-14
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2021-10-26
  • 2021-04-19
  • 2021-11-19
  • 2021-06-07
相关资源
相似解决方案