在 mac 上的 pandas 中打开 csv 文件时出现 utf-8 错误

Question

我正在尝试在我的 Mac 上使用 utf8 打开一个包含日文字符的 csv 文件。

我使用的代码如下：

foo = pd.read_csv("filename.csv", encoding = 'utf8')

但是，我收到以下错误消息。

'utf-8' codec can't decode byte 0x96 in position 0

我试过环顾四周，但很多解决方案似乎都适用于 Windows/我还没有在其他解决方案上取得任何成功。

感谢您的帮助！

Answer 1

看来您的文件确实包含非 Unicode 字符。此文件的正确编码很大程度上取决于其内容，但在最常见的情况下，0x96 可以使用 CP-1252 解码。所以，试着像下面这样解码它：

foo = pd.read_csv("filename.csv", encoding = 'cp1252')

如果不知道文件的原始编码，可以尝试用chardet等第三方库检测。

如果您上传文件的一部分来重现问题，我可能会为您提供更多帮助。