Python MySQL CSV 导出到 json 奇怪的编码

Question

我收到了一个从 MySQL 数据库导出的 csv 文件（我认为编码是 latin1，因为语言是西班牙语）。不幸的是，编码是错误的，我根本无法处理它。如果我使用文件：

$ file -I file.csv file.csv: text/plain; charset=unknown-8bit

我尝试在 python 中读取文件并将其转换为 utf-8，例如：

r.decode('latin-1').encode("utf-8")

或使用mysql_latin1_codec：

r.decode('mysql_latin1').encode('UTF-8')

我正在尝试将数据转换为 json 对象。保存文件时出现错误：

'UnicodeEncodeError: 'ascii' codec can't encode characters in position'

您知道如何将其转换为普通的 utf-8 字符吗？或者如何将数据转换为有效的 json？谢谢！！

Answer 1

通过使用来自 Continuum Analytics 的 pandas 数据框，我得到了非常好的结果。

你可以这样做：

import pandas as pd
from pandas import *

con='Your database connection credentials user, password, host, database to use'
data=pd.read_sql_query('SELECT * FROM YOUR TABLE',conn=con)

那么你可以这样做：

data.to_csv('path_with_file_name')

或转换为 JSON：

data.to_json(orient='records')

或者如果您更喜欢自定义 json 格式，请参阅此处的文档： http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_json.html

Answer 2

你可能有两个问题。但是让我们退后一步……我们无法判断文本是错误导入、导出错误还是仅仅以愚蠢的方式显示。

首先，我将讨论“导入”...

不要尝试更改编码。而是使用编码。但首先，弄清楚编码是什么。它可以是 latin1 也可以是 utf8。 （或许多不太可能的字符集。）

找出传入文件的十六进制。在 Python 中，代码类似于为字符串u 转储十六进制（等）：

for i, c in enumerate(u):
    print i, '%04x' % ord(c), unicodedata.category(c),
    print unicodedata.name(c)

您可以转到here 查看所有 latin1 字符的十六进制值列表，以及 utf8 十六进制。例如，ó 是 latin1 F3 或 utf8 C2B3。

现在，知道编码后，告诉 MySQL。

LOAD DATA INFILE ...
    ...
    CHARACTER SET utf8  -- or latin1
    ...;

同时，CHARACTER SET ... table 或 column 被定义为什么并不重要； mysql 将在必要时进行转码。所有西班牙语字符都支持 latin1 和 utf8。

转到this Q&A。

我建议你有两个错误，一个是那里提到的“黑钻石”案例；还有其他的东西。但是...遵循提到的“最佳实践”。

回到你关于“出口”的问题......

再次，您需要检查输出文件的十六进制。同样，它是 latin1 还是 utf8 都没有关系。然而......如果十六进制是C383C2B3 只是ó，你有“双重编码”。如果有，请检查是否已删除任何手动转换函数调用，并简单地告诉 MySQL 是什么。

这里还有一些您可能需要的utf8+Python tips。

如果您需要更多帮助，请按照说明一步一步操作。向我们展示用于在每一步移动/转换它的代码，并在每一步向我们展示 HEX。

Answer 3

您是否尝试过使用编解码器模块？：

import codecs
....
codecs.EncodedFile(r, 'latin1').reader.read()

我记得不久前遇到过类似的问题，答案与 Python 3 之前的编码方式有关。编解码器似乎相对优雅地处理了这个问题。

正如问题 cmets 中提到的编码器，如果无法重现问题，就很难查明问题，所以我可能会找错树。