由 ascii 编写的 pandas csv 忽略编码

【问题标题】：pandas csv write by ascii ignore encoding由 ascii 编写的 pandas csv 忽略编码
【发布时间】：2014-04-23 15:22:39
【问题描述】：

Pandas csv 解析器 (http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.parsers.read_csv.html) 支持不同的编码：

import pandas
data = pandas.read_csv(myfile, encoding='utf-8', quotechar='"', delimiter=',')

如何为我的数据帧实现 ascii 忽略编码大小写？

encode('ascii', 'ignore')

【问题讨论】：

标签： python csv pandas dataframe

【解决方案1】：

Pandas 似乎不允许你这样做。在使用 pandas 阅读之前，我必须预处理我的 CSV 文件：

decoded = codecs.decode(myfile.read(), "utf-8", "ignore")
encoded = codecs.encode(decoded, "utf-8", "ignore") #probably superfluous
fakefile = StringIO.StringIO(encoded)
data = pandas.read_csv(fakefile, encoding="utf-8")

如果您有一个非常大的 CSV 文件，可能会很糟糕，但您可以一次读取 csv 文件的多个块。

【讨论】：