【问题标题】:Why the object, which I read a csv file using pandas from, is TextFileReader object为什么我使用 pandas 读取 csv 文件的对象是 TextFileReader 对象
【发布时间】:2017-06-10 05:08:01
【问题描述】:

我使用 pandas 读取了一个 csv 文件:

data_raw = pd.read_csv(filename, chunksize=chunksize)
print(data_raw['id'])

然后,它报告TypeError:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'TextFileReader' object has no attribute '__getitem__'

我可以做些什么来解决这个问题?以及如何将 data_raw 更改为 dataFrame 对象? 我使用python2.7和pandas v0.19.1

【问题讨论】:

  • 显示您的 csv 文件。目前尚不清楚您的目标是什么。明确你想做什么。 data_raw 已经是 DataFrame 对象。检查print(type(data_raw))
  • 谢谢。但是 data_raw 的类型是 TextFileReader 因为块。 (pandas.pydata.org/pandas-docs/stable/generated/…)。你也可以看看我的另一个问题(stackoverflow.com/questions/41843342/…)。代码的目的是将一个大的 csv 文件(4GB)读入一个数据帧。但是电脑的内存只有3GB左右。

标签: python pandas


【解决方案1】:

您可以将 TextFileReader 转换为 Dataframe。对于小数据,请使用:

df = pd.concat(MyTextFileReader, ignore_index=True)

请参阅How to read data in Python dataframe without concatenating?,也可查看大数据解决方案。

【讨论】:

    【解决方案2】:

    解决此问题的一种方法是在pd.read_csv() 函数中设置nrows 参数,这样您就可以选择要加载到数据框中的数据子集。当然,缺点是您将无法查看和使用完整的数据集。代码示例:

    data = pd.read_csv(filename, nrows=100000)
    

    【讨论】:

      【解决方案3】:

      当您将chunksize 选项传递给read_csv() 时,它会创建一个TextFileReader 阅读器 - 一个类似打开文件的对象,可用于分块读取原始文件。在此处查看用法示例:How to read a 6 GB csv file with pandas 当不提供此选项时,该函数确实会读取文件内容。

      【讨论】:

      • 非常感谢。但是如果我想将数据读入DataFrame,我仍然不知道如何修改代码。你可以帮帮我吗?顺便说一句,计算机的 RAM 只有 3GB。并且 CSV 文件超过 3GB。
      • 我已经阅读了“如何使用 pandas 读取 6 GB csv 文件”。我在 for 循环语句中使用 pd.DataFrame.append(chunk, ....) 。但它报告“你没有足够的内存”错误。
      猜你喜欢
      • 1970-01-01
      • 2020-08-11
      • 1970-01-01
      • 1970-01-01
      • 2017-08-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多