【问题标题】:pandas.DataFrame.to_csv not exporting all rowspandas.DataFrame.to_csv 不导出所有行
【发布时间】:2018-09-11 13:21:48
【问题描述】:

有谁知道可能导致 pandas.DataFrame.to_csv 不导出完整数据帧的原因?

print(len(df))
[77814 rows x 42 columns]
df.to_csv('filename.csv'))

生成的 csv 文件有 54470 行,并且在文件下方 1/3 左右缺少数据块。我的数据带有时间戳,我可以看出丢失的数据是一大块,而不是整个文件中的随机点。 我在 python 3.6.5 中工作,pandas 是 0.22.0。

非常感谢您的帮助

【问题讨论】:

  • 你用什么软件来检查 CSV 中的行数?
  • 我已在文本编辑器中打开它以确保它不是重新导入问题。线条确实不存在。
  • type(df) ? 是什么
  • type(df)<class 'pandas.core.frame.DataFrame'>
  • 你能在reset_index之后检查数据帧的长度吗,我猜你是在执行之前的操作但没有改变索引

标签: python python-3.x pandas export-to-csv missing-data


【解决方案1】:

我也有同样的问题

我使用这段代码向我的 CSV 文件添加标题行

df1 = pd.read_csv("/home/pip-tag/EXPERIMENTS/3376-M-CSV.csv", header=None)

df1.rename(columns={0: 'Creation TS' , 1: 'Processing TS', 2: 'TXID', 3: 'RSSI', 4: 'SEQNO', 5: 'CAP', 6: 'XAxis', 7: 'YAxis', 8: 'ZAxis', 9: 'X', 10: 'Y', 11: 'Z', 12: 'ADC Weight', 13: 'Calb Weight', 14: 'TS period', 15: 'Total Time'}, inplace=True)
df1.to_csv("/home/pip-tag/EXPERIMENTS/3376-M-Final.csv", index=False) # save to new csv file

运行后,会添加标题行,但并非所有行都导出到新的 CSV 文件(3376-M-Final)!

【讨论】:

    【解决方案2】:

    也许是一个很长的镜头,但在我的情况下,我试图写入 CSV,它一直覆盖数据并只保存最后一批,所以我将模式从默认写入 [用 'w' 表示] 更改为附加[用'a'表示]像这样:

    df.to_csv(filename, index=False, mode='a')
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-11-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多