【问题标题】:append to .csv file with pandas使用 pandas 附加到 .csv 文件
【发布时间】:2019-01-24 14:30:45
【问题描述】:

我有一个使用 pandas.DataFrame.to_csv() 来创建我的数据的 .csv 文件的处理,我希望多次执行此处理,每次都将新数据附加到现有文件中。 (每种处理的输出列名相同)

当然,解决我的问题的一个想法是为每个处理创建一个文件,然后将它们连接起来,但我想这样做而不会对我的脚本做太多改动。

是否可以在 pandas 0.14 中附加到现有的 .csv 文件? (不幸的是,我无法升级我的版本)。 我在想我可以使用“模式”参数 http://pandas.pydata.org/pandas-docs/version/0.14.0/generated/pandas.DataFrame.to_csv.html?highlight=to_csv#pandas.DataFrame.to_csv 做一些事情,但我似乎没有找到正确的做法。

有什么建议吗?

【问题讨论】:

    标签: python pandas


    【解决方案1】:

    是的,您可以使用写入模式'a'。您可能还需要/想要使用header=False

    我有点不清楚你为什么不想将.read_csv() 变成df.append() 变成df.to_csv(),但这似乎也是一种选择

    【讨论】:

    • 非常感谢您的回答,您的解决方案可以根据需要运行。正如你所建议的,我也想过阅读和附加,但我的数据量很大,所以我想性能方面,最好是遵循你的第一个建议。
    • 如果你的数据很大,也许你会从使用数据库(或其他东西)中受益
    • 感谢您的建议。我的数据实际上在数据库中,我的处理结果也是如此,但我无法添加新表(服务器管理员约束) - 我不想更改已经存在的结果(我正在测试新软件版本的性能- 仍然需要旧软件版本的处理结果)。所以你有它,:)
    • 非常有意义@MatinaG
    猜你喜欢
    • 2018-05-24
    • 2021-10-06
    • 2021-11-22
    • 1970-01-01
    • 2018-09-25
    • 2021-10-01
    • 2015-03-06
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多