【问题标题】:Preserve one column in timestamp format when write pd.to_csv写入 pd.to_csv 时以时间戳格式保留一列
【发布时间】:2021-12-23 12:15:07
【问题描述】:

我需要将以下数据框写入 csv:

prodid    value           timestamp  
322         4           2021-11-03 17:32:12.252   
123        34           2021-11-03 18:42:12.602
...

或

import datetime

df = pd.DataFrame([(0, 4, datetime.datetime.strptime("2021-11-03 14:32:13.4)02", "%Y-%m-%d %H:%M:%S.%f"), 
                   (1, 34, datetime.datetime.strptime("2021-11-03 18:42:12.602", "%Y-%m-%d %H:%M:%S.%f"))],
                   columns=['prodid', 'value', 'timestamp'])

当我将其写入 StringIO 缓冲区中的 csv 时:

import io

io_buff = io.StringIO()
df.to_csv(io_buff, sep='\t', header=False, index=False)

列timestamp 不再保留为datetime。当我进一步处理这个io_buff 时,例如将其写入Postgres 表,列timestamp 写为numeric。

使用pd.to_csv() 写入时如何保留时间戳格式?

【问题讨论】:

    标签: python pandas stringio


    【解决方案1】:

    csv 文件格式不能保留任何类型,因为它只是一堆逗号分隔的字符串。由 csv 文件的使用者将其解析为所需的类型。避免它。

    如果您只想使用 pandas 存储数据并再次使用 pandas 读取,请使用 parquet 或 Feather,这样您将保留您的类型(并节省 90% 的磁盘空间,并使写入/读取速度提高 10 倍)。

    如果您想将数据写入 postgres,请使用 df.to_sql(..., method='multi')。如果这还不够快,并且您正在做一些疯狂的COPY 魔术,那么请按照此答案https://stackoverflow.com/a/55495065/6110160 来信,如果仍然失败,请在您的问题中添加更多详细信息。

    【讨论】:

      猜你喜欢
      • 2017-08-05
      • 2021-11-10
      • 2015-06-14
      • 2020-01-11
      • 1970-01-01
      • 2017-09-20
      • 1970-01-01
      • 2019-04-22
      • 1970-01-01
      相关资源
      最近更新 更多