Postgresql - 在导入到时间戳时合并 csv 的时间和日期

Question

我正在尝试将数据从 csv 文件导入到 postgresql，不幸的是它的格式不完美。

例子：

DATE,TIME,NUMERIC,NUMERIC,NUMERIC,NUMERIC,INTEGER

我想将数据导入到包含列的表中：

timestamp with timezone, numeric, numeric, numeric, numeric, integer

为了导入我使用复制的数据：

COPY tabledata FROM 'c:\Users\Public\Downloads\test.csv' DELIMITERS ',' CSV;

当然它不起作用，因为日期和时间用“”分隔，所以 postgresql 假定它们是 2 个单独的数据字段。

我已经设法将 .csv 导入到与 .csv 一样设置的表中，但是我需要稍后将日期和时间作为带有时区的时间戳，因为我将处理大量数据由于性能问题，导入后转换将是我的最后选择。

我尝试使用“sed 's/,/ /' EURUSD30.csv > EURUSD30E.csv”在导入之前编辑 .csv 文件，但是我收到一条错误消息，提示输入了命令“'s/”错误或找不到。我很无知，因为这似乎对其他人都有效，但这也不是我的第一选择。

如果 postgresql 可以在导入时简单地被告知将时间和日期合并为一个时间戳值，那就更容易了。有什么想法吗？

谢谢

Answer 1

最好的办法是将COPY 数据写入TEMPORARY 或UNLOGGED 表，然后从那里执行：

INSERT INTO real_table
SELECT col1, col2, col3, datecol + timecol, col6, ...
FROM temp_copy_table;

您也可以在该过程中进行任何其他所需的数据按摩。

合并时考虑时区。 DATE + TIME 产生一个timestamp without time zone：

regress=# SELECT pg_typeof(DATE '2012-02-01' + TIME '10:00');
          pg_typeof          
-----------------------------
 timestamp without time zone
(1 row)

并且您可能想要存储带有时区的时间戳，因此您可能想要告诉 Pg 将日期+时间解释为处于特定时区：

(datecol + timecol) AT TIME ZONE 'UTC'

或任何时间戳的本地时区。