pyarrow/parquet 错误地保存大时间戳答案

【问题标题】：pyarrow/parquet saving large timestamp incorrectlypyarrow/parquet 错误地保存大时间戳
【发布时间】：2021-11-26 05:09:45
【问题描述】：

我在数据库中有一些时间戳9999-12-31 并试图转换为镶木地板。不知何故，这些时间戳在 parquet 文件中都以 1816-03-29 05:56:08.066 结尾。

下面是一些重现问题的代码。

file_path = "tt.parquet"
schema = pa.schema([pa.field("tt", pa.timestamp("ms"))])
table = pa.Table.from_arrays([pa.array([datetime(9999, 12, 31),], pa.timestamp('ms'))], ["tt"])
writer = pq.ParquetWriter(file_path, schema)
writer.write_table(table)
writer.close()

我没有尝试使用 pandas 读取数据，但我尝试使用 pandas 进行检查，但最终出现 pyarrow.lib.ArrowInvalid: Casting from timestamp[ms] to timestamp[ns] would result in out of bounds timestamp: 错误。

我正在将 parquet 文件加载到 Snowflake 中并取回不正确的时间戳。我也尝试过使用 parquet-tools 进行检查，但这似乎不适用于时间戳。

parquet/pyarrow 不支持大时间戳吗？如何存储正确的时间戳？

【问题讨论】：

Arrow 将时间戳存储为具有四种分辨率（s、ms、us、ns）之一的 64 位整数。日期时间 9999-12-31 将适合 s、ms 和 us 分辨率，但不适合 ns 分辨率：gist.github.com/westonpace/54098651603b4ccfbe905acdd01d4f9c Pandas 仅支持纳秒时间戳。这就解释了为什么在转换为 Pandas 时会出错。我不知道 1816 是从哪里来的。
我认为 1816 来自编写 parquet 文件或加载雪花时未捕获的溢出。鉴于海报的例外情况，Arrow 似乎正在正确地写入和读回该值，然后无法转换它。所以我猜这是雪花问题。
使用上面的代码（并在文件中读回），Arrow 正确地往返了 9999-12-31 的日期，所以我认为这确实是雪花方面的问题。
如果您想将 pyarrow.Table 转换为 pandas DataFrame 而不会遇到越界问题，您可以使用 .to_pandas(timestamp_as_object=True) 来避免尝试转换为 pandas 的纳秒分辨率时间戳。

标签： python snowflake-cloud-data-platform parquet pyarrow

【解决方案1】：

显然，时间戳“9999-12-31”不是用作真正的时间戳，而是用作无效值的标志。

如果在管道的末端 Snowflake 将它们视为“1816-03-29 05:56:08.066”，那么您可以将它们保持原样 - 或者将它们重新转换为您希望它们具有的任何值在雪花。至少它是一致的。

但是，如果您坚持希望 Python 正确处理 9999 个案例，请查看使用 use_deprecated_int96_timestamps=True 解决的这个问题：

handling large timestamps when converting from pyarrow.Table to pandas

【讨论】：

时间戳被用作结束日期，这意味着没有结束日期并且是当前记录。我们正在将 parquet 加载到 Snowflake 中而不进行任何转换，parquet 文件以某种方式存储值 1816-03-29 05:56:08.066
那么，一旦将数据加载到 Snowflake 中，您可以运行该日期的 UPDATE 吗？

【解决方案2】：

事实证明，这是因为我需要在镶木地板上设置 use_deprecated_int96_timestamps=False writer

默认情况下它说它是 False，但我已将风味设置为“火花”，所以我认为它会覆盖它。

感谢您的帮助

【讨论】：