Calcite SQL 无法识别 Apache Beam 中的 CONVERT_TIMEZONE

Question

我正在我的 Beam 管道中运行一个简单的 Sql 转换：

SELECT CONVERT_TIMEZONE('America/New York', 'UTC',(TIMESTAMP '1970-01-01 00:00:00' + OriginalTZ * INTERVAL '1' SECOND)) as MyUTC FROM PCOLLECTION

但我得到了错误：

 No match found for function signature CONVERT_TIMEZONE(<CHARACTER>, <CHARACTER>, <TIMESTAMP>)

但根据 Calcite 文档，语法是这样的。

我使用的是 Apache Beam 2.29 版。但是里面的Calcite sql版本似乎是2019年的旧版本2.20。

如何在 Calcite sql 中使用 CONVERT_TIMEZONE？

Answer 1

Apache Beam 目前使用 Calcite SQL 1.20，而 CONVERT_TIMEZONE 已添加到 1.21。

一种解决方法是使用普通 ParDo 或 Map 来转换时区。如果您使用的是 Python，一些示例：Python Timezone conversion。

Answer 2

我确认这不起作用：https://github.com/apache/beam/pull/15010/files

但是，您可以使用SqlTransform#registerUdf 添加您自己的（如果您愿意，您可以完全使用 Calcite 的 Apache 2.0 许可代码）。