Google Cloud Data Fusion - 基于函数的动态参数

Question

大家早上好，

我正在 Google Data Fusion 中寻找一种方法，使 GCS 上存储的源文件的名称动态化。待处理文件按生效日期命名，例如：2020-12-10_data.csv

我需要动态设置文件名，以便管道每天使用正确的文件（类似于：${ new Date(). Getfullyear()... }_data.csv

我设法通过将日期指定为字符串 (2020-12-10) 而非函数来在运行时使用参数。

更一般地说，是否有任何关于如何使用现成或自定义“函数”输入动态参数的文档（我找不到）

提前感谢您的帮助。

Answer 1

有一个现成的解决方法，你可以试试“BigQuery Execute”插件。

步骤：

1. 在 SQL 中输入以下查询

select cast(current_date as string) ||'_data.csv' 作为文件名 --for output '2020-12-15_data.csv'

1. Row 作为“真”的参数
2. 现在通过 ${filename} 使用上面的参数，无论你想要什么。