【发布时间】：2020-07-23 07:11:28
【问题描述】：
我正在使用谷歌云数据融合从 AWS 提取 CSV 文件，应用指令，并将生成的文件存储在 GCS 中。有没有办法为牧马人动态生成 CSV 文件的输出模式？我正在将输入路径、指令、输出模式作为宏上传到参数设置器。我只能看到导入和导出输出架构的选项。
【问题讨论】：
-
为了进一步调查，我需要更多信息。当您说“生成 csv 文件的输出模式”时，您介意详细说明您正在做什么以及您想要实现的目标吗？
-
我目前正在创建一个 Datafusion 管道，该管道从 AWS 提取 csv，应用转换并将其加载到 GCS 存储桶中。我为输出模式创建了一个宏，这样我就可以在运行时传递一个表示输出模式的 JSON 文件，因为每个文件的模式都会发生变化。有没有其他方法可以自动检测 csv 输入文件的架构（比如我们在 BigQuery 中加载 csv 文件时）并将其传递给输出架构字段？