GCP Data Fusion 多表导入答案

【问题标题】：GCP Data Fusion multiple table importGCP Data Fusion 多表导入
【发布时间】：2021-01-29 18:09:33
【问题描述】：

我正在尝试使用 Multiple Database Tables 和 BigQuery Multi Table Data Fusion 插件在一个管道中导入多个表

但是当我尝试执行时出现以下错误

java.util.concurrent.ExecutionException: java.lang.IllegalArgumentException: BigQuery Multi Table has no outputs. Please check that the sink calls addOutput at some point.

我正在使用 Data Fusion 版本 6.1.4 多数据库表版本 1.2.0 和 BigQuery 多表版本 0.14.8。

对可能出现的问题有什么建议吗？

编辑：

以下配置多表数据库源

{
            "name": "Multiple Database Tables",
            "plugin": {
                "name": "MultiTableDatabase",
                "type": "batchsource",
                "label": "Multiple Database Tables",
                "artifact": {
                    "name": "multi-table-plugins",
                    "version": "1.2.0",
                    "scope": "USER"
                },
                "properties": {
                    "splitsPerTable": "1",
                    "referenceName": "multiTable",
                    "connectionString": "${secure(connection)}",
                    "jdbcPluginName": "netezza",
                    "user": "${secure(username)}",
                    "password": "${secure(password)}",
                    "whiteList": "categoria_l,cliente_l,regione_l"
                }
            },
            "outputSchema": [
                {
                    "name": "etlSchemaBody",
                    "schema": ""
                }
            ]
        },

经过进一步测试，问题是源响应为空，因为数据融合不是从源数据库读取视图，而是从表中读取

【问题讨论】：

您的管道是否成功完成，将表填充到 Bigquery 接收器？
似乎BigQuery Multi Table 插件不会产生任何输出模式，但基本上是传播 Bigquery 作业以跨表插入/更新列。
之前的数据存储在临时GCS存储桶中，然后导入到Bigquery表中。
@Nick_Kh 否，如果我运行管道失败并出现问题中报告的错误

标签： google-cloud-platform google-cloud-data-fusion cdap

【解决方案1】：

似乎Multiple Database Tables 来源没有产生任何记录（“Out 0”）。我会先检查那里。您可以使用预览模式进行快速检查。插件文档here.