在 Cloud Data Fusion 中加载许多表失败并出现 DAG 错误

Question

我有一个包含大约 1000 个表的 MS SQL Server 数据源，我需要将其放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的临时表中，然后对它们执行转换。但是，一旦我创建了一个带有两个“岛”的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何内容。我的管道如下所示：

当我尝试部署时遇到的错误是：“无效的 DAG。有一个由 BigTest、BigQuery BigTest 阶段组成的岛（没有其他阶段连接到它们）。”

Answer 1

每个管道都是一个 DAG（有向无环图），所有源和接收器都应连接，以使配置有效。您可以使用多表源插件，可以一次将多个表引入BQ中的一个登陆表。

您可以将 Multi table 插件和 BQ Multi table sink 用于您的用例。