是否可以将两个不同的数据库实用程序（如 Teradata 的快速导出到 Greenplum 的 GPloader）结合起来？答案

【问题标题】：Is it possible to combine two different database utility like Teradata's Fast export to Greenplum's GPloader?是否可以将两个不同的数据库实用程序（如 Teradata 的快速导出到 Greenplum 的 GPloader）结合起来？
【发布时间】：2019-07-03 17:25:24
【问题描述】：

通常，我使用带有一些 ETL 工具的 JDBC 连接将数据从一个数据库（即 Teradata）移动到另一个数据库（即 Greenplum）。

但是，这两个数据库都带有内置实用程序，可以非常快速地加载/导出大量数据，比 JDBC 快得多！但据我所知，缺点是它只能对文件执行此操作。

所以，如果我想使用它们，我必须遵循这样的流程-

Teradata ---（快速导出）---> 文件 ---（Gploader）---> Greenplum

我想知道是否可以跳过文件部分并结合两个实用程序。

Teradata ---(FastExport & Gploader)--> Greenplum.

这样我可以非常快速地传输大量数据！

【问题讨论】：

FastExport（以及较新和推荐的 TPT Export）可以导出到命名管道，不知道 GPloader 是否支持从管道读取
命名管道为您提供单个输入通道。无需使用 gpload。您可以将其通过管道传输到 COPY 中。

标签： teradata greenplum fastexport

【解决方案1】：

是的，你当然可以。 Greenplum 支持各种外部表。一种解决方案是使用执行命令的外部表。该命令可以是连接到 Teradata 以获取数据并使用 FastExport 选项的 Java 程序。

我为此编写了“gplink”工具。它自动为 JDBC 源创建 Greenplum 外部表。

Github： https://github.com/pivotalguru/gplink

Teradata 连接示例： https://github.com/pivotalguru/gplink/blob/master/connections/teradata.properties

还有我的博客： http://www.pivotalguru.com/?page_id=982

【讨论】：