【发布时间】:2018-07-22 09:05:57
【问题描述】:
编辑:需要确定哪个更适合从 Teradata 导出大量数据 - Sqoop、TPT 或 fexp
OP:我已经知道 teradata 的快速导出和 TPT 不能用于将数据直接导出到 Hadoop。我可以将数据带到本地环境并并行移动到 hadoop。
我想知道哪种工具以最有效的方式从 Teradata 中提取数据。
我必须提取具有巨大数据量的数据集(近 250 亿条记录 ~ 15 TB 大小)。 当然,Teradata 中的数据分区很好,我将根据分区和唯一 PI 拆分我的提取策略。
我找不到足够的内容来直接比较 Teradata 实用程序和 Sqoop。
哪种工具对 Teradata 环境中当前正在运行的作业的影响最小,并以最优化的方式提取数据。
【问题讨论】:
-
TPT可以直接导出到Hadoop,看我贴的链接
标签: hadoop teradata sqoop fastexport