【问题标题】:Teradata Fast export (or TPT) vs Sqoop exportTeradata 快速导出(或 TPT)与 Sqoop 导出
【发布时间】:2018-07-22 09:05:57
【问题描述】:

编辑:需要确定哪个更适合从 Teradata 导出大量数据 - Sqoop、TPT 或 fexp

OP:我已经知道 teradata 的快速导出和 TPT 不能用于将数据直接导出到 Hadoop。我可以将数据带到本地环境并并行移动到 hadoop。

我想知道哪种工具以最有效的方式从 Teradata 中提取数据。

我必须提取具有巨大数据量的数据集(近 250 亿条记录 ~ 15 TB 大小)。 当然,Teradata 中的数据分区很好,我将根据分区和唯一 PI 拆分我的提取策略。

我找不到足够的内容来直接比较 Teradata 实用程序和 Sqoop。

哪种工具对 Teradata 环境中当前正在运行的作业的影响最小,并以最优化的方式提取数据。

【问题讨论】:

  • TPT可以直接导出到Hadoop,看我贴的链接

标签: hadoop teradata sqoop fastexport


【解决方案1】:

当然,Teradata 的 FastExport 不能用于直接导出到 Hadoop,它是一个旧的遗留工具,不再增强。

任何新的开发都应该使用 TPT 来完成,例如

Using the DataConnector Operator to Write Files and Tables in Hadoop

Common Data Movement Jobs

【讨论】:

  • 在那种情况下,哪一个更适合导出海量数据-TPT(或)Sqoop?
  • 感谢@dnoeth 的建议。我现在在我的问题中也包括了 TPT。我想将 Teradata 实用程序与 Sqoop 进行比较以进行提取
  • 对 Teradata 中当前正在运行的作业的影响最小应该有 TPT。
猜你喜欢
  • 2020-05-02
  • 1970-01-01
  • 2015-03-25
  • 1970-01-01
  • 2015-09-25
  • 2014-08-21
  • 2019-05-31
  • 2016-01-15
  • 1970-01-01
相关资源
最近更新 更多