【问题标题】:Why migrate from teradata to hadoop为什么要从 teradata 迁移到 hadoop
【发布时间】:2015-10-25 04:54:09
【问题描述】:

帮助我了解 hadoop 与 teradata 相比有哪些优势。 我们为什么要从 teradat 迁移到 hadoop。 在我的应用程序中,我有一些从 teradata 检索数据的报告,由于数百万行数据,报告非常慢。

迁移到 hadoop 会解决这个问题吗?

【问题讨论】:

  • 您的报告有多复杂,有多少联接、聚合等?
  • 报告非常复杂。目前报告正在从 teradata 视图中获取数据。此视图是在两个具有数百列和数百万行的 teradata 表上创建的。
  • Millions of rows 并不多(Ebay 上最大的 Teradata 表包含 2.600.000.000.000 行),除非该视图非常复杂,否则它不应该运行那么长时间.因此,在迁移之前,您可能会先尝试调整此视图/报告,您可能会打开一个新问题并发布更多详细信息 :-)

标签: hadoop hive teradata


【解决方案1】:

hadoop vs teradata what is the difference 可能重复。

Hadoop 系统的主要优势是可扩展性与商用硬件

正如@dnoeth 在 cmets 中指出的那样。 Teradata 的横向扩展也类似于 Hadoop。但它只能使用昂贵的服务器进行扩展。然而,Hadoop 系统可以使用任何商用硬件(更常见的廉价硬件)进行横向扩展。

在拓荒时代,他们用牛来拉重物,当一头牛无法移动一根圆木时, 他们没有尝试种植更大的牛。我们不应该尝试更大的计算机,而是 更多计算机系统。
——格蕾丝·霍珀

Hadoop 优势

  1. 作为系统的一部分提供的容错。妥善降级,并确保数据可用性。
  2. 集群中的各个节点的容量可能会有所不同。
  3. 在不关闭集群的情况下从集群中添加/删除节点的灵活性。

Hadoop 的缺点

  1. 它是具有高吞吐量和高延迟的批处理系统。
  2. Hadoop 分布式文件系统不允许修改现有文件。
  3. 如果用于小数据,性能会很差。

【讨论】:

  • Teradata 不会向上扩展(单服务器),而是向外扩展(多服务器),与 Hadoop 非常相似(尽管在更昂贵的服务器上,最高 2*14 核 Xeon 和 512 GB RAM) .事实上,两者的基本原则是相同的,将您的工作分成许多较小的子集并并行处理它们。 Teradata 从事 MapReduce 已有 30 多年 :-)
  • @dnoeth 感谢您的解释。我会相应地改变我的答案。
猜你喜欢
  • 1970-01-01
  • 2010-09-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2022-07-21
  • 2013-09-04
  • 1970-01-01
  • 2020-09-05
相关资源
最近更新 更多