Hadoop 如何获取未存储在 HDFS 上的输入数据？

Question

我正在尝试将我的大脑包裹在 Hadoop 上并阅读 this excellent tutorial 并仔细阅读 official Hadoop docs。然而，在这些文献中，我都找不到一个简单的解释来解释一些非常基本的东西：

在所有人为设计的“Hello World!”（字数统计）介绍性 MR 示例中，输入数据直接存储在文本文件中。然而，对我来说，感觉在现实世界中很少会出现这种情况。我想象实际上，输入数据将存在于大型数据存储中，例如关系数据库、Mongo、Cassandra，或者只能通过 REST API 等获得。

所以我问：在现实世界中，Hadoop 是如何获取其输入数据的？ 我确实看到有像 Sqoop 和 Flume 这样的项目，我想知道整个问题是否这些框架只是简单地将 ETL 输入数据输入到 HDFS 上以运行 MR 作业。

Answer 1

实际上，在现实世界的应用程序中需要 HDFS 的原因有很多。

• 非常高的带宽支持 Map Reduce 工作负载和可扩展性。
• 数据可靠性和容错性。由于复制和分布式性质。关键数据系统所必需的。
• 灵活性 - 您无需预处理数据即可将其存储在 HDFS 中。

Hadoop 被设计为一次写入多次读取的概念。通常用于摄取的 Kafka、Flume 和 Sqoop 本身具有很强的容错性，并为 HDFS 的数据摄取提供高带宽。有时需要每分钟从数千个源中提取数据，数据以 GB 为单位。为此，需要这些工具以及容错存储系统-HDFS。