以下使用 Hadoop 生态系统的用例的最佳方法是什么？

Question

1. 我通过 restservice 从 1000 多个传感器单元获取数据到我的 Web 服务器，我将这些传感器数据写入单个文件。
2. 我通过 Flume 将这些传感器数据存储到 HDFS。
3. 通过 PIG、Hive 和 MR，我正在分析数据并将其存储回 HDFS 4。分析后，我将通过 Sqoop 写回 RDBMS。 请指导我我是否遵循正确的方法？

Answer 1

我认为该管道没有任何问题，如果它满足您的需求......您就是黄金。

你可能想读一些关于 Kafka 的文章；也许谷歌“Kafka vs. Flume”。根据您的限制，您可能会发现 Kafka 很有吸引力。