【发布时间】：2019-02-27 17:37:57
【问题描述】：
我正在从事一个项目，该项目涉及使用 HDFS 进行存储和 Spark 进行计算。
我需要将传感器中的数据实时存储到 HDFS 中。
例如，我有一个气象站，传感器每 5 秒生成一次数据（温度压力）。我想知道如何将这些数据实时存储在hdfs中
【问题讨论】：
标签： apache-spark spark-streaming sensors
【发布时间】：2019-02-27 17:37:57
【问题描述】：
将大量小文件直接写入HDFS可能会产生一些不良影响，因为它会影响主节点内存使用，并且与批处理相比可能会导致处理速度降低。
您的任何传感器每月都会产生 50 万个文件，因此，除非您的传感器数量非常有限，否则我建议您查看消息代理。 Apache Kafka (https://kafka.apache.org/) 是众所周知的，并且已经捆绑在一些 Hadoop 发行版中。例如，您可以使用它来“暂存”您的数据并在（小）批量中处理它。
最后，如果您需要实时处理传入的数据（CEP 等），我建议您关注 Spark Streaming (https://spark.apache.org/streaming/) 技术。
【讨论】：