【发布时间】：2018-03-04 21:45:50
【问题描述】：
我需要将数据从 hdfs 写入 kinesis 流以进行进一步计算。有人可以指导我如何将数据从 hdfs 放入运动流。 例如，我在 hdfs 上有镶木地板格式的数据。我现在想将数据放入运动流。以及如何控制 kinesis 中允许的限制。
谢谢。
【问题讨论】：
标签： amazon-web-services hadoop apache-spark amazon-kinesis
【发布时间】：2018-03-04 21:45:50
【问题描述】：
将数据从 HDFS 流式传输到 kafka/Kinesis 是一个比较常见的问题。一种常见的方法是在 HDFS 和 Kafka 之间使用 Apache Flume。您需要将 Kafka 设置为目标，并将 HDFS 设置为源。
Flume 与 Kinesis 配合使用。检查this。这使 Kinesis 能够 源或汇。
【讨论】：
-
Flume 是一种通用的数据聚合服务。只要有可用的连接器，它就适用于任何接收器或源。