Spark 文件流中的零输入速率答案

【问题标题】：Zero Input rate in Spark file streamingSpark 文件流中的零输入速率
【发布时间】：2017-06-29 22:03:22
【问题描述】：

我正在使用 textFileStream 从 Amazon s3 流式传输数据。它只给我第一批的输出。除此之外，Spark UI 中的输入率始终为零。我的问题类似于Spark Streaming: Input Rate and File stream [0] has "Avg: 0.00 events/sec" always

任何帮助将不胜感激。

谢谢。

【问题讨论】：

标签： apache-spark spark-streaming

【解决方案1】：

我目睹了同样的行为。我的猜测是 UI 将这些指标基于接收者，因为 textFileStream 实际上并没有被接收者返回（ “file streams do not require running a receiver”），数字是（错误的）0。这是有道理的，因为在使用同样不受接收器支持的 Kafka 流时，seen 的行为相同。

【讨论】：

【解决方案2】：

EMR 和他们的 s3:// 或 Apache Spark 和 s3n/s3a 客户端？

【讨论】：

我使用 Amazon EMR 创建了集群，文件是来自 Amazon S3 的流。
那不是我的代码，帮不上忙。尝试启动 spark 和 aws 库中的日志记录以进行调试并查看实际发生的情况，