【发布时间】：2017-02-14 02:08:31
【问题描述】：
我想使用 spark 流来监控 s3 目录并返回添加到该目录的任何新文件的路径。 textFileStream 和 fileStream 似乎都无法做到这一点。真的有办法完成我想做的事吗？
编辑：Spark 版本。 2.1.0
【问题讨论】：
-
Spark 版本？
-
@mrsrinivas spark 2.1.0
-
您可以添加您尝试过的代码吗？确保您已正确配置访问和密钥以访问 s3 文件系统。
标签： scala apache-spark amazon-s3 spark-streaming