【发布时间】：2018-04-18 07:13:49
【问题描述】：
最近我正在使用 S3 在 Object Store 上设置我的 Hadoop 集群，所有数据文件都存储在 S3 而不是 HDFS 中，并且我在 S3 上成功运行了 spark 和 MP，所以我想知道我的 namenode 是否仍然需要，如果是的话，当我在 S3 上运行 hadoop 应用程序时，我的 namenode 做了什么？谢谢。
【问题讨论】：
标签： hadoop amazon-s3 hdfs namenode
【发布时间】：2018-04-18 07:13:49
【问题描述】：
不，前提是您有办法处理 S3 缺乏交付工作提交者所需的一致性这一事实。每隔一段时间，如果 S3 的列表足够不一致，您的结果将是无效的您甚至不会注意到。
AWS 上 Spark 的不同供应商以自己的方式解决了这个问题。如果您使用的是 ASF spark，则没有任何捆绑软件可以做到这一点。
【讨论】：