如何在 AWS 胶水中检查 Spark 和 Hadoop 的版本？答案

【问题标题】：How to check version of Spark and Hadoop in AWS glue?如何在 AWS 胶水中检查 Spark 和 Hadoop 的版本？
【发布时间】：2019-10-30 09:48:42
【问题描述】：

我将 AWS 与（基本支持计划）一起使用。我想知道在 AWS 粘合作业中使用了哪个版本的 Spark 和 Hadoop (HDFS)。这样我就可以在本地机器上设置相同的环境进行开发。

或者，如果我了解 Spark 的版本，则对应 AWS 胶水作业使用的 Hadoop 版本，反之亦然。

因为我正在使用基本支持计划。所以，我不能向支持中心提出案例。知道我可以在哪里签入 AWS 粘合作业……Spark 和 Hadoop 版本吗？

感谢任何形式的帮助和建议。谢谢！

【问题讨论】：

【解决方案1】：

如果你使用的是 Spark > 2.0 那么

1.In Pyspark:

获取 Spark 版本：

print("Spark Version:" + spark.version)

在火花

sc.version

获取 Hadoop 版本n：

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

2.In Scala:

Spark 版本：

println ("Spark Version:" + spark.version)

在火花

sc.version

Hadoop 版本：

println("Hadoop version: " + org.apache.hadoop.util.VersionInfo.getVersion())

【讨论】：

【解决方案2】：

AWS Glue 支持 Apache Spark 2.2.1，如文档所述 here

AWS 没有在任何地方记录 AWS Glue 的 hadoop 版本。但是，as AWS Glue 实际上是由 AWS EMR 支持的，hadoop 版本将是 2.8.x。

根据 AWS EMR 上的以下文档或 hadoop/spark，我认为它是 2.8.3。

发布标签 5.12.2 有 spark 2.2.1 和 hadoop 2.8.3

【讨论】：