Cloudera Hadoop 发行版是否支持 Apache Spark SQL

Question

我是 Apache Spark 的新手。我听说到目前为止，没有一个 CDH 版本支持 Apache Spark SQL，hortonworks 发行版也是如此。这是真的吗..？

另外一个是我的 PC 上安装了 CDH 5.0.0，我的 CDH 支持哪个版本的 Apache Spark..？

也有人可以提供在我的 CDH 发行版中执行我的 Spark 程序的步骤。我已经使用 Apache Spark 1.2 版本编写了一些基本程序，但我无法在 CDH 环境中运行这些程序，当我使用 spark-submit 命令运行 Spark 程序时遇到了非常基本的问题

spark-submit：找不到命令

在运行我的 Spark 程序之前我需要进行任何配置吗？

提前致谢

Answer 1

CDH 的所有发行版都包含整个 Spark 发行版，包括 Spark SQL。

编辑：从 CDH 5.5.x 开始支持它。

CDH 5.0.x 包括 Spark 0.9.x。 CDH 5.3.x 包括 Spark 1.2.x 和 5.4.x 应该发布 1.3.x，因为它即将在上游发布。

如果您使用 CDH，spark-submit 已经是您路径的一部分。如果您从其他地方运行，则必须将此文件放在您的路径上或提供完整路径。这与任何程序相同。所以，这是你设置的问题。