【发布时间】:2017-02-03 14:04:14
【问题描述】:
我已经有一段时间了,并且尝试了所有方法。
我需要确定 GraphFrames 包是否包含在我办公室集群的 spark 安装中。我正在使用 Spark 版本 1.5.0。
有没有办法列出 Spark 中所有已安装的包?
【问题讨论】:
-
导入包,看看一个测试作业是成功还是失败?寻找相关的 .jar 文件?
标签: python apache-spark pyspark
我已经有一段时间了,并且尝试了所有方法。
我需要确定 GraphFrames 包是否包含在我办公室集群的 spark 安装中。我正在使用 Spark 版本 1.5.0。
有没有办法列出 Spark 中所有已安装的包?
【问题讨论】:
标签: python apache-spark pyspark
无论如何都要包含包以确保例如通过 spak 提交:
$SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.1.0-spark1.6
【讨论】: