【问题标题】:Finding out installed packages in Spark在 Spark 中查找已安装的软件包
【发布时间】:2017-02-03 14:04:14
【问题描述】:

我已经有一段时间了,并且尝试了所有方法。

我需要确定 GraphFrames 包是否包含在我办公室集群的 spark 安装中。我正在使用 Spark 版本 1.5.0

有没有办法列出 Spark 中所有已安装的包?

【问题讨论】:

  • 导入包,看看一个测试作业是成功还是失败?寻找相关的 .jar 文件?

标签: python apache-spark pyspark


【解决方案1】:

无论如何都要包含包以确保例如通过 spak 提交:
$SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.1.0-spark1.6

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-04-12
    • 2013-11-23
    • 1970-01-01
    • 1970-01-01
    • 2021-09-13
    • 2019-12-16
    • 2021-11-07
    • 1970-01-01
    相关资源
    最近更新 更多