【问题标题】:Ubuntu install apache spark via apt-getUbuntu 通过 apt-get 安装 apache spark
【发布时间】:2017-07-24 09:31:10
【问题描述】:

我需要安装 spark 并在一台机器上以独立模式运行它,并寻找一种直接通过 apt-get 安装它的方法

我通过 pip here 找到了如何使用 pyspark 完成此操作

我找不到任何方法来使用一个终端命令安装 spark。

安装 pyspark 会安装所有 spark 软件吗?

我找到instructions了解如何安装spark,而且比较复杂

有没有办法通过 apt-get 使用类似的终端命令安装 spark?

编辑

我发现 this 解释了如何使用 apt-get 安装 spark,我收到以下错误

E: 无法定位包 spark-core E: 无法定位包 spark-master E:无法找到包 spark-worker E:无法找到 定位包 spark-history-server E: 无法定位包 火花蟒

谢谢

【问题讨论】:

  • 感谢@VíctorLópez,但这不​​是通过 apt-get 进行的,也没有解释 pyspark 是否可以替代 spark?
  • 能否请您发布sudo apt-get install spark 命令的输出?我刚刚在我的 Linux Mint(基于 od Ubuntu)上执行了它,它没有问题。
  • @kchomski 查看编辑
  • @kchomski sudo apt-get install spark 将安装基于 Ada 编程语言的“SPARK 编程语言工具集”(参见packages.ubuntu.com/artful/devel/spark)。这不是(!)“Apache Spark”。

标签: python ubuntu apache-spark


【解决方案1】:

在安装 pyspark 之前,您必须安装 Java8。这在

中进行了描述

要在 Ubuntu 上全自动安装 Java8,请执行

$ apt-get update
$ apt-get -y install software-properties-common
$ add-apt-repository -y ppa:webupd8team/java
$ echo debconf shared/accepted-oracle-license-v1-1 select true | debconf-set-selections
$ echo debconf shared/accepted-oracle-license-v1-1 seen true | debconf-set-selections
$ apt-get update
$ apt-get -y install oracle-java8-installer

(见https://newfivefour.com/docker-java8-auto-install.html

之后你可以简单地运行pip install pyspark

【讨论】:

  • 你能解释一下如何通过终端下载完整的火花吗?这个我的意思是spark.apache.org/downloads.html
  • 使用pip install pyspark的不需要下载spark。
  • 你不能在 pyspark 中使用 spark 的全部功能,例如,你不能在你的机器上使用 pyspark 启动 master 或 slave,你只能使用已经存在的 spark 集群在另一台机器上设置
  • 我可以通过 import pyspark; sc=pyspark.SparkContext() 使用 pyspark。默认情况下,这将使用 master-url local[*] 。 (见spark.apache.org/docs/latest/…)。我不需要设置 spark 集群就能做到这一点。
  • 如果你还想通过终端下载完整的火花,请curl -LJO "https://www.apache.org/dyn/mirrors/mirrors.cgi?action=download&filename=spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz"
猜你喜欢
  • 1970-01-01
  • 2016-07-28
  • 1970-01-01
  • 2017-12-04
  • 2011-07-31
  • 1970-01-01
  • 2014-04-20
  • 1970-01-01
  • 2017-01-26
相关资源
最近更新 更多