从 R 到 scala：导入库

Question

我来自 R，我正在尝试使用 scala 来探索进行数据科学的可能性。我没有任何编程或计算机科学背景，我的背景几乎是统计数据。到目前为止，我只使用 REPL 中的 scala，我喜欢它，因为它让我想起了 R 控制台。

我在尝试导入新库时遇到问题。在 R 中，在 R 控制台中，我只需键入

library(tidyverse)

在 scala 中，我正在尝试做类似的事情，但它并没有真正起作用。这是我所看到的：

Welcome to Scala 2.12.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_172).
Type in expressions for evaluation. Or try :help.

scala> import org.apache.spark.mllib.linalg.vectors
<console>:11: error: object apache is not a member of package org
       import org.apache.spark.mllib.linalg.vectors
              ^

我做错了什么？ 谢谢

Answer 1

Apache Spark 不是一个可以从标准 Scala 库中导入的简单包，而是一个独立的生态系统，由带有 Java/Scala API 的 JAR、集群管理器、分布式文件系统、各种启动器脚本和交互式外壳（对于 Scala，但也适用于 Python）。 它不是您在计算机上运行的单个交互式脚本。它是一个在集群上运行的协作程序的复杂组合。

你有几个选择：

1. 使用 SBT：在 build.sbt 中将 spark 声明为依赖项，从 SBT 控制台或作为正确构建的项目以独立模式运行它，使用 run
2. 与 1. 基本相同，但使用 Ammonite 和 $ivy 导入来管理依赖项。
3. 只需访问 Spark 网站并按照那里的安装说明进行操作即可。除此之外，它迟早会为您提供一个脚本，该脚本可以启动交互式 Scala REPL，其中包含运行 Spark 作业所需的所有依赖项。

我建议直接走3. 和download Spark from here。