【发布时间】:2015-07-11 19:59:19
【问题描述】:
我是 Scala 和 Spark 的新手,并开始在 Scala IDE(在 Eclipse 中)编写一个简单的 Apache Spark 程序。我将依赖项 jar 文件添加到我的项目中,就像我通常在我的 java 项目中所做的那样,但它无法识别它们并给我以下错误消息 object apache is not a member of package org。我应该如何添加依赖jar文件?
我添加的 jar 文件存在于安装 Spark 的“lib”目录下。
【问题讨论】:
-
在一个 Eclipse Scala 项目中,点击项目图标,选择底部的属性,选择 Java Build Path,选择 Add External Jars,选择你想要的 Jars,点击 Open,点击 Ok 和jar 将位于您项目的 Referenced Libraries 文件夹中,如果需要,该文件夹将位于您项目的 CLASSPATH 中。
-
这实际上是我所做的并得到了这个错误!
-
Spark 存在依赖冲突的问题。我在 Eclipse 中使用 Maven 项目取得了一些成功,但总体而言,它对于我的笔记本电脑上的 Eclipse 来说太重了,我决定将 sbt 与 Eclipse 集成一起使用,这样我就可以使用它的编辑器,然后进行 sbt 构建。
-
@TrisNefzger 因为我是 spark、sbt 和 scala 的新手,你能详细说明一下吗?具体步骤是什么?
-
这个问题太广泛了,无法完整回答。 sbt 是 Scala 的默认(简单)构建工具。它是用 Scala 编写的,可在 scala-sbt.org 获得。它可以使用插件与 Eclipse 集成,该插件可以将 sbt 项目导入 Eclipse。该插件可在github.com/typesafehub/sbteclipse 获得。 Spark 峰会 2014 培训中使用的演示 spark 项目使用 sbt。此培训的资源位于spark-summit.org/2014/training。 Eclipse 非常适合 Java,适合简单的 Scala 项目,但不适合复杂的项目。