将 scala-spark 文件编译为 jar 文件

【问题标题】：compile scala-spark file to jar file将 scala-spark 文件编译为 jar 文件
【发布时间】：2017-08-22 18:21:30
【问题描述】：

我正在做一个频繁项集的项目，我使用算法 FP-Growth，我依赖于 Scala-Spark 开发的版本

https://github.com/apache/spark/blob/v2.1.0/mllib/src/main/scala/org/apache/spark/mllib/fpm/FPGrowth.scala

我需要修改这段代码并重新编译它以生成一个 jar 文件，我可以将它包含到 Spark-shell 中，并在 spark 中调用它的函数

问题是 spark-shell 不是解释器，它在这个文件中发现错误，我用 eclipse 尝试了 Sbt 但它没有成功。 我需要的是可以使用最新版本的 scala 和 spark-shel 库将此文件编译为 jar 文件的编译器。

【问题讨论】：

  • 您能分享您遇到的错误吗？您是否尝试将 jar 包含到 spark-shell 并从 .scala 文件中调用其函数？
  • 其实，我想要的是一种编译我自己的类并将其转换为jar文件并将其包含到spark-shell中，然后从spark shell调用我的类函数的方法。

标签： eclipse scala apache-spark sbt


【解决方案1】：

现在有你的问题！

您需要做的就是为您要使用的机器添加依赖 jars（scala、java 等）。稍后将罐子添加到 spark-shell 中，您可以像下面这样使用它，

spark-shell --jars your_jar.jar

【讨论】：

    【解决方案2】：

    按照以下步骤操作：

    • 查看 Spark 存储库
    • 修改要修改的文件
    • 构建项目
    • 运行位于 Spark 存储库中的 ./dev/make-distribution.sh 脚本
    • 从您的 Spark 发行版运行 Spark Shell

    【讨论】：

    • 我无法修改 spark 存储库中的 jar 文件，我的问题是以另一种方式编译我自己的类并将其包含到 spark-shell 中
    • 您必须创建自己的发行版。您不必将 jars 上传到 Maven Central，您可以从本地存储库中读取 jars
    猜你喜欢
    • 1970-01-01
    • 2020-07-22
    • 1970-01-01
    • 2020-08-22
    • 2018-05-19
    • 1970-01-01
    • 2016-01-23
    • 2016-12-05
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode