在 EMR 集群上引导 Spark 3.0.0

【问题标题】：Bootstrapping Spark 3.0.0 on EMR cluster在 EMR 集群上引导 Spark 3.0.0
【发布时间】：2020-06-22 16:02:15
【问题描述】：

几天前 Spark 3.0.0 发布了。我想使用其中一些功能。 EMR 集群上 Spark 的默认版本现在是 Spark 2.4.5。我专门使用 PySpark。我的问题是：如何在 EMR 集群上安装/引导 Spark 3.0.0？

提前致谢。

【问题讨论】：

  • 你等待 EMR 支持它，或者你在 EMR 之外运行 spark。
  • 好吧，这很不幸。到时候我会等的。感谢 cmets！
  • 这不仅仅是安装 spark。会有很多兼容性问题。设置配置也将是一项艰巨的工作。

标签： amazon-web-services installation pyspark amazon-emr spark3


【解决方案1】：

您需要等待 Spark 3 在 EMR 上可用。从过去的版本来看，您可能需要 1 到 3 个月的时间

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 2016-02-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-02
    • 2020-10-31
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode