【问题标题】:What is the Scala and Java version for AWS Glue ETL job?AWS Glue ETL 作业的 Scala 和 Java 版本是什么?
【发布时间】:2021-05-07 07:14:31
【问题描述】:

到目前为止,我正在使用带有 Java 8 的 scala 2.11 来构建 Glue ETL 作业使用的库。我们计划使用 Java 11 升级到 Scala 2.12,但不确定 Glue ETL 是否支持它们。

【问题讨论】:

    标签: amazon-web-services aws-glue aws-glue-spark


    【解决方案1】:

    胶水版本列出here。最新版本支持Spark 2.4.3

    Spark 2.4.3 中,Scala 的默认版本是 2.11。

    【讨论】:

    • 感谢您的回答。我还向 AWS 确认了 Glue ETL 目前仅支持 Java 8。这是使用 Java 11 支持 Spark 3.x 的功能请求,但尚未实现。
    • @seiya 没问题。很高兴我的回答很有帮助:-)
    猜你喜欢
    • 1970-01-01
    • 2020-05-20
    • 2022-01-09
    • 2018-01-30
    • 2019-01-29
    • 1970-01-01
    • 2022-07-21
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多