在 AWS EMR 上运行的 spark 应用程序的应用程序属性文件放置在哪里

【问题标题】：Where to put application property file for spark application running on AWS EMR在 AWS EMR 上运行的 spark 应用程序的应用程序属性文件放置在哪里
【发布时间】：2018-12-19 23:47:36
【问题描述】：

我正在向 EMR 提交一个 spark 应用程序作业 jar，它正在使用一些属性文件。因此，我可以将其放入 S3 并在创建 EMR 时下载它并将其复制到 EMR 框中的某个位置，如果这是我在引导时创建 EMR 集群本身时执行此操作的最佳方式。

【问题讨论】：

  • 可能重复这个：stackoverflow.com/questions/47535424/…
  • 这不是重复的，我想知道如何在创建 Emr 集群本身时做到这一点
  • 我个人将我的应用程序存储在 s3 上并在引导程序中加载它们。但我不确定这是否是您正在寻找的答案......
  • 如果您使用 spark-submit 将作业作为 EMR 步骤运行，则可以直接在 S3 中引用该文件：spark-submit .... --files s3://mybucket/my/config/file

标签： amazon-web-services apache-spark amazon-emr


【解决方案1】：

检查以下快照

在编辑软件设置中，您可以添加自己的配置或 JSON 文件（存储在 S3 位置）并使用此设置，您可以在创建时将配置参数传递给 EMR 集群。更多详情请查看以下链接

Amazon EMR Cluster Configurations

Configuring Applications

AWS ClI

希望这会对你有所帮助。

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 2018-10-11
    • 1970-01-01
    • 1970-01-01
    • 2021-09-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-10-14
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode