无法从运行 pyspark 内核的 emr 笔记本中的 s3 存储桶下载文件

【问题标题】：Not able to Download file from s3 bucket inside emr notebook running with pyspark kernel无法从运行 pyspark 内核的 emr 笔记本中的 s3 存储桶下载文件
【发布时间】：2020-10-17 18:08:34
【问题描述】：

我已经创建了一个具有 spark 和其他一些工具的 emr 集群，但是当启动 emr notebook 并尝试访问 s3 存储桶文件时，我无法从 s3 下载文件，出现权限被拒绝错误。所有默认角色都可以访问 s3。

【问题讨论】：

  • 检查您的 EMR_EC2 角色。该角色是否有权访问test-emr-bucket-111？
  • 是的，我已将 AWSS3FullAccess 授予 EMR_EC2 角色
  • 这个 EMR 集群是在私有子网还是公有子网中？
  • 仅限公共子网
  • 肯定的，我会的

标签： amazon-s3 pyspark jupyter-notebook amazon-emr


【解决方案1】：

权限被拒绝是在 emr 写入端，而不是 s3 读取端。尝试下载到/tmp/位置

【讨论】：

    猜你喜欢
    • 2017-02-16
    • 2021-07-24
    • 2015-09-01
    • 2020-09-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode