【发布时间】:2022-12-30 10:24:40
【问题描述】:
使用 AWS Glue 爬虫时出现此错误:
[xyz] 错误:不会记录所有读取错误。 com.amazonaws.services.s3.model.AmazonS3Exception:拒绝访问 (服务:Amazon S3;状态代码:403;错误代码:AccessDenied; 请求 ID:xyz; S3 扩展请求 ID:xyz;代理: 空),S3 扩展请求 ID:xyz
我启用了 S3FullAccessRole 和所有 Glue 角色。
有人知道怎么修这个东西吗?
【问题讨论】:
-
您能否提供更多详细信息,例如爬虫配置+IAM角色配置?
-
@RobertKossendey 爬虫安全性是通过 Glue 控制台配置的。 IAM:我有 S3FullAccess、AWSGlueServiceRole、AWSGlueServiceNotebookRole、AWSGlueConsoleFullAccess、CloudWatchLogsReadOnlyAccess。不确定这是否完全回答了您的问题,但我拥有所需的所有主要权限。
-
胶水角色必须具有 s3 权限,而不是作为 IAM 用户的您。
-
@Marcin 你是什么意思?我激活了 AWSGlueServiceRole。这不允许 AWS Glue 访问 S3 吗?
-
是的,正如 Marcin 提到的,您必须将 S3 权限添加到您正在配置的 IAM 角色以运行粘合作业。请尽可能遵循 s3 权限的最小权限原则。
标签: amazon-web-services amazon-s3 aws-glue