气流：“ListObjectsV2 操作：访问被拒绝”使用 GoogleCloudStorageToS3Operator答案

【问题标题】：Airflow: "ListObjectsV2 operation: Access Denied" using GoogleCloudStorageToS3Operator气流：“ListObjectsV2 操作：访问被拒绝”使用 GoogleCloudStorageToS3Operator
【发布时间】：2019-11-19 15:13:08
【问题描述】：

我想将文件从 GCS 传输到 S3。测试我的连接的第一个操作员 (S3KeySensor) 运行良好。但不幸的是，我收到第二个错误（GoogleCloudStorageToS3Operator）： “调用 ListObjectsV2 操作时发生错误 (AccessDenied)：访问被拒绝”，这是一个 S3 错误。

# test
sensor = S3KeySensor(
    task_id='check_s3_for_file_in_s3',
    bucket_key='folder1/folder2/*',
    wildcard_match=True,
    bucket_name='test.mydomain.com',
    aws_conn_id='aws_connection',
    timeout=18*60*60,
    poke_interval=120,
    dag=dag)

impressions_from_gcs_to_s3 = GoogleCloudStorageToS3Operator(
    task_id='impressions_from_gcs_to_s3',
    bucket="mygcsbucket",
    delimiter=filename,
    google_cloud_storage_conn_id="google_cloud_storage_default",
    dest_aws_conn_id="aws_connection",
    dest_s3_key="s3://test.mydomain.com/folder1/folder2/",
    dag=dag,
)

我不确定如何解决此问题。

【问题讨论】：

这是一个 S3 错误。与您的 AWS 管理员合作，让用户从 ListObjectsV2 操作的气流权限访问 S3。
我没有问题要做：“aws s3 ls s3://...” 没有 ListObjectsV2 操作可以吗？
您用于测试aws s3 ls s3://etc 的本地用户是否与气流用户相同？从你的问题来看，GoogleCloudStorageToS3Operator 似乎需要使用ListObjectsV2 所以我会说这是不可能的。
我确认是同一用户。
听起来这就是问题所在！

标签： amazon-s3 google-cloud-storage airflow

【解决方案1】：

这发生在我身上，你需要为这个 dag 的执行角色添加一个策略。我给你举个例子，以防你需要在存储桶中添加或删除对象：

{
"Version": "2012-10-17",
"Statement": [
    {
        "Sid": "VisualEditor0",
        "Effect": "Allow",
        "Action": [
            "s3:PutObject",
            "s3:GetObjectAcl",
            "s3:GetObject",
            "s3:PutBucketPolicy",
            "s3:DeleteObject",
            "s3:PutObjectAcl",
            "s3:ListBucket"
        ],
        "Resource": [
            "arn:aws:s3:::my-bucket-a/*","arn:aws:s3:::my-bucket-a",
            .
            .
            .
            "arn:aws:s3:::my-bucket-n/*","arn:aws:s3:::my-bucket-n"
        ]
    }
]

}

【讨论】：