为什么我的 lambda 函数在尝试访问 S3 存储桶时会被拒绝访问？答案

【问题标题】：Why does my lambda function get Access Denied trying to access an S3 bucket?为什么我的 lambda 函数在尝试访问 S3 存储桶时会被拒绝访问？
【发布时间】：2021-05-10 08:19:09
【问题描述】：

Lambda 执行角色对 51 个函数具有 s3 访问权限，包括 ListBuckets 和所有其他读取操作。
我的 S3 存储桶有一个允许从 lambda 角色访问的策略。（无论如何它都在同一个帐户中，所以我认为这不是必需的）。
我什至让存储桶公开访问只是为了好玩。

这是 lambda 代码。我不确定为什么 bucket.objects.all() 无法访问 s3。

导入 json 导入 boto3 s3 = boto3.resource('s3')

def lambda_handler（事件，上下文）：打印（事件）

message = 'Hello {}!'.format(event['Records'][0]['s3']['bucket']['name'])  
print(message)
bucket = s3.Bucket('my-bucketname-demo')
# this works
print(bucket.creation_date)

# this fails on access denied
# Iterates through all the objects, doing the pagination for you. Each obj
# is an ObjectSummary, so it doesn't contain the body. You'll need to call
# get to get the whole body.
for obj in bucket.objects.all():
    key = obj.key
    body = obj.get()['Body'].read()
    print(key)
    print(body)
    
return {
    'statusCode': 200,
    'body': json.dumps('Hello from Lambda!')
}

这是错误： [ERROR] ClientError: 调用 ListObjects 操作时发生错误 (AccessDenied): Access Denied

Lambda 执行角色政策

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:GetLifecycleConfiguration",
                "s3:GetBucketTagging",
                "s3:GetInventoryConfiguration",
                "s3:GetObjectVersionTagging",
                "s3:ListBucketVersions",
                "s3:GetBucketLogging",
                "s3:ListBucket",
                "s3:GetAccelerateConfiguration",
                "s3:GetBucketPolicy",
                "s3:GetStorageLensConfigurationTagging",
                "s3:GetObjectVersionTorrent",
                "s3:GetObjectAcl",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketObjectLockConfiguration",
                "s3:GetIntelligentTieringConfiguration",
                "s3:GetBucketRequestPayment",
                "s3:GetAccessPointPolicyStatus",
                "s3:GetObjectVersionAcl",
                "s3:GetObjectTagging",
                "s3:GetMetricsConfiguration",
                "s3:GetBucketOwnershipControls",
                "s3:GetBucketPublicAccessBlock",
                "s3:GetBucketPolicyStatus",
                "s3:ListBucketMultipartUploads",
                "s3:GetObjectRetention",
                "s3:GetBucketWebsite",
                "s3:GetJobTagging",
                "s3:GetBucketVersioning",
                "s3:GetBucketAcl",
                "s3:GetObjectLegalHold",
                "s3:GetBucketNotification",
                "s3:GetReplicationConfiguration",
                "s3:ListMultipartUploadParts",
                "s3:GetObject",
                "s3:GetStorageLensConfiguration",
                "s3:GetObjectTorrent",
                "s3:DescribeJob",
                "s3:GetBucketCORS",
                "s3:GetAnalyticsConfiguration",
                "s3:GetObjectVersionForReplication",
                "s3:GetBucketLocation",
                "s3:GetAccessPointPolicy",
                "s3:GetObjectVersion",
                "s3:GetStorageLensDashboard"
            ],
            "Resource": "arn:aws:s3:::my-bucket-demo/*"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "s3:ListStorageLensConfigurations",
                "s3:GetAccessPoint",
                "s3:GetAccountPublicAccessBlock",
                "s3:ListAllMyBuckets",
                "s3:ListAccessPoints",
                "s3:ListJobs",
                "s3:ListObjects"
            ],
            "Resource": "*"
        }
    ]
}

【问题讨论】：

您可以添加您的角色策略和存储桶策略吗？另外，您的存储桶是否已加密，如果是，Lambda 角色是否有权访问 KMS 密钥？
存储桶未加密。
发布了角色政策。

标签： amazon-web-services amazon-s3 aws-lambda

【解决方案1】：

您当前的资源arn:aws:s3:::my-bucket-demo/* 代表my-bucket-demo 中的仅对象。随后，与存储桶相关的任何操作（例如ListBucket）都不适用。您应该将 bucket 资源 ``arn:aws:s3:::my-bucket-demo` 添加到您的策略中：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:GetLifecycleConfiguration",
                "s3:GetBucketTagging",
                "s3:GetInventoryConfiguration",
                "s3:GetObjectVersionTagging",
                "s3:ListBucketVersions",
                "s3:GetBucketLogging",
                "s3:ListBucket",
                "s3:GetAccelerateConfiguration",
                "s3:GetBucketPolicy",
                "s3:GetStorageLensConfigurationTagging",
                "s3:GetObjectVersionTorrent",
                "s3:GetObjectAcl",
                "s3:GetEncryptionConfiguration",
                "s3:GetBucketObjectLockConfiguration",
                "s3:GetIntelligentTieringConfiguration",
                "s3:GetBucketRequestPayment",
                "s3:GetAccessPointPolicyStatus",
                "s3:GetObjectVersionAcl",
                "s3:GetObjectTagging",
                "s3:GetMetricsConfiguration",
                "s3:GetBucketOwnershipControls",
                "s3:GetBucketPublicAccessBlock",
                "s3:GetBucketPolicyStatus",
                "s3:ListBucketMultipartUploads",
                "s3:GetObjectRetention",
                "s3:GetBucketWebsite",
                "s3:GetJobTagging",
                "s3:GetBucketVersioning",
                "s3:GetBucketAcl",
                "s3:GetObjectLegalHold",
                "s3:GetBucketNotification",
                "s3:GetReplicationConfiguration",
                "s3:ListMultipartUploadParts",
                "s3:GetObject",
                "s3:GetStorageLensConfiguration",
                "s3:GetObjectTorrent",
                "s3:DescribeJob",
                "s3:GetBucketCORS",
                "s3:GetAnalyticsConfiguration",
                "s3:GetObjectVersionForReplication",
                "s3:GetBucketLocation",
                "s3:GetAccessPointPolicy",
                "s3:GetObjectVersion",
                "s3:GetStorageLensDashboard"
            ],
            "Resource": ["arn:aws:s3:::my-bucket-demo",
                         "arn:aws:s3:::my-bucket-demo/*"]
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "s3:ListStorageLensConfigurations",
                "s3:GetAccessPoint",
                "s3:GetAccountPublicAccessBlock",
                "s3:ListAllMyBuckets",
                "s3:ListAccessPoints",
                "s3:ListJobs",
                "s3:ListObjects"
            ],
            "Resource": "*"
        }
    ]
}

【讨论】：

【解决方案2】：

简短回答

确保您正在使用的角色具有下一个策略，并且该角色已附加到您正在使用的 lambda：


{
  "Version": "version_id",
  "Statement": [
    {
        "Sid": "some_id",
        "Effect": "Allow",
        "Action": [
            "s3:*"
        ],
        "Resource": [
            "arn:aws:s3:::bucketname",
            "arn:aws:s3:::bucketname/*"
        ]
    }
  ] 
}

为获得最佳实践，请仅使用您应有的权限

长答案

创建定义 Lambda 函数权限的 IAM 策略。所需权限包括：

从源 S3 存储桶中获取对象。

将调整大小的对象放入目标 S3 存储桶。
与 CloudWatch Logs 相关的权限。

创建 IAM 政策

在 IAM 控制台中打开 Policies page。

选择创建政策

在 JSON 选项卡下，复制以下策略。确保源和目标存储桶名称与您创建的存储桶匹配。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": "arn:aws:s3:::bucketname/*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::bucketname/*"
        },
        {
          "Effect": "Allow",
          "Action": [
              "s3:ListBucket"
          ],
          "Resource": [
              "arn:aws:s3:::bucketname"
          ]
      }
    ]
}

选择查看政策，指定政策名称并创建政策。

创建执行角色

创建执行角色，授予您的函数访问 AWS 资源的权限。

在 IAM 控制台中打开 roles page。
选择创建角色。

使用以下属性创建角色。

可信实体 – AWS Lambda。

权限 - 选择之前创建的策略。

角色名称 - lambda-s3-role。

AWSLambdaS3Policy 策略具有该函数管理 Amazon S3 中的对象以及如果您尚未将该角色附加到 lambda 所需的权限。您可以将其附加到 lambda 配置中。

【讨论】：

【解决方案3】：

我需要在没有 AWS 开发工具包的情况下获取对象，但我遇到了同样的问题。

我通过创建一个具有静态 IP 的 lambda 函数并允许该 IP 地址在 S3 存储桶上为 GetObject 解决了这个问题。

创建一个新的 VPC 来运行您的代码 - 或使用现有的 VPC - 如果您已经有一个具有私有/公共子网的 VPC 和一个具有弹性 IP 地址的 NAT 网关，您可以转到第 6 步。
创建一个新的 Internet 网关，以便从您的 VPC 内部与 Internet 通信。
创建一个公共子网并向路由表添加一个新路由，该路由从 0.0.0.0/0 路由到您的 Internet 网关。
为静态 IP 创建一个新的弹性 IP 地址。创建一个新的 NAT 网关并将其分配给您刚刚使用的公共子网和弹性 IP 地址。
创建一个私有子网并向路由表添加一个新路由，该路由从 0.0.0.0/0 路由到您的 NAT 网关。
创建一个安全组并根据您的要求设置入站和出站规则（理想情况下没有入站流量并允许所有出站流量）。
将 VPC、子网、安全组附加到 lambda 函数。
创建或更新 S3 存储桶策略以包含静态 IP 地址。

{
    "Version": "2012-10-17",
    "Id": "Policy1234567890",
    "Statement": [
        {
            "Sid": "IPAllow",
            "Effect": "Allow",
            "Principal": "*",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::<s3-bucket-name>/*",
            "Condition": {
                "IpAddress": {
                    "aws:SourceIp": [
                        "<IP-Address>"
                    ]
                }
            }
        }
    ]
}

您应该能够使用 GET 方法从 lambda 访问对象。

【讨论】：