使用 Boto3 配置文件覆盖 S3 端点答案

【问题标题】：Override S3 endpoint using Boto3 configuration file使用 Boto3 配置文件覆盖 S3 端点
【发布时间】：2015-12-13 14:35:09
【问题描述】：

概述：

我正在尝试使用配置文件 (~/aws/confg) 覆盖 boto3 中的某些变量。在我的用例中，我想使用 fakes3 服务并将 S3 请求发送到 localhost。

示例：

在boto（不是boto3）中，我可以在~/.boto 中创建一个类似于此的配置：

[s3]
host = localhost
calling_format = boto.s3.connection.OrdinaryCallingFormat

[Boto]
is_secure = False

客户端可以成功获取所需的更改，而不是将流量发送到真正的 S3 服务，而是将其发送到本地主机。

>>> import boto
>>> boto.connect_s3()
S3Connection:localhost
>>>

我尝试了什么：

我正在尝试使用boto3 库来获得类似的结果。通过查看源代码，我发现我可以使用~/aws/config 位置。我还在botocore 的unittests 文件夹中找到了一个示例配置。

我尝试修改配置以实现所需的行为。但不幸的是，它不起作用。

这里是配置：

[default]
aws_access_key_id = XXXXXXXXX
aws_secret_access_key = YYYYYYYYYYYYYY
region = us-east-1
is_secure = False
s3 =
    host = localhost

问题：

如何使用配置文件覆盖clients变量？
在哪里可以找到配置允许的变量的完整列表？

【问题讨论】：

可能是更新，但如果我们使用 python 2，我们可以这样做：boto.connect_s3( aws_access_key_id=[ACCESS KEY], aws_secret_access_key=[SECRET KEY], host='localhost', port =4572，is_secure=True，calling_format=boto.s3.connection.OrdinaryCallingFormat())

标签： python amazon-web-services boto boto3 botocore

【解决方案1】：

boto3 仅从该配置文件中读取 s3 的签名版本。您可能想要打开功能请求，但现在您可以通过以下方式处理自定义端点：

import boto3
from botocore.utils import fix_s3_host
resource = boto3.resource(service_name='s3', endpoint_url='http://localhost')
resource.meta.client.meta.events.unregister('before-sign.s3', fix_s3_host)

关于元的那一点很重要，因为boto3 会在它认为合适1 时自动将端点更改为your_bucket_name.s3.amazonaws.com。如果您将同时使用自己的主机和 s3，您可能希望覆盖该功能而不是完全删除它。

【讨论】：

我怎样才能为 sns 做到这一点？

【解决方案2】：

您不能在配置文件中设置主机，但是您可以使用 boto3 从代码中覆盖它。

import boto3

session = boto3.session.Session()

s3_client = session.client(
    service_name='s3',
    aws_access_key_id='aaa',
    aws_secret_access_key='bbb',
    endpoint_url='http://localhost',
)

然后你就可以像往常一样互动了。

print(s3_client.list_buckets())

【讨论】：

这对我没有帮助，我在执行 list_buckets() 时出错。botocore.exceptions.ClientError: An error occurred (InvalidBucketName) when calling the ListBuckets operation: The specified bucket is not valid.
你能分享你的boto版本吗？ @AniruddhaTekade

【解决方案3】：

另一种方式：

import boto3

s3client = boto3.client('s3', endpoint_url='http://X.X.x.X:8080/',
        aws_access_key_id = 'XXXXXXX',
        aws_secret_access_key = 'XXXXXXXX')
bucket_name = 'aaaaa'
s3client.create_bucket(Bucket=bucket_name)

【讨论】：

是否需要端点url的尾部斜杠和端口？
如果你点击 AWS S3，你不需要指定端口。

【解决方案4】：

使用 boto3 资源：

import boto3

# use third party object storage
s3 = boto3.resource('s3', endpoint_url='https://URL:443',
  aws_access_key_id = 'AccessKey',
  aws_secret_access_key = 'SecertKey')

# Print out bucket names
for bucket in s3.buckets.all():
 print(bucket.name)

【讨论】：

【解决方案5】：

我刚刚向 boto3 提交了一个 PR 以添加一个 env var 以允许您在需要使用使用 boto3 的依赖模块时覆盖 endpoint_url（在这种情况下，您可能无法修改对 boto3 的调用.client 直接）

https://github.com/boto/boto3/pull/2746

https://github.com/rwillmer/boto3

【讨论】：

【解决方案6】：

s3_client = boto3.client(
    "s3",
    "us-east-1",
    aws_access_key_id="test_id",
    aws_secret_access_key="test_key",
    endpoint_url="https://localhost:7000",
    use_ssl=True,
    verify=False,
)

【讨论】：