从 AWS S3 下载文件，无需 Python 中的访问和密钥

Question

我有一个工作代码可以从 S3 中的一个存储桶下载文件，并在 Python 中完成一些转换工作。我没有在代码中嵌入访问密钥和密钥，但密钥在我的 AWS CLI 配置中。

import boto3
import botocore


BUCKET_NAME = 'converted-parquet-bucket' # replace with your own bucket name
KEY = 'json-to-parquet/names.snappy.parquet' # replace with path and follow with key object

s3 = boto3.resource('s3')

try:
    s3.Bucket(BUCKET_NAME).download_file(KEY, 'names.snappy.parquet') #  replace the key object name
except botocore.exceptions.ClientError as e: # exception handling
    if e.response['Error']['Code'] == "404":
        print("The object does not exist.") # if object that you are looking for does not exist it will print this
    else:
        raise

# Un comment lines 21 and 22 to convert csv to parquet
# dataframe = pandas.read_csv('names.csv')
# dataframe.to_parquet('names.snappy.parquet' ,engine='auto', compression='snappy')

data = pq.read_pandas('names.snappy.parquet', columns=['Year of Birth', 'Gender', 'Ethnicity', "Child's First Name", 'Count', 'Rank']).to_pandas()


#print(data) # this code will print the ALL the data in the parquet file

print(data.loc[data['Gender'] == 'MALE']) # this code will print the data in the parquet file ONLY what is in the query (SQL query)

有人可以帮助我如何在在代码中嵌入访问和密钥或在 AWS 配置中

的情况下让此代码正常工作

Answer 1

如果您在本地运行函数，则需要在本地凭证/配置文件中包含您的凭证才能与 AWS 资源交互。

另一种方法是在 AWS Lambda 上运行（如果您的函数定期运行，您可以使用 CloudWatch Events 进行设置）并使用 Environment Variables 或 AWS Security Token Service (STS) 生成临时凭证。

Answer 2

如果您不想使用密钥/访问密钥，则应使用 roles 和 policies。这是交易：

定义一个角色（例如RoleWithAccess）并确保您的用户（在您的凭据中定义）可以担任该角色

为RoleWithAccess 设置策略，授予对您的存储桶的读/写访问权限

如果您在本地机器上执行它，请运行必要的命令 (AWS CLI) 来创建一个 配置文件，让您假设 RoleWithAccess（例如ProfileWithAccess）

使用 session 执行你的脚本，传递这个 profile 作为参数，这意味着你需要替换：

s3 = boto3.resource('s3')

与

session = boto3.session.Session(profile_name='ProfileWithAccess')
s3 = session.resource('s3')

这种方法的好处是，如果您在 EC2 实例中运行它，您可以在构建实例时将其绑定到特定角色（例如RoleWithAccess）。在这种情况下，您可以完全忽略会话、配置文件、所有 AWS CLIhocus pocus，然后运行 ​​s3 = boto3.resource('s3')。

您还可以使用 AWS Lambda，设置 role 和 policy 对您的存储桶具有读/写权限。