【问题标题】:Adding tags to S3 objects using awswrangler?使用 awswrangler 向 S3 对象添加标签?
【发布时间】:2021-09-07 10:08:29
【问题描述】:

我正在使用awswrangler 在我的 S3 中编写镶木地板,我通常在我的所有对象上添加标签以进行访问和成本控制,但我没有找到直接使用 awswrangler 的方法。我目前正在使用下面的代码进行测试:

import awswrangler as wr
import boto3
import pandas as pd

# Boto session
session = boto3.Session(profile_name='my_profile')

# Dummy pandas dataframe
d = {'col1': [1, 2], 'col2': [3, 4]}
df_pandas = pd.DataFrame(data=d)

wr.s3.to_parquet(df=df_pandas, path='s3://my-bucket/path/', boto3_session=session)

有没有一种方法可以为.to_parquet 将在我的S3 中写入的对象添加标签?

【问题讨论】:

    标签: pandas amazon-web-services amazon-s3 parquet aws-data-wrangler


    【解决方案1】:

    我刚刚发现 awswrangler 有一个名为 s3_additional_kwargs 的参数,您可以将其他变量传递给 awswrangler 为您执行的 s3 请求。您可以发送标签,如 boto3 'Key1=value1&Key2=value2'

    以下是如何为对象添加标签的示例:

    import awswrangler as wr
    import boto3
    import pandas as pd
    
    # Tagging
    tag_set = 'Key1=value1&Key2=value2'
    
    # Boto session
    session = boto3.Session(profile_name='my_profile')
    
    # Dummy pandas dataframe
    d = {'col1': [1, 2], 'col2': [3, 4]}
    df_pandas = pd.DataFrame(data=d)
    
    wr.s3.to_parquet(df=df_pandas, path='s3://my-bucket/path/', s3_additional_kwargs={'Tagging': tag_set}, boto3_session=session)
    

    【讨论】:

      猜你喜欢
      • 2018-09-21
      • 2021-07-10
      • 1970-01-01
      • 2012-09-20
      • 2022-10-14
      • 2018-08-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多