s3 中的镶木地板工具无法使用 boto3 访问文件答案

【问题标题】：parquet-tools from s3 cannot access file using boto3s3 中的镶木地板工具无法使用 boto3 访问文件
【发布时间】：2020-12-22 22:05:23
【问题描述】：

我有一个 python 脚本可以创建一个boto3 会话：

session = boto3.Session(profile_name='myprofile')

然后我尝试做：

parquet_meta = subprocess.check_output(f'parquet-tools inspect {file}', shell=True)

但这会返回无法访问 s3 文件或它不存在。我还尝试使用会话定义一个 s3 客户端：

service_resource = session.resource('s3')

但两者都不起作用。

有一种方法可以从s3 运行parquet-tools 命令，以防我需要从本地测试它，然后我需要一个配置文件？

我知道代码没问题，因为如果我在本地主机中使用 parquet 文件测试 parquet-tools 语句，它会返回预期的输出。

【问题讨论】：

【解决方案1】：

终于解决了。

你可以使用参数--awsprofile:

parquet_meta = subprocess.check_output(f'parquet-tools inspect {file} --awsprofile {mypofile}', shell=True)

【讨论】：