Dask 分布式无法找到凭据答案

【问题标题】：Dask Distributed Unable to locate credentialsDask 分布式无法找到凭据
【发布时间】：2017-08-09 09:09:01
【问题描述】：

我无法使用读取的数据帧访问我在 S3 上的文件：df_read_csv。我得到错误：Exception: Unable to locate credentials

当我的分布式 dask 针对本地工作核心运行时，这可以正常工作。但是，当我导入带有附加工作服务器集群的客户端时，它会失败。我的集群是在 ubuntu 上使用 dask-ec2 创建的，头服务器上有 1 个调度程序和 3 个工作服务器（都是 ubuntu）。

我假设失败是因为所有工作人员也需要访问 S3。我已经在所有这些设备上安装了 aws cli 并使用我的密钥进行连接，并且可以从 cli 中列出 S3 存储桶。但是，由于某种原因，我的数据框读取引发了 ubuntu 错误，提示 boto 无法找到凭据

我浏览了各种帖子，但似乎找不到任何有用的东西。这是错误的截图：

【问题讨论】：

标签： ubuntu amazon-s3 dask-distributed

【解决方案1】：

嗨，马特，您应该将 key 和 secret 添加到 storage_options。就我而言，我将它们保存在 settings.py

import dask.dataframe as dd
import settings

df = dd.read_csv("s3://gra-dask-ec2/us_cities.csv",
                  storage_options={'key': settings.AWS_ACCESS_KEY_ID,
                                   'secret': settings.AWS_SECRET_ACCESS_KEY})

【讨论】：