找不到用于 celery-k8s 部署的 AWS 凭证答案

【问题标题】：AWS credentials not found for celery-k8s deployment找不到用于 celery-k8s 部署的 AWS 凭证
【发布时间】：2021-07-27 22:57:54
【问题描述】：

我正在尝试使用 celery-k8s 并使用示例/celery-k8s 作为开始运行 dagster。从操场上运行管道后，我得到了

Initialization of resources [s3, io_manager] failed.
botocore.exceptions.NoCredentialsError: Unable to locate credentials

我已经在文档中提到的环境变量中配置了 aws 凭据

deployments:
    - name: "user-code-deployment-test"
      image:
        repository: "somasays/dagster-usercode-example"
        tag: "0.5"
        pullPolicy: Always
      dagsterApiGrpcArgs:
        - "-f"
        - "/workspace/repo.py"
      port: 3030
      env:
        AWS_ACCESS_KEY_ID: AAAAAAAAAAAAAAAAAAAAAAAAA
        AWS_SECRET_ACCESS_KEY: qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq
        AWS_DEFAULT_REGION: eu-central-1

我还可以看到这些值是在 pod 的 env 变量中设置的，并且还可以在 pip install awscli 和 aws s3 ls 看到作业 pod 下方的屏幕截图之后访问 s3 位置，但是会抛出 Unable to locate credentials

请帮忙

【问题讨论】：

标签： dagster

【解决方案1】：

部署配置适用于用户代码服务器。同时 celery 执行器在不同的 kubernetes 作业中运行你的管道代码。要在那里提供您的秘密，您需要在管道运行配置中配置 celery-k8s 执行器的 env_secrets 字段。

有关配置的详细信息，请参阅https://github.com/dagster-io/dagster/blob/master/python_modules/libraries/dagster-k8s/dagster_k8s/job.py#L321-L327。

【讨论】：