【发布时间】:2019-09-10 16:30:29
【问题描述】:
我有一个 bash 脚本,它从 CloudFormation 堆栈中提取信息并将其放入 Python 脚本中。 Python 脚本旨在连接到 Redshift 数据库、创建表,然后从从 S3 存储桶下载的文件中导入数据。
第一部分有效:
endpoint=$(aws cloudformation describe-stacks --stack-name=BallotOnlineRS --region=us-west-2 \
--query 'Stacks[0].Outputs[?OutputKey==`RedshiftClusterEndpointAddress`].OutputValue' \
--output text)
role=$(aws cloudformation describe-stack-resources --stack-name=BallotOnlineRS --region=us-west-2 \
--logical-resource-id RawDataBucketAccessRole |grep 'PhysicalResourceId' |cut -d: -f2 |sed 's/^ //; s/,//; s/"//g')
sed -i "s/ENDPOINT/${endpoint}/; s/ROLE/${role}/" /tmp/ballotonline_data.py
这会导致必要的字符串到达他们需要的地方:
HOST = 'ballotonliners-redshiftcluster-xxxxxxxxxxxx.cgsdneukfjtv.us-west-2.redshift.amazonaws.com'
ARN_CREDENTIALS = 'arn:aws:iam::xxxxxxxxxxx:role/BallotOnlineRS-RawDataBucketAccessRole-xxxxxxxxxxxx
但是,当我执行 Python 脚本时,我从sqlalchemy 收到以下错误:
sqlalchemy.exc.InternalError: (psycopg2.errors.InternalError_) User arn:aws:redshift:us-west-2:xxxxxxxxxxx:dbuser:ballotonliners-redshiftcluster-1qb2hxkta10t9/admin is not authorized to assume IAM Role arn:aws:iam::xxxxxxxxxxx:role/BallotOnlineRS-RawDataBucketAccessRole-1U56NHFY528VW
DETAIL:
-----------------------------------------------
error: User arn:aws:redshift:us-west-2:xxxxxxxxxxx:dbuser:ballotonliners-redshiftcluster-xxxxxxxxxxxx/admin is not authorized to assume IAM Role arn:aws:iam::xxxxxxxxxxx:role/BallotOnlineRS-RawDataBucketAccessRole-xxxxxxxxxxxx
code: 8001
context: IAM Role=arn:aws:iam::xxxxxxxxxxx:role/BallotOnlineRS-RawDataBucketAccessRole-xxxxxxxxxxxx
query: 76
location: xen_aws_credentials_mgr.cpp:272
process: padbmaster [pid=13823]
-----------------------------------------------
错误中提到的admin 用户是在创建 Redshift 堆栈时创建的,如果我通过登录查询编辑器通过 Redshift UI 访问数据库,则使用同一帐户不会出现错误。这种情况的不同之处在于我使用用户名:密码登录,而不是,我猜,假设一个角色。具体来说,错误中的那个。
Redshift 堆栈是使用模板provided by Thorntech 构建的。这在执行时也是成功的。
有什么想法吗?
编辑:
我在AWS Developer forum 上发现了一个相同的问题,这表明我应该使用逻辑 ID,而不是使用物理资源 ID。在这种情况下,我应该使用RawDataBucketAccessRole 而不是BallotOnlineRS-RawDataBucketAccessRole-xxxxxxxxxxxx。但是,这会导致相同的错误,不同之处在于逻辑 ID 替换了物理 ID。
EDIT2: 针对 John Rotenstein 关于关联角色的问题,以下是定义集群及其相关组件的部分:
Resources:
RedshiftCluster:
Type: AWS::Redshift::Cluster
Properties:
ClusterSubnetGroupName: !Ref RedshiftClusterSubnetGroup
ClusterType: !If [ SingleNode, single-node, multi-node ]
NumberOfNodes: !If [ SingleNode, !Ref 'AWS::NoValue', !Ref RedshiftNodeCount ] #'
DBName: !Sub ${DatabaseName}
IamRoles:
- !GetAtt RawDataBucketAccessRole.Arn
MasterUserPassword: !Ref MasterUserPassword
MasterUsername: !Ref MasterUsername
PubliclyAccessible: true
NodeType: dc2.large
Port: 5439
VpcSecurityGroupIds:
- !Sub ${RedshiftSecurityGroup}
PreferredMaintenanceWindow: Sun:09:15-Sun:09:45
DataBucket:
Type: AWS::S3::Bucket
Properties:
BucketName: !Sub ${DataBucketName}
RawDataBucketAccessRole:
Type: AWS::IAM::Role
Properties:
AssumeRolePolicyDocument:
Version: 2012-10-17
Statement:
-
Effect: Allow
Principal:
Service:
- redshift.amazonaws.com
Action:
- sts:AssumeRole
RawDataBucketRolePolicy:
Type: AWS::IAM::Policy
Properties:
PolicyName: RawDataBucketRolePolicy
PolicyDocument:
Version: 2012-10-17
Statement:
-
Effect: Allow
Action: s3:ListAllMyBuckets
Resource: arn:aws:s3:::*
-
Effect: Allow
Action:
- 's3:Get*'
- 's3:List*'
Resource: '*'
-
Effect: Allow
Action: cloudwatch:*
Resource: "*"
Roles:
- !Ref RawDataBucketAccessRole
在角色之前定义集群是否重要?我怀疑它没有,因为该角色列在 CF UI 中堆栈的资源选项卡下。
EDIT3: 我找到了另一个,similar issue,但它是一个产品。 OP声明他找到了解决方案。因为他使用了错误的角色进行身份验证。当我为我的问题寻找那个途径时,它似乎并不适用,因为我只有一个角色。
【问题讨论】:
-
您(或 CloudFormation 模板)是否将角色与 Redshift 集群相关联?这将通过 CloudFormation 模板的
AWS::Redshift::Cluster属性中的IamRoles参数来完成。 -
@JohnRotenstein 我将相关的 CF sn-p 添加到问题的正文中。
-
@JohnRotenstein 简短回答,是的,
IamRoles参数与集群相关联。 -
我对您的
admin用户的定义位置有点困惑。是 CloudFormation 模板中的MasterUsername,还是您使用其他身份验证方法? -
是的,
MasterUsername是模板中的一个参数。默认为管理员。
标签: python sqlalchemy amazon-redshift amazon-cloudformation