使用 PyYAML 库解析 AWS CloudFormation 模板

Question

我正在使用需要读取 AWS CloudFormation YAML 模板的 PyYAML 库编写自定义 Python 应用程序。

我知道这些模板是有效的 CloudFormation 模板，因为我使用 validate-template 对其进行了测试：

▶ aws cloudformation validate-template --template-body file://cloudformation.yml

但是，当我尝试使用 PyYAML 库读取它们时，我收到如下错误：

yaml.scanner.ScannerError: 此处不允许映射值

和

无法确定标签“!Sub”的构造函数

和其他人。

举个例子，我试试这个 AWS 示例模板：

▶ curl -s \
    https://raw.githubusercontent.com/awslabs/aws-cloudformation-templates/master/aws/services/CloudFormation/FindInMap_Inside_Sub.yaml \
    -o FindInMap_Inside_Sub.yaml

然后：

▶ python
Python 2.7.15 (default, Nov 27 2018, 21:40:55) 
[GCC 4.2.1 Compatible Apple LLVM 10.0.0 (clang-1000.11.45.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import yaml
>>> yaml.load(open('FindInMap_Inside_Sub.yaml'))

这会导致：

yaml.constructor.ConstructorError: could not determine a constructor for the tag '!FindInMap'
  in "FindInMap_Inside_Sub.yaml", line 89, column 45

如何使用 PyYAML 等库或其他库解析 CloudFormation YAML 文件？

Answer 1

可以使用aws-cfn-template-flip 项目附带的cfn_tools 库。

安装库：

▶ pip install cfn_flip

那么在模板中读取的最简单的 Python 可能是：

#!/usr/bin/env python
  
import yaml
from cfn_tools import load_yaml, dump_yaml

text = open('./FindInMap_Inside_Sub.yaml').read()
data = load_yaml(text)

print(dump_yaml(data))

这个库并没有真正记录在案，但其中也有各种方法可以自定义输出的格式，值得探索。

Answer 2

Alex's answer 遇到了一些问题，因为它会自动将我的 CF 模板转换为长格式。因此，任何!Ref Thing 调用都被转换为字典映射。

如果您想匹配 input.template 文件的原始输入，请使用：

from cfn_tools import load_yaml
import cfn_flip.yaml_dumper
import yaml


with open('input.template') as f:
    raw = f.read()
    data_dict = load_yaml(raw)

with open('output.template', 'w') as f:
    dumper = cfn_flip.yaml_dumper.get_dumper(clean_up=False, long_form=False)
    raw = yaml.dump(
        data_dict,
        Dumper=dumper,
        default_flow_style=False,
        allow_unicode=True
    )
    f.write(raw)

您还可以将clean_up=False 更改为True 以执行一些智能格式化，这在我的情况下效果很好。

我在运行 cfn cli 工具并在我的模板上看到正确的短格式输出后发现了这一点。然后我用that main file作为参考，按照代码路径走。

Answer 3

他们的 aws-cfn-template-flip 项目将 cfn 模板转换为/从 json 和 yaml 是一个很好的起点。 示例查看yaml_loader.py 脚本。 它显示了它是如何添加 yaml 构造函数的。 在底部，您会看到：

CfnYamlLoader.add_constructor(TAG_MAP, construct_mapping)
CfnYamlLoader.add_multi_constructor("!", multi_constructor)

您可能会对那里的construct_mapping 方法感兴趣。从那里，您可以查看代码是如何工作的。