如何使用 PyYAML 读取 python 元组？

Question

我有一个名为 input.yaml 的 YAML 文件：

cities:
  1: [0,0]
  2: [4,0]
  3: [0,4]
  4: [4,4]
  5: [2,2]
  6: [6,2]
highways:
  - [1,2]
  - [1,3]
  - [1,5]
  - [2,4]
  - [3,4]
  - [5,4]
start: 1
end: 4

我正在使用 PyYAML 加载它并打印结果如下：

import yaml

f = open("input.yaml", "r")
data = yaml.load(f)
f.close()

print(data)

结果是如下数据结构：

{ 'cities': { 1: [0, 0]
            , 2: [4, 0]
            , 3: [0, 4]
            , 4: [4, 4]
            , 5: [2, 2]
            , 6: [6, 2]
            }
, 'highways': [ [1, 2]
              , [1, 3]
              , [1, 5]
              , [2, 4]
              , [3, 4]
              , [5, 4]
              ]
, 'start': 1
, 'end': 4
}

如您所见，每个城市和高速公路都表示为一个列表。但是，我希望它们被表示为一个元组。因此，我使用推导手动将它们转换为元组：

import yaml

f = open("input.yaml", "r")
data = yaml.load(f)
f.close()

data["cities"] = {k: tuple(v) for k, v in data["cities"].items()}
data["highways"] = [tuple(v) for v in data["highways"]]

print(data)

但是，这似乎是一个 hack。有什么方法可以指示 PyYAML 直接将它们读取为元组而不是列表？

Answer 1

我遇到了与问题相同的问题，我对这两个答案不太满意。在浏览我发现的 pyyaml 文档时 真的有两个有趣的方法yaml.add_constructor 和yaml.add_implicit_resolver。

隐式解析器通过将字符串与正则表达式匹配，解决了必须用!!python/tuple 标记所有条目的问题。我也想使用元组语法，所以写 tuple: (10,120) 而不是写一个列表 tuple: [10,120] 然后得到 转换成元组，我个人觉得很烦人。我也不想安装外部库。代码如下：

import yaml
import re

# this is to convert the string written as a tuple into a python tuple
def yml_tuple_constructor(loader, node): 
    # this little parse is really just for what I needed, feel free to change it!                                                                                            
    def parse_tup_el(el):                                                                                                            
        # try to convert into int or float else keep the string                                                                      
        if el.isdigit():                                                                                                             
            return int(el)                                                                                                           
        try:                                                                                                                         
            return float(el)                                                                                                         
        except ValueError:                                                                                                           
            return el                                                                                                                

    value = loader.construct_scalar(node)                                                                                            
    # remove the ( ) from the string                                                                                                 
    tup_elements = value[1:-1].split(',')                                                                                            
    # remove the last element if the tuple was written as (x,b,)                                                                     
    if tup_elements[-1] == '':                                                                                                       
        tup_elements.pop(-1)                                                                                                         
    tup = tuple(map(parse_tup_el, tup_elements))                                                                                     
    return tup                                                                                                                       

# !tuple is my own tag name, I think you could choose anything you want                                                                                                                                   
yaml.add_constructor(u'!tuple', yml_tuple_constructor)
# this is to spot the strings written as tuple in the yaml                                                                               
yaml.add_implicit_resolver(u'!tuple', re.compile(r"\(([^,\W]{,},){,}[^,\W]*\)")) 

最后通过执行这个：

>>> yml = yaml.load("""
   ...: cities:
   ...:   1: (0,0)
   ...:   2: (4,0)
   ...:   3: (0,4)
   ...:   4: (4,4)
   ...:   5: (2,2)
   ...:   6: (6,2)
   ...: highways:
   ...:   - (1,2)
   ...:   - (1,3)
   ...:   - (1,5)
   ...:   - (2,4)
   ...:   - (3,4)
   ...:   - (5,4)
   ...: start: 1
   ...: end: 4""")
>>>  yml['cities']
{1: (0, 0), 2: (4, 0), 3: (0, 4), 4: (4, 4), 5: (2, 2), 6: (6, 2)}
>>> yml['highways']
[(1, 2), (1, 3), (1, 5), (2, 4), (3, 4), (5, 4)]

与我没有测试过的load 相比，save_load 可能存在潜在缺陷。

Answer 2

根据您的 YAML 输入来自“hack”的位置是一个很好的解决方案，特别是如果您使用 yaml.safe_load() 而不是不安全的 yaml.load()。如果您的 YAML 文件中只有“叶”序列需要是元组，您可以这样做 ¹：

import pprint
import ruamel.yaml
from ruamel.yaml.constructor import SafeConstructor


def construct_yaml_tuple(self, node):
    seq = self.construct_sequence(node)
    # only make "leaf sequences" into tuples, you can add dict 
    # and other types as necessary
    if seq and isinstance(seq[0], (list, tuple)):
        return seq
    return tuple(seq)

SafeConstructor.add_constructor(
    u'tag:yaml.org,2002:seq',
    construct_yaml_tuple)

with open('input.yaml') as fp:
    data = ruamel.yaml.safe_load(fp)
pprint.pprint(data, width=24)

哪个打印：

{'cities': {1: (0, 0),
            2: (4, 0),
            3: (0, 4),
            4: (4, 4),
            5: (2, 2),
            6: (6, 2)},
 'end': 4,
 'highways': [(1, 2),
              (1, 3),
              (1, 5),
              (2, 4),
              (3, 4),
              (5, 4)],
 'start': 1}

如果您随后需要处理更多序列需要再次成为“正常”列表的材料，请使用：

SafeConstructor.add_constructor(
    u'tag:yaml.org,2002:seq',
    SafeConstructor.construct_yaml_seq)

---

¹ _{这是使用 ruamel.yaml 一个 YAML 1.2 解析器完成的，我是它的作者。如果您只需要支持 YAML 1.1 和/或由于某种原因无法升级，您应该能够对旧的 PyYAML 做同样的事情}

Answer 3

我不会把你所做的事情称为你想要做的事情。根据我的理解，您的替代方法是在您的 YAML 文件中使用特定于 python 的标签，以便在加载 yaml 文件时适当地表示它。但是，这需要您修改 yaml 文件，如果该文件很大，可能会非常烦人且不理想。

查看进一步说明这一点的PyYaml doc。最终，您希望在您想要表示的结构前面放置一个!!python/tuple。要获取您的样本数据，它会：

YAML 文件：

cities:
  1: !!python/tuple [0,0]
  2: !!python/tuple [4,0]
  3: !!python/tuple [0,4]
  4: !!python/tuple [4,4]
  5: !!python/tuple [2,2]
  6: !!python/tuple [6,2]
highways:
  - !!python/tuple [1,2]
  - !!python/tuple [1,3]
  - !!python/tuple [1,5]
  - !!python/tuple [2,4]
  - !!python/tuple [3,4]
  - !!python/tuple [5,4]
start: 1
end: 4

示例代码：

import yaml

with open('y.yaml') as f:
    d = yaml.load(f.read())

print(d)

将输出：

{'cities': {1: (0, 0), 2: (4, 0), 3: (0, 4), 4: (4, 4), 5: (2, 2), 6: (6, 2)}, 'start': 1, 'end': 4, 'highways': [(1, 2), (1, 3), (1, 5), (2, 4), (3, 4), (5, 4)]}