Python - 解析文本文件并根据某些标准创建列表

Question

我一直在寻找这个问题的解决方案，但没有任何运气。我想使用 Python 读取文本文件并根据文件中的数据创建一些列表（或数组）。一个例子最能说明我的目标。

考虑以下文本：

NODE
1.0, 2.0
2.0, 2.0
3.0, 2.0
4.0, 2.0
ELEMENT
1, 2, 3, 4
5, 6, 7, 8
1, 2, 3, 4
1, 2, 3, 4
1, 2, 3, 4
5, 6, 7, 8
5, 6, 7, 8
5, 6, 7, 8

我想通读该文件（最好是一次，因为文件可能很大），一旦我找到“NODE”，将“NODE”和“ELEMENT”之间的每一行放入一个列表中。然后，一旦我到达“ELEMENT”，在“ELEMENT”和其他一些中断（可能是另一个“ELEMENT”或文件结尾等）之间取每一行并将其放入列表中。对于此示例，它将产生两个列表。

我尝试了各种方法，但它们都需要事先了解有关文件的信息。我希望能够自动化它。非常感谢！

Answer 1

使用该示例数据，并假设标签遵循示例中的模式，您可以使用正则表达式：

import re, mmap, os

def conv(s):
    try:
        return float(s)
    except ValueError:
        return s    

data_dict={}
with open(fn, 'r') as fin:
    size = os.stat(fn).st_size
    data = mmap.mmap(fin.fileno(), size, access=mmap.ACCESS_READ)
    for m in re.finditer(r'^(\w+)$([\d\s,.]+)', data, re.M):
        data_dict[m.group(1)]=[[conv(e) for e in line.split(',')] 
                        for line in m.group(2).splitlines() if line.strip()]

print data_dict

打印：

{'NODE': [[1.0, 2.0], [2.0, 2.0], [3.0, 2.0], [4.0, 2.0]], 
 'ELEMENT': [[1.0, 2.0, 3.0, 4.0], [5.0, 6.0, 7.0, 8.0], [1.0, 2.0, 3.0, 4.0], [1.0, 2.0, 3.0, 4.0], [1.0, 2.0, 3.0, 4.0], [5.0, 6.0, 7.0, 8.0], [5.0, 6.0, 7.0, 8.0], [5.0, 6.0, 7.0, 8.0]]}

那么，这是如何工作的：

1. 我们使用mmap 到apply a regex to a file
2. 我们假设标签是^\w+$的形式（即，由字母和数字组成的标签在一行上）
3. 然后捕获其后的所有数字和空格
4. 创建一个以标签为键的字典，解析后的数字为浮点数列表。

完成！

Answer 2

如果您希望这完全通用和自动化，您需要提出区分节标题与行的规则。我会发明一个，但它可能不是你想要的那个，在这种情况下，我发明的代码对你不起作用……但希望它会告诉你你需要做什么，以及如何开始。

def new_section(row):
    return len(row) == 1 and row[0].isalpha() and row[0].isupper()

现在，我们可以通过使用itertools.groupby 来根据它们是否为节标题来对行进行分组。如果你打印出每个组，你会得到这样的结果：

True, [['NODE']]
False, [['1.0', '2.0'], ['2.0', '2.0'], …, ]
True, [['ELEMENT']]
False, [['1.0', '2.0', '3.0', '4.0'], …, ]

我们不关心每一个中的第一个值，所以放弃它。

我们希望将每对相邻的组组合成一个（标题，行）对，这可以通过将迭代器与自身压缩来实现。

然后把它放在一个字典里，看起来像这样：

{'NODE': [['1.0', '2.0'], ['2.0', '2.0'], …],
 'ELEMENT': [['1.0', '2.0', '3.0', '4.0'], …]}

---

这是全部内容：

import csv
import itertools

def new_section(row):
    return len(row) == 1 and row[0].isalpha() and row[0].isupper()

with open(path) as f:
    rows = csv.reader(f)
    grouped = itertools.groupby(rows, new_section)
    groups = (group for key, group in grouped)
    pairs = zip(groups, groups)
    lists = {header[0][0]: rows for header, rows in pairs}

Answer 3

def getBlocks(fname):
    state = 0 
    node = []
    ele = []
    with open(fname) as f:
        for line in f:
        if "NODE" in line:
            if state == 2:
            yield (node,ele)
            node,ele = [],[]   
            state = 1
        elif state == 1 and "ELEMENT" in line:
            state = 2
        elif state == 1:
            node.append(list(map(float,line.split(","))))
        elif state == 2 and re.match("[a-zA-Z]+",line):
            yield (node,ele)
            node,ele = [],[]   
            state = 0 
        elif state == 2:
            ele.append(list(map(int,line.split(","))))
        yield (node,ele)

for node,ele in getBlocks("somefile.txt"):
    print "N:",node
    print "E:",ele

可能是关于你正在寻找的东西有点恶心......我相信你可以做得更好

Answer 4

对于更新后的问题中更简单的问题，您真的不需要正则表达式、groupby 或复杂的状态机，或者任何超出新手应该能够轻松理解的东西。

您需要做的就是将行累积到一个列表中，直到找到行'ELEMENT'，然后开始将行累积到另一个列表中。像这样：

import csv
result = {'NODES': [], 'ELEMENTS': []}
current = result['NODES']
with open(path) as f:
    for row in csv.reader(f):
        if row == ['NODE']:
            pass
        elif row == ['ELEMENT']:
            current = result['ELEMENTS']
        else:
            current.append(row)