Python 中的平面生成器

Question

是否可以在 python 中进行平面惰性生成？例如，我在下面的代码中试图做的是传递 os.walk 的结果并尝试只返回那些结果

def os_walk_transcript(self, walk_results):
    """Takes the results of os.walk on the data directory and returns a list of absolute paths"""
    file_check = lambda walk: len(walk[2]) > 0
    srt_prelim = lambda walk: ".srt.sjson" in " ".join(walk[2])
    relevant_results = (entry for entry in walk_results if file_check(entry) and srt_prelim(entry))
    return (self.os_path_tuple_srts(result) for result in relevant_results)

def os_path_tuple_srts(self, os_walk_tuple):
    srt_check = lambda file_name: file_name[-10:] == ".srt.sjson"
    directory, subfolders, file_paths = os_walk_tuple
    return [os.path.join(directory, file_path) for file_path in file_paths if srt_check(file_path)]

延迟评估 os_walk_transcript 的结果很重要，但我希望能够以平坦的方式评估它，而不是当前的嵌套列表评估。

例如：目前，当我从生成的生成器中请求结果时，我得到了 ["1.srt.sjson", "2.srt.sjson", "3.srt.sjson"] 的完整列表，然后如果我再次调用它，我会得到：["4.srt.sjson"] 我正在一个项目中工作，其中数据足够大且足够不一致，以至于这种行为会导致性能不一致，有时这会导致事情比我想要的慢得多。有什么办法可以让惰性求值更加惰性，一次只加载一个对象？

Answer 1

您可以使用 itertools chain.from_iterable()。文档是here.

基本上，你可以这样使用它：

import itertools

myList = [[1,2,3],[4,5],[6],[7,8,9]]

itr = itertools.chain.from_iterator(myList)

itr 现在将是一个生成器对象，每次调用它时都会返回下一个元素。 （在这种情况下，它将与xrange(10) 完全相同）

Answer 2

你就不能做一个这样的函数吗？

def lazyarray(index):
    return str(index) + ".srt.sjson"

那么你甚至可以做到这一点

firstTen = [lazyarray(x) for x in xrange(10)]

完全懒惰，实现起来非常简单。如果您想少一点懒惰（缓存计算），您也许可以这样做。

cache = []
def lazyarray(index):
    if len(cache) <= index:
        cache += ["" for x in xrange(index - len(cache))]
    if cache[index] == "":
        cache[index] = str(index) + ".srt.sjson"
    return cache[index]

我还没有测试过任何代码，所以它可能需要调整，而且我不处理文件，但这不是你要问的吗？

而且无论你在代码中的哪个位置，而不是说

lazyarray[5]

只是说

lazyarray(5)

它会产生和数组一样的效果。

编辑： 您甚至可以覆盖__getitem__ 方法，如here 所示，并根据我上面发布的代码拥有一个自定义生成器类。