将文件中的列表附加到 Python 中的单个列表

Question

我正在尝试编写一个函数，该函数从“延迟”目录中读取文件，该目录包含包含列表的文件。以下是 deferred 文件夹中的文件包含的内容：

'173378981', '45000', '343434', '3453453', '34534545', '3452342', '234234', '42063008', 'Exempted', '10000'
'1000014833', '0', '0', '0', '0', '0', '0', '0', 'Exempted', '0'
'1000009598', '0', '0', '0', '0', '0', '0', '0', 'Exempted', '0'
'279483421', '0', '0', '0', '0', '0', '0', '0', 'Exempted', '0'
'1000009600', '0', '0', '0', '0', '0', '0', '0', 'Exempted', '0'
'389453080', '0', '0', '0', '0', '0', '0', '0', 'Exempted', '0'
'1000009602', '0', '0', '0', '0', '0', '0', '0', 'Exempted', '0'

用于写入文件的函数：

def storeDeferredRecords(records):
    """docstring for createFile"""
    now = datetime.datetime.now()
    filename = deferredDir + '/' + now.strftime("%Y%m%d-%H%M%S")
    f = open(filename, 'w')
    newlist = map(lambda(x): str(x)[1:-1], records)
    for item in newlist:
        f.write("%s\n" % item)
    f.close

我需要有关用于读取文件的函数的帮助。我只能这样写：

def getDeferredRecords():
        """docstring for getDeferredRecords"""
        infiles = [infile for infile in glob.glob(deferredDir + '/*')]
                <code to read the contents of each file here>

有人可以帮帮我吗？我需要阅读这些行并将它们插入到列表中。然后，此列表将与来自单独 CSV 文件的记录合并。

Answer 1

首先，store函数的最后一行需要是这样的f.close()

您的 store 函数以换行符分隔的方式保存值。要读取所有文件，应该足够了：

def getDeferredRecords():
    """docstring for getDeferredRecords"""
    return dict((infile, list(iter(file(infile)))) 
                     for infile in glob.glob(deferredDir + '/*'))

解释：一个文件是可迭代的，所以你可以做for line in file: print line 例如。使用list(iter(file))，您可以在列表中找到文件的行。 dict((a, b) for a, b in foo) 返回带有 {a: b} 对的字典。该函数的返回值是一个格式为{filename: list_of_lines_in_file} 的字典。请记住，列表元素是带有尾随换行符的字符串。

Answer 2

见the csv module:

BigList = []
for filename in glob.glob(deferredDir + '/*'):
    PartList = csv.reader(open(filename))
    BigList.extend(PartList)

这就是你的想法吗？

Answer 3

Python cvs 模块可能是一个很好的答案：
http://docs.python.org/library/csv.html

问题：

glob.glob() 已经返回一个可迭代对象，所以我看不到这里的重点......

[infile for infile in glob.glob(deferredDir + '/*')]

而是：

BigList = []
for filename in glob.glob(deferredDir + '/*'):
    #CVS read code here
    #add to BigList

值得深思。

Answer 4

结合 Tim Pietzcker 的想法，以下是重写的函数：

def storeDeferredRecords(records):
    """docstring for createFile"""
    now = datetime.datetime.now()
    filename = deferredDir + '/' + now.strftime("%Y%m%d-%H%M%S")
    f = csv.writer(open(filename, 'w'), delimiter=',')
    f.writerows(records)

def getDeferredRecords():
    """docstring for getDeferredRecords"""
    for filename in glob.glob(deferredDir + '/*'):
        def_records = csv.reader(open(filename,'r'))
        records.extend(def_records)

我使用了 csv.writer 而不是使用之前的代码块：

f = open(filename, 'w')
newlist = map(lambda(x): str(x)[1:-1], records)
for item in newlist:
        f.write("%s\n" % item)
f.close

感谢所有回复的人！