Python - 如何读取多个文件、处理和写入多个文件

Question

我正在尝试在 Python 中构建源代码抄袭检测工具。我正在尝试从输入目录中存在的多个 python 程序文件中获取输入，执行一些处理并将输出写入多个文件。

这是我想要在我的代码中执行的操作：

我有 2 个文件：

1. ma​​in.py，我在其中打开多个文件并调用我的类和方法
2. pyscp.py 来自 SoftPlag 包，其中编写了用于处理输入文件的代码。

ma​​in.py

from SoftPlag import *
import os

inputdir = "/path/to/input/directory"
outputdir = "/path/to/output/directory"
filelist = os.listdir(inputdir)

if __name__ == '__main__':   
    for i in filelist:
        with open(inputdir + i, 'r') as f:
            fin = f.read()
            if i.endswith(".py"):
                scp=Pyscp()    
                scp.pscpp(fin)
                f.flush()       
            f.close() 

pyscp.py

这是处理内容所在的文件。每个文件完成后 处理后，将相应的输出写入其文件 输出目录

import re
import keyword
import os

inputdir = "/path/to/input/directory"
outputdir = "/path/to/output/directory"
filelist = os.listdir(inputdir)
frequency={}
class Pyscp():
#Python source-code processing class
    def pscpp(self,fin):
        #remove special characters from string and convert to lower-case 
        char_string=re.sub('[^a-zA-Z._]', ' ', fin).lower()

        #remove single occurrences of characters 
        final_string=re.sub(r'(?:^| )\w(?:$| )', '', char_string).strip() 

        reservedWords={} #empty list to store the reserved keywords
        reservedWords=keyword.kwlist #reserved keywords assigned to reservedWords list

        for word in reservedWords:
            #checking if reserved keyword exists in string or not 
            if word in final_string:
                #substitute reserved keywords with no spaces
                final_string=re.sub(r'\b' + word +r'\b', '', final_string)

            else:
                continue

        for i in filelist:
            file_output = open(os.path.join(outputdir + i +".out"), 'w')
            file_output.write(final_string)
            file_output.close()

我面临的问题是我能够使用 os 包使用单个文件对象打开多个文件并对它们进行处理，但它不能正确写入多个文件。即它是多次写入第一个文件的输出数据，而不是写入不同的输出数据。

请帮忙！

Answer 1

您无需再次遍历pyscp.py 中的文件。您正在有效地创建一个嵌套循环，看起来像这样：

for i_main in filelist:
    # here you are reading your inputfile
    # then you do some processing
    for i_pyscp in filelist:
        # here you are writing to outputfile

这当然会将所有输入文件的所有结果写入所有输出文件。而且由于您使用'w' 属性打开它们，它们被覆盖，只留下外部循环的最终迭代的输出，即filelist 中的最后一个文件。

我建议删除pyscp.py 中的循环，然后执行return final_string。在main.py 中，您可以将其写入文件。

另外三个关于main.py的cmets：

1. 我很惊讶您在open(inputdir + i, 'r') 中没有收到“找不到文件”错误，因为您缺少路径分隔符。 open(os.path.join(inputdir + i), 'r') 将是去这里的方式。

2. 通常您不需要f.flush()，因为f.close() 会为您处理。此外，您没有将任何数据写入输入文件。

3. 另外，您不需要 f.close()，因为 with 语句会为您处理。

Answer 2

我猜想将以下代码块从 'pyscp.py' 文件中的函数 'pscpp()' 移动到 'main.py' 并在函数 'pscpp(self,fin)' 中返回变量 final_string。

pscpp() 中的这个写入块总是在处理完每个文件后覆盖所有输出文件。这可能是罪魁祸首。

if __name__ == '__main__':   
    for i in filelist:
        with open(inputdir + i, 'r') as f:
            fin = f.read()
            if i.endswith(".py"):
                scp=Pyscp()    
                result = scp.pscpp(fin)

                file_output = open(os.path.join(outputdir + i +".out"), 'w')
                file_output.write(result)
                file_output.close()

                f.flush()      
            f.close()