【问题标题】:Using Python maintain clean a text file on a specific format consistent across each line使用 Python 以特定格式保持干净的文本文件在每一行中保持一致
【发布时间】:2022-01-02 19:48:16
【问题描述】:

我有一个独特的用例。我有一个以下格式的 txt 文件,其中每一行都以“APA”开头并以“||”结尾(长度和内容不同,无所谓)

APA lEDGER|5023|124223|STAFF NAME|XYZ|123||
APA lEDGER|5023|124223|STAFF NAME|XYZ|131|12r2gw||
APA lEDGER|5023|124223|STAFF NAME|XYZ|43s|12|123sdfq|prime||

然而,在某些行中,由于未知原因,其中一些行被分割成这样:

APA lEDGER|5023|hello|
40937 / 903.01
for period: 2021|8|332.48||

从技术上讲,这条线应该是这样的:

APA lEDGER|5023|hello|40937 / 903.01 for period: 2021|8|332.48||

文件非常大(16MB),这是我想出的逻辑:

将每一行读入字符串列表并应用以下算法:

pattern = re.compile("\s*[^APA]")
patternOK = re.compile("\s*[APA]")

final_list = [] --list to store the cleaned strings
ptr=0
for elem in string_list:
    if(elem.startswith ("APA") and elem.endswith("||")):
        final_list.append(elem) --add each string with the proper format to the the final list
    
--maintain a pointer, point it to the current string and one to the previous string, if the current string does not start with an APA then append all the strings in a while loop and then append it back to the previous proper string

    if(ptr<len(string_list)):
        
        if (ptr - 1 >= 0):

            prev_el = str(string_list[ptr-1])
            
            curr_el = str(string_list[ptr])
            
           
            
            if(pattern.match(curr_el.strip())):
                
                
                while (pattern.match(string_list[ptr])):
                
                    prev_el = prev_el + '|'+string_list[ptr] 
                    ptr = ptr + 1
                    
                    
                    
                    if(ptr+1 > len(string_list)):
                        break
                        
                final_list.append(prev_el) --append the cleaned string to the final list
                
            
        
                
            
   
    ptr = timer+1

大多数情况下,它有效。但是,我可以看到一些结果被省略或不按插入顺序。请随意提供您自己的逻辑。

总之,我需要一个具有上述正确格式的字符串列表。

谢谢

【问题讨论】:

  • 第 3 行包含两个 '||'像这样:“123sdfq||素数||”是错字吗?
  • 是的,这是一个错字。好电话

标签: python python-3.x string list dataframe


【解决方案1】:
file = open("file.txt.", "r")
file_out = open("file_out.txt", "w")
lines = file.readlines()
file.close()
my_line = ""
for line in lines:
    if (str(line.replace("\n", "")[-1]) + str(line.replace("\n", "")[-2])) != "||":
        my_line += line.replace("\n", "")
    else:
        my_line += line.replace("\n", "")
        file_out.write(my_line + "\n")
        my_line = ""
file_out.close()

我认为这应该可行。
它将检查该行是否以“||”结尾。如果没有,它将存储该行并移动到下一行。如果下一个包含“||”最后,它会将其写入输出文件,否则它也会继续前进。
我使用.replace("\n", "") 删除了潜在的换行符。

【讨论】:

  • 这很完美,但是这些线条似乎是连接在一起的,而不是在新的单独的线条上。更具体地说,当一行以“||”结尾时那么下一项应该在 file_out.txt 中的一个新的单独行开始
  • 是的,对不起。我错过了将 .replace("\n", "") 添加到条件中。当您读取文件时,默认情况下,每行末尾都会包含“\n”,因此我的line[-1] 和line[-2] 条件将准确检查"\n"。现在,使用replace 函数,它将按您的预期工作。我已经更新了代码,你可以试试
  • 另外,请考虑检查@AziMez 响应。如果效果很好,请使用它,因为它比这个解决方案更紧凑
【解决方案2】:

你可以使用一些技巧,像这样。

[输入]

text = """APA lEDGER|5023|124223|STAFF NAME|XYZ|123||
APA lEDGER|1178|124223|STAFF NAME|XYZ|131|12r2gw||
APA lEDGER|9845|hello|
40937 / 903.01
for period: 2021|8|332.48||
APA lEDGER|9954|124223|STAFF
NAME|XYZ|43s|12|
123sdfq|
prime||
APA lEDGER|3649|124223|STAFF NAME|XYZ|123||
"""

[代码]

# One line to split,replace and join.
output= ''.join(text).replace('\n','').replace('||','||#').split('#')

# Print the output
print(output) 

# Save the output to a file
with open('Output.txt', 'w') as f:
    for item in output:
        f.write(f"{item}\n")
f.close()

[输出]

APA lEDGER|5023|124223|STAFF NAME|XYZ|123||
APA lEDGER|1178|124223|STAFF NAME|XYZ|131|12r2gw||
APA lEDGER|9845|hello|40937 / 903.01for period: 2021|8|332.48||
APA lEDGER|9954|124223|STAFFNAME|XYZ|43s|12|123sdfq|prime||
APA lEDGER|3649|124223|STAFF NAME|XYZ|123||

【讨论】:

    【解决方案3】:

    您似乎不仅在行尾有||,而且在列之间也有。如果这是一个错字,正常的.split() 函数就足够了,但如果不是,您可以使用re.split() 仅在行尾的|| 上拆分。然后,从结果列表元素中删除换行符,最后将所有内容重新组合在一起:

    import re
    
    data = """APA lEDGER|5023|124223|STAFF NAME|XYZ|123||
    APA lEDGER|5023|124223|STAFF NAME|XYZ|131|12r2gw||
    APA lEDGER|5023|124223|STAFF NAME|XYZ|43s|12|123sdfq||prime||
    APA lEDGER|5023|hello|
    40937 / 903.01
    for period: 2021|8|332.48||
    """
    
    r = re.compile(r'\|\|$', re.M)
    splits = re.split(r, data)
    
    clean_lines = (line.replace('\n', ' ').strip() for line in splits)
    clean_file = '||\n'.join(clean_lines)
    
    print(clean_file.splitlines())
    

    输出:

    ['APA lEDGER|5023|124223|STAFF NAME|XYZ|123||',
     'APA lEDGER|5023|124223|STAFF NAME|XYZ|131|12r2gw||',
     'APA lEDGER|5023|124223|STAFF NAME|XYZ|43s|12|123sdfq||prime||',
     'APA lEDGER|5023|hello| 40937 / 903.01 for period: 2021|8|332.48||']
    

    【讨论】:

      猜你喜欢
      • 2013-08-10
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-09-03
      • 1970-01-01
      • 2010-09-16
      • 2019-02-09
      • 1970-01-01
      相关资源
      最近更新 更多