如何使用python删除重复的文本块

Question

我正在处理作为放射学报告的文本文件。如果文档有两页，则在所有页面的顶部重复出现包含患者姓名和其他元数据的文本块，页面的其余部分包含报告的内容。我已将页面合并为一个文本对象。保留第一个块我想删除所有其他重复块。有没有办法以编程方式从所有此类文件中删除这些块？ 重复的块看起来像这样：

 Patient ID            xxx                 Patient Name           xxx
 Gender                 Female                         Age                     43Y 8M
 Procedure Name         CT Scan - Brain (Repeat)       Performed Date          14-03-2018
 Study DateTime         14-03-2018 07:10 am            Study Description       BRAIN REPEAT
 Study Type             CT                             Referring Physician     xxx

Answer 1

一个纯文本文件可以在 python 中表示为一个序列。考虑下面的plain.txt：

This is the first line!\n
This is the second line!\n
This is the third line!\n

您可以使用with 保留字来创建管理打开/关闭逻辑的上下文，如下所示：

with open("./plain.txt", "r") as file:
    for line in file:
        # program logic
        pass

"r"是指open使用的模式。

因此，使用此习惯用法，您可以存储重复值并在遇到它时忽略它，以适合您的文件访问模式的方式。

编辑：我看到了你的编辑，看起来这实际上是一个 csv，对吧？如果是这样，我推荐 pandas 包。

import pandas as pd # Conventional namespace is pd

# Check out blob, os.walk, os.path for programmatic ways to generate this array
files = ["file.csv", "names.csv", "here.csv"] 

df = pd.DataFrame()
for filepath in files:
    df = df.append(pd.read_csv(filepath))

# To display result
print(df)

# To save to new csv
df.to_csv("big.csv")

Answer 2

假设您可以将每个单独的页面放入文档列表中

def remove_patient_data(documents: list, pattern: str) -> str:
    document_buffer = ""
    for count, document in enumerate(documents):
        if count != 0:
            document = document.replace(pattern, "")
        document_buffer += document + '\n'
    return document_buffer

my_documents = ["blah foo blah", "blah foo bar", "blah foo baz"]
remove_patient_data(my_documents, "foo")

哪个会返回

'blah foo blah\nblah bar\nblah baz\n'

Answer 3

您可以通过以下方式找到所有患者数据出现的起始索引：

str.find(sub,start,end)

在哪里

sub ：这是需要在给定字符串中搜索的子字符串 - 在您的情况下，它将是患者数据 start ：需要在字符串中检查 sub 的起始位置 end : 字符串中需要检查后缀的结束位置

它将返回搜索字符串（患者数据）出现的最低索引。

您可以循环执行此过程，以获取出现患者数据的所有索引。

然后您可以从第二个实例开始替换患者数据，方法是：

str_new = ''.join(( str_old[ : indicies[1] ], '' , s_old[ indicies[2] + len(str_old) + 1 : ] ))
  ... assuming a total of 3 pages in your record.

其他选择：

str.replace(old, new [, max])

在哪里

old: - 这是要替换的旧子字符串——在您的情况下是患者数据
new: - 这是新的子字符串，它将替换旧的子字符串——这可能是 ' '（空格） max: - 如果给定这个可选参数 max，则仅替换第一次出现的计数 - 这意味着患者数据现在将仅显示在 last 页面上。