从列表中删除项目的文本序列

Question

我正在研究语码转换。我有一组带有英语代码转换（比如语料库 A）的双语波兰语短信以及一本英语词典（也是一个列表，语料库 B）。我想从语料库 A 中提取语料库 B 中的所有单词实例——这样我可以看到哪些英语单词出现在双语语料库中。这是我用来创建这些常用词列表的代码（它远非优雅，但我是新手，所以不要对我太苛刻哈哈）：

intersection=common.intersection(corpusB)

commonlist=list(intersection)

with open("commonlist.txt","w") as z:

    print(commonlist, file=z)

但是，我注意到我的大部分数据存在偏差，因为其中包含与我的研究无关的词。例如，一些短信包含大量英文文本（例如，复制粘贴的英文文章段落 - 所以不是真正的代码转换，而是引用）。所以我想从语料库 A 中删除所有这些大块英文文本。

我认为我应该做的是找到并删除任何包含五个英文单词的文本消息（这些将是我的大块英文文本）。换句话说，我想扫描语料库 A 中包含来自语料库 B 的四个相邻单词的消息。我该怎么做呢？

（我也有两个语料库的 .csv 文件，也许更有用？）

Answer 1

我建议可能加载 csv 文件（即使用 pandas）并将它们转换为集合类型。 Sets 也只包含唯一值。

import pandas as pd

filepath1 = 'file.csv'
filepath2 = 'file2.csv'

df1 = pd.read_csv(filepath1)
df2 = pd.read_csv(filepath2)

set1 = set(df1.values.ravel())
set2 = set(df2.values.ravel())

print(set1.intersection(set2))

输出应该是交集。