Python，NLP - 查找包含给定单词列表的顶级文档

Question

我是学习 NLP 的新手。我正在尝试寻找最匹配的简历。

例如，我有一个我正在寻找的技能列表，例如 ['java'、'python'、'SQL'、'API'、...] 和一组文档。我想创建一个模型来找到与这些技能最匹配的文档。类似于简历匹配。

我从本教程开始 - Extracting words from pdf 作为参考

我能够从 pdf 中提取文本，删除停用词，执行词形还原，计算这些关键字在每个文档中出现的次数，但我不知道如何从这里开始。

谁能告诉我接下来的步骤应该是什么？任何教程或参考资料也会有所帮助。

Answer 1

我认为你可以使用向量相似度方法。

最佳匹配简历是查询（限定关键字）与文本之间的相似度。您可以使用doc2vec 或sbert - 这是我最喜欢的 - 来收集前 n 个最佳结果。

corpus_embeddings = model.encode(YOUR_CV_TEXT, convert_to_tensor=True)
query_1=['java python SQL']

for query in query_1:
    query_embedding = model.encode(query_1, convert_to_tensor=True)

    cos_scores = util.cos_sim(query_embedding, corpus_embeddings)[0]
    top_results = torch.topk(cos_scores, k=5)

    print("\n\n======================\n\n")
    print("Query:", query)
    print("\nTop 5 most similar sentences in corpus:")

    for score, idx in zip(top_results[0], top_results[1]):
        print(par_list[idx], "(Score: {:.4f})".format(score))

您可以深入了解更多信息：Semantic Search

Answer 2

如果你假设“最好的匹配”，是与设置技能“最大交叉点”的简历，那么你会有（python）：

import numpy as np
D=[["I","know","python"],["I","know","java"]] # list of Documents
skils=["java"] # list of skils
I=[len(list(set(skils) & set(d))) for d in D]
R = sorted(range(len(I)), key=lambda k: I[k]) # rank of intersection with the skillset
best_resume=R[0]
print (R)

我希望它有用。祝你好运。