意大利语上下文/语义搜索的BERT问题答案

【问题标题】：BERT problem with context/semantic search in italian language意大利语上下文/语义搜索的BERT问题
【发布时间】：2021-08-02 19:34:34
【问题描述】：

我正在使用 BERT 模型在意大利语中进行上下文搜索，但它不理解句子的上下文含义并返回错误的结果。

在下面的示例代码中，当我将“带有巧克力味的牛奶”与另外两种类型的牛奶和一种巧克力进行比较时，它会返回与巧克力的高度相似性。它应该返回与其他牛奶的高度相似性。

谁能建议我对以下代码进行任何改进，以便它可以返回语义结果？

代码：

!python -m spacy download it_core_news_lg
!pip install sentence-transformers


import scipy
import numpy as np
from sentence_transformers import models, SentenceTransformer
model = SentenceTransformer('distiluse-base-multilingual-cased') # workes with Arabic, Chinese, Dutch, English, French, German, Italian, Korean, Polish, Portuguese, Russian, Spanish, Turkish

corpus = [
          "Alpro, Cioccolato bevanda a base di soia 1 ltr", #Alpro, Chocolate soy drink 1 ltr(soya milk)
          "Milka  cioccolato al latte 100 g", #Milka milk chocolate 100 g
          "Danone, HiPRO 25g Proteine gusto cioccolato 330 ml", #Danone, HiPRO 25g Protein chocolate flavor 330 ml(milk with chocolate flabor)
         ]
corpus_embeddings = model.encode(corpus)


queries = [
            'latte al cioccolato', #milk with chocolate flavor,
          ]
query_embeddings = model.encode(queries)


# Calculate Cosine similarity of query against each sentence i
closest_n = 10
for query, query_embedding in zip(queries, query_embeddings):
    distances = scipy.spatial.distance.cdist([query_embedding], corpus_embeddings, "cosine")[0]

    results = zip(range(len(distances)), distances)
    results = sorted(results, key=lambda x: x[1])

    print("\n======================\n")
    print("Query:", query)
    print("\nTop 10 most similar sentences in corpus:")

    for idx, distance in results[0:closest_n]:
        print(corpus[idx].strip(), "(Score: %.4f)" % (1-distance))

输出：

======================

Query: latte al cioccolato

Top 10 most similar sentences in corpus:
Milka  cioccolato al latte 100 g (Score: 0.7714)
Alpro, Cioccolato bevanda a base di soia 1 ltr (Score: 0.5586)
Danone, HiPRO 25g Proteine gusto cioccolato 330 ml (Score: 0.4569)

【问题讨论】：

标签： machine-learning nlp bert-language-model

【解决方案1】：

问题不在于您的代码，而只是模型性能不足。

您可以做一些事情。首先，您可以尝试通用句子编码器 (USE)。根据我的经验，它们的嵌入要好一些，至少在英语中是这样。

其次，您可以尝试不同的模型，例如sentence-transformers/xlm-r-distilroberta-base-paraphrase-v1。它基于 ROBERTa，可能会提供更好的性能。

现在您可以将来自多个模型的嵌入组合在一起（只需连接表示）。在某些情况下，它会有所帮助，但代价是更繁重的计算。

最后，您可以创建自己的模型。众所周知，单语言模型的性能明显优于多语言模型。你可以关注the guide，训练你自己的意大利模型。

【讨论】：