在 Azure 机器学习服务 Nvidia Compute 中导入 sentence_transformers 时出现分段错误答案

【问题标题】：Segmentation fault error in importing sentence_transformers in Azure Machine Learning Service Nvidia Compute在 Azure 机器学习服务 Nvidia Compute 中导入 sentence_transformers 时出现分段错误
【发布时间】：2020-12-01 22:17:00
【问题描述】：

我想在 AML 中使用 sentence_transformers 来运行 XLM-Roberta 模型以进行句子嵌入。我有一个脚本，我在其中导入 sentence_transformers：

from sentence_transformers import SentenceTransformer

一旦我运行我的 AML 管道，此脚本的运行就会失败，并出现以下错误：

AzureMLCompute job failed.
UserProcessKilledBySystemSignal: Job failed since the user script received system termination signal usually due to out-of-memory or segfault.
    Cause: segmentation fault
    TaskIndex: 
    NodeIp: #####
    NodeId: #####

我很确定这个导入导致了这个错误，因为如果我注释掉这个导入，脚本的其余部分就会运行。这很奇怪，因为 sentence_transformers 的安装成功了。

这是我的计算的详细信息：

Virtual machine size
STANDARD_NV24 (24 Cores, 224 GB RAM, 1440 GB Disk)
Processing Unit
GPU - 4 x NVIDIA Tesla M60

代理池：

Azure Pipelines

代理规范：

ubuntu-16.04

requirements.txt 文件：

torch==1.4.0
sentence-transformers

有人有解决这个错误的办法吗？

【问题讨论】：

标签： azure nvidia azure-machine-learning-service roberta-language-model sentence-transformers

【解决方案1】：

我通过将 pytorch 版本从 1.4.0 更改为 1.6.0 解决了这个问题。所以 requirements.txt 看起来像这样：

torch==1.6.0
sentence-transformers

起初我尝试了一个与 pytorch 1.4.0 兼容的旧版本的句子转换器。但是老版本不支持“xml-roberta-base”模型，所以我尝试升级pytorch版本。

【讨论】：