我们可以计算 Huggingface Bert 中的特征重要性吗？答案

【问题标题】：Can we calculate feature importance in Huggingface Bert?我们可以计算 Huggingface Bert 中的特征重要性吗？
【发布时间】：2022-01-26 10:58:27
【问题描述】：

我们可以在回归数据集上拟合一个线性回归模型，并检索包含为每个输入变量找到的系数的 coeff_ 属性。这些系数可以为粗略的特征重要性评分提供基础。这假设输入变量具有相同的尺度或在拟合模型之前已被尺度化。

伯特呢？我们可以从模型中获取 coef_ 变量，并使用它来计算文本分类任务中的 LinearRegression 模型的特征重要性吗？

【问题讨论】：

【解决方案1】：

Captum 是用于解释转换器的著名工具（来自 pytorch/Facebook），您可以获得模型对特定层的特定令牌的关注度的分数。在此处查看教程：https://captum.ai/tutorials/Bert_SQUAD_Interpret 或此处https://github.com/pytorch/captum

【讨论】：