在python中提取每层transformer的每个token的注意力权重答案

【问题标题】：Extracting attention weights of each token at each layer of transformer in python在python中提取每层transformer的每个token的注意力权重
【发布时间】：2020-02-13 14:18:51
【问题描述】：

我正在做一些 NLP，我有兴趣通过 Python（PyTorch、TensorFlow 等）在转换器的每一层提取单个测试令牌的注意力权重

从头开始编写一个 Transformer（任何 Transformer-XL、OpenAL-GPT、GPT2 等）是在每个 Transformer 层获得单个测试令牌的注意力权重的唯一方法吗？有没有更简单的方法可以在 Python 中执行此任务？更具体地说，可以将 Keras-transformer 用于此目的吗？如果有人能给我一些示例代码，那就太好了！

谢谢，

【问题讨论】：

标签： tensorflow keras deep-learning nlp pytorch

【解决方案1】：

您可能正在寻找的 API 类型是 BertViz，它是一种用于在 Transformer 模型（BERT、GPT-2、XLNet 和 RoBERTa）中可视化注意力的工具。

此外，Hugginface 的 transformer API 是使用 Transformer 架构的绝佳资源。 OpenNMT 是另一个使用转换器的有用 API。您可以查看documentation。

【讨论】：