用于长文档摘要的 Huggingface 改革者

【问题标题】：Huggingface reformer for long document summarization用于长文档摘要的 Huggingface 改革者
【发布时间】：2022-01-06 01:56:19
【问题描述】：

我了解reformer 能够处理大量令牌。但是它似乎不支持摘要任务：

>>> from transformers import ReformerTokenizer, ReformerModel
>>> from transformers import pipeline
>>> summarizer = pipeline("summarization", model="reformer")
404 Client Error: Not Found for url: https://huggingface.co/reformer/resolve/main/config.json
...

您将如何“手动”构建管道以使用重组器进行汇总？

【问题讨论】：

标签： huggingface-transformers

【解决方案1】：

试试这个：

summarizer = pipeline("summarization", model="google/reformer-enwik8")

通过here。

但是，这会产生...

/lib/python3.7/site-packages/sentencepiece.py", line 177, in LoadFromFile
    return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg)
TypeError: not a string

【讨论】：

我认为这应该是一个单独的问题，或者更好的是，如果它不适用于最新版本，则应该是变压器存储库上的一个 github 问题。
更新：这个特定模型似乎完全没有提供标记器，这就是您看到错误消息的原因。您可以改用另一种模型，该模型提供标记器，例如 google/reformer-crime-and-punishment