【问题标题】:Why does HuggingFace's Bart Summarizer replicate the given input text?为什么 HuggingFace 的 Bart Summarizer 会复制给定的输入文本?
【发布时间】:2021-06-12 19:43:10
【问题描述】:

我正在尝试使用 Bart 的预训练摘要管道来总结输入文本。但是,我注意到生成的摘要与我为模型提供摘要的文本完全相同。我还尝试在文本摘要对(人工生成的摘要)上微调模型,但对于新的输入文本,也会生成相同的输入文本作为输出。

我希望我的摘要是给定输入文本的要点。我可以使用什么方法来解决这个问题?而且,还有其他模型在生成摘要方面可能表现更好吗?

【问题讨论】:

  • 把你的测试用例放在here,如果它生成摘要,然后调试你的代码。

标签: python deep-learning nlp huggingface-transformers summarization


【解决方案1】:

我在使用 facebook 的 bart_base 模型时遇到了同样的问题。我尝试了其他几个模型,我发现 Sam Shleifer 的 DistilBART 模型在总结新闻文章方面做得非常好。 如果你想尝试一下:

model = BartForConditionalGeneration.from_pretrained("sshleifer/distilbart-xsum-6-6")
tokenizer = BartTokenizer.from_pretrained("sshleifer/distilbart-xsum-6-6")

【讨论】:

    猜你喜欢
    • 2021-03-02
    • 1970-01-01
    • 1970-01-01
    • 2021-03-27
    • 2018-11-03
    • 1970-01-01
    • 1970-01-01
    • 2020-01-29
    • 1970-01-01
    相关资源
    最近更新 更多