Huggingface 变压器的问题询问管道

Question

Huggingface 转换器有一个用于对 Squad 数据集进行问答调优的管道。

我需要做什么来为提问管道开发管道？这将使用上下文、问题和答案来生成带有来自上下文的答案的问题。有没有创建新的悬脸管道的示例？

Answer 1

管道可以简单地视为预训练模型的包装器。在这种情况下，您可以像run_squad 等现有示例脚本一样执行微调/预训练。当然可以

HuggingFace website 上给出了如何加载自定义检查点模型的示例（此处稍作修改）：

from transformers import pipeline

# Question answering pipeline, specifying the checkpoint identifier
pipeline('question-answering', model='distilbert-base-cased-distilled-squad', tokenizer='bert-base-cased')

如果您的管道与现有选项不同，以至于您确实需要实现一个新的管道类，那么我建议您查看respective implementation。具体来说，大多数模型“无非”就是将标记化步骤巧妙地包装在预训练模型上，并在 model.forward 函数上调用正确的参数。这可能与您目前（2.8 版）找到的示例一样简洁，因为该功能仍然相对较新。

我希望所有的指针都能帮助你入门！