【问题标题】:Natural language generation evaluation自然语言生成评估
【发布时间】:2018-03-31 11:53:34
【问题描述】:

我正在使用 LSTM 网络制作自然语言生成器,但现在我陷入了如何评估我的输出的问题。假设我有一个输入训练数据集,其中包含对话行为表示和该特定对话行为的正确输出。现在假设我从我的 LSTM 网络生成一个输出句子 y,那么如何与数据集中的句子相比评估该句子。我的意思是有什么方法可以比较输出,以便我可以使用梯度下降来训练我的权重。

【问题讨论】:

    标签: machine-learning lstm


    【解决方案1】:

    一旦找到答案,您就可以写一篇关于它的好论文,因为目前这是一个开放的研究问题。 :)

    据我所知,您的评估必须结合输出的句法和语义合理性、上下文连贯性、个性一致性和话语动态进展。关于如何以最佳方式衡量这些指标尚未达成共识,但目前有大量关于该主题的论文。

    Liu等人阅读的相关介绍:https://arxiv.org/abs/1603.08023

    【讨论】:

    • 在 github 上我看到了各种关于自然语言生成的项目,google 也使用它,他们分享了一个视频。如果您了解他们模型的功能,您能帮我吗?或者你做过的任何类似的事情。
    • 您所说的模型是最前沿的,并不是真正的常识。您到底想为什么构建模型?
    • 如果给定对话行为表示,我正在尝试构建生成自然语言的模型。如果您有结构化数据,它类似于生成语法正确的句子。
    • 我正在构建一个模型,该模型接受 DA 表示形式的输入并生成自然语言。例如,让数据的 da 表示形式为 inform(name='carriage inn';phone='4155528600') 那么可能的输出之一是,carriage inn 是一个不错的地方,他们的电话号码是 4155528600
    猜你喜欢
    • 2011-03-21
    • 1970-01-01
    • 2012-06-29
    • 1970-01-01
    • 1970-01-01
    • 2012-05-12
    • 1970-01-01
    • 2023-03-03
    • 1970-01-01
    相关资源
    最近更新 更多