在 ROUGE 指标中，低、中、高值是什么意思？

【问题标题】：In the ROUGE metrics, what do the low, mid and high values mean?在 ROUGE 指标中，低、中、高值是什么意思？
【发布时间】：2022-06-19 16:10:21
【问题描述】：

引入 ROUGE 指标是为了“通过将摘要与人工创建的其他（理想）摘要进行比较来自动确定摘要的质量”[1]。

在计算任何 ROUGE 指标时，您会得到一个包含 3 个参数的汇总结果：低、中、高。这些合计值是如何计算的？

例如，来自 huggingface 的实现 [2]：

>>> rouge = evaluate.load('rouge')
>>> predictions = ["hello there", "general kenobi"]
>>> references = ["hello there", "general kenobi"]
>>> results = rouge.compute(predictions=predictions,
...                         references=references)
>>> print(list(results.keys()))
['rouge1', 'rouge2', 'rougeL', 'rougeLsum']
>>> print(results["rouge1"])
AggregateScore(low=Score(precision=1.0, recall=1.0, fmeasure=1.0), mid=Score(precision=1.0, recall=1.0, fmeasure=1.0), high=Score(precision=1.0, recall=1.0, fmeasure=1.0))
>>> print(results["rouge1"].mid.fmeasure)
1.0

【问题讨论】：

标签： machine-learning nlp data-science evaluation summarization

【解决方案1】：

给定一个 (summary, gold_summary) 对的列表，任何 ROUGE 指标都会根据列表中的每个项目计算。在 huggingface 中，您可以通过添加 use_aggregator=False 来选择退出聚合部分并返回这些值。

对于聚合，使用引导重采样 [1, 2]。 Bootstrap 重采样是一种用于提取置信区间的技术 [3, 4]。这个想法是，对于n 样本，您绘制x 乘以替换大小为n 的样本，然后为每个重新采样计算一些统计数据。现在您获得了一个名为empirical bootstrap distribution 的新分布，可用于提取置信区间。

在 google [4] 的 ROUGE 实现中，他们使用了：

n 表示要运行的示例数
mean 用于重采样统计
2.5th, 50th and 97.5th percentiles 分别计算低、中、高的值

【讨论】：