【发布时间】：2019-10-08 18:28:53
【问题描述】：
通过三个注释器，我们一直在使用 brat (http://brat.nlplab.org/) 来注释三个类别的文本样本：PERS、ORG、GPE。我想计算该样本的 Inter Annotator Agreement。但是，我似乎没有找到一种简单的方法来做到这一点。我已经尝试过这个 Python 包：https://github.com/savkov/BratUtils，但它似乎失败了。
对于每个带注释的样本，我有三个 .ann 文件，我想为其计算 Inter Annotator Agreement。文件中的数据如下所示：
T1 Person 173 183 Alexanders
T2 Person 444 450 Hannah
T3 Person 754 766 Corneliszoon
T4 GPE 787 796 Antwerpen
T5 Person 824 833 Alexander
有没有一种简单的方法来计算 Inter Annotator Agreement（使用 Python 或基于 Web 的工具）？
【问题讨论】：
-
这有什么更新吗？你找到其他工作脚本了吗？
-
我也想知道。我还没有达到那个阶段，但脚本可能有用。管理员页面不提供吗？
标签： python annotations brat