如何检查 UIMA 注释器的效率？

Question

我在 UIMA 中做了一些注释器，现在我想检查它们的效率。是否有一种标准化的方法来衡量注释器的性能？

Answer 1

UIMA 本身不提供即时支持来比较注释器并根据黄金标准对其进行评估。

但是，有各种工具/实现在 UIMA 之上提供此类功能，但通常在特定工具的范围内，例如：

• U-Compare 支持运行多个注释器做同样的事情并比较它们的结果

• WebAnno 是一个交互式注释工具，它使用 UIMA 作为其后端，并支持将来自多个用户的注释相互比较。代码中有一个名为“CasDiff2”的类，它会生成差异并将它们输入后台的DKPro Statistics 以进行实际的一致性计算。不幸的是，CasDiff2 不能真正与 WebAnno 分开使用（目前）。

披露：我是 WebAnno 团队的一员，并在其中实施了 CasDiff2。