执行 DetEval 软件以评估我的文本识别算法的性能时出错

Question

我想出了一个文本识别算法。该算法识别自然图像中的文本。我正在尝试针对groundtruth available for the dataset of ICDAR's robust reading challenge. 对其进行测试，为此，我生成了一个 xml 文件，其中包含场景图像中文本区域的坐标，正如我的算法所识别的那样。为 groundtruth 数据提供了一个类似的 xml 文件。

要生成两个 xml 文件比较的定量结果，我需要使用DetEval software（如网站中所述）。我已经在 linux 上安装了命令行版本。

问题是：DetEval 没有读取输入的 xml 文件。具体来说，

我运行以下命令（根据DetEval website 上的说明）： rocplot /home/ekta/workspace/extract/result_ICDAR_2011/txt/GT2.xml { /home/ekta/workspace/extract/result_ICDAR_2011/txt/final.xml }

这里，GT2.xml 是 groundtruth，final.xml 是我的算法生成的文件。

我收到以下错误消息： evaldetection -p 0.8,0.4,0.8,0.4,0.4,0.8,0,1 "{" "/home/ekta/workspace/extract/result_ICDAR_2011/txt/GT2.xml" | readdeteval -p 1 - >> /tmp/evaldetectioncurves20130818-21541-1kum9m9-0 evaldetection -p 0.8,0.4,0.8,0.4,0.4,0.8,0,1 "{" "/home/ekta/workspace/extract/result_ICDAR_2011/txt/GT2.xml"I/O 警告：加载外部实体失败" {" 无法解析文档 { -:1：解析器错误：文档为空 ^ -:1: 解析器错误：需要开始标记，未找到“ 错误 运行命令： evaldetection -p 0.8,0.4,0.8,0.4,0.4,0.8,0,1 "{" "/home/ekta/workspace/extract/result_ICDAR_2011/txt/GT2.xml" | readdeteval -p 1 - >> /tmp/evaldetectioncurves20130818-21541-1kum9m9-0错误码：256

我该怎么办？我很肯定在生成我的 xml 文件时没有错误，因为即使是从网站获得的 groundtruth 文件也没有被解析。请帮忙！

问候 埃克塔

Answer 1

所以，我设法解决了这个问题。原来我给出了错误的命令。 rocplots 仅在我需要对具有不同评估参数的地面实况和检测文件进行多次运行时使用。请参阅this论文了解更多有关参数的信息。

目前，我有一个地面实况文件和一个检测文件，我需要仅使用 DetEval 使用的默认参数运行它。所以，这里是需要做的：

进入你有detevalcmd目录的目录，进入detevalcmd目录。在该目录中运行以下命令：

1. ./evaldetection /path/to/detection/results/DetectionFilename.xml /path/to/ground/truth/file/GroundTruthFilename.xml > /path/where/you/want/to/store/results/result。 xml

这会将结果存储在 result.xml 中。接下来，运行以下命令： 2. ./readdeteval /path/where/you/stored/results/result.xml.

这将给出类似：

**100% of the images contain objects.
Generality: xxx
Inverse-Generality: xxx
  <evaluation noImages="xxx">
    <icdar2003 r="xxx" p="xxx" hmean="xxx" noGT="XXX" noD="xxx"/>
    <score r="Xxx" p="xxx" hmean="xxx" noGT="xxx" noD="xxx"/>
  </evaluation>**

所以，你去吧！你得到了算法的召回率、精度等。