【问题标题】:3D annotation for instance segmentation用于实例分割的 3D 注释
【发布时间】:2020-11-17 06:02:17
【问题描述】:

我正在尝试为 3D 实例分割注释一些数据。虽然为每个 2D 平面绘制蒙版相当简单,但如何在注释后将相同的“实例”连接在一起(即,将“红色”蒙版连接在一起,将“蓝色”蒙版连接在一起)而不费力地确保实例是实例匹配的(即颜色编码以确保“红色”掩码始终与“红色”掩码连接)。

我想到的一种天真的方法是制作许多 2D 分割蒙版,并计算每个检测到的对象的质心。我稍后可以根据最接近的匹配质心重新分配实例,但我担心这会无意中生成“交叉”分割实例(如下图所示)。生成 3D 标注的高通量策略有哪些?

【问题讨论】:

    标签: deep-learning computer-vision annotations image-segmentation


    【解决方案1】:

    您可以使用3D Slicer's Segment Editor。它是免费的、开源的、有许多内置工具,并且可以在 Python 或 C++ 中自定义/扩展(您可以轻松插入自己的分割方法)。要解决分割任务,通常您首先使用交互式 GUI 找出一个好的分割工作流程(使用哪些工具、组合和参数),然后如果需要,您可以使用 Python 脚本使其半自动或全自动。

    您可以通过对每个图像切片进行轮廓化来创建分割,但这太乏味了。相反,您可以使用 3D 区域增长(从种子效果中生长)或仅在几个切片上进行分段并在它们之间进行插值(切片之间填充效果)。

    【讨论】:

      【解决方案2】:

      您的 2-d 切片的边界可用作获得最佳 3-d 表面的约束,正如 1 中所建议的那样。

      但是,我认为从标记生成 3-d 标签更容易,例如2。它的实现在here 中提供(如果遇到任何问题,请免费填写:P)。

      此外,napari 包对于开发 GUI 很有用,无需花费太多精力。

      [1] 格雷迪,里奥。 “最小表面将最短路径分割方法扩展到 3D。” IEEE Transactions on Pattern Analysis and Machine Intelligence 32.2 (2008): 321-334。

      [2] Falcão、Alexandre X. 和 Felipe PG Bergo。 “具有差分图像森林变换的交互式体积分割。” IEEE Transactions on Medical Imaging 23.9 (2004): 1100-1108.

      【讨论】:

      • 感谢您的参考!但是,图像森林变换对我来说不是很直观。如何将其应用于生成“来自标记的 3-d 标签”?就我而言,它如何“链接”2D 分割蒙版?
      • 标记(涂鸦)将被标记为背景和前景中的像素,3-D 体积中的剩余像素将根据 IFT 标签传播标准(最小-最大距离)进行标记。因此,分割将通过涂鸦和二维切片实现。
      • 要使用二维切片(您可用的蒙版)作为标记,我将获取扩张蒙版的补码以获得背景标记并侵蚀它以获得二维图像中的前景。如果边界明确,则在 3-D 体积中执行 IFT 算法将产生所需的结果。
      • 请注意,膨胀和腐蚀应该在每个 2-D 切片中单独完成,然后添加到空的 3-D 体积中用作标记。
      猜你喜欢
      • 2017-03-28
      • 2020-04-17
      • 2022-11-23
      • 1970-01-01
      • 1970-01-01
      • 2018-01-13
      • 2015-10-30
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多