如何使用 tensorflow 图形优化图像空间？

Question

我正在尝试设置一个复制此站点上第三个数字的玩具问题： https://www.tensorflow.org/graphics/overview

如图所示，损失函数在 2 张图像之间。如何设置这样的问题？

我非常仔细地浏览了他们 github 网站上的每个 tensorflow colab notebook。有两个例子接近我试图做的，第一个是 6dof 估计，第二个是相机内在函数估计。然而，这两个问题都使用 l2 范数在顶点上进行了优化。如何获得 tensorflow 图形来渲染假设的对象并执行 2 个图像之间的差异（地面实况和 tfg 渲染）。一个小玩具示例会很有帮助，尤其是 tfg 网站的图 3 显示了这个示例。

编辑 1：经过一些研究，我正在寻找的东西似乎是一个可微的光栅化器。我使用光栅器将场景合成为图像（2d 地图）。获得该图像后，我可以将其与我的基本事实进行区分（使用我最喜欢的函数，如 l2norm、l1norm 或可微分 ssim）。 tensorflow 图形有可微分的光栅化器吗？

Answer 1

答案是您必须先计算光线，然后再计算辐照度。您可以通过使用从每个虚拟像素发出的光线网格来做到这一点。

但是，请注意，光栅化器虽然可微分，但不支持阴影。在 tensorflow 图形样本（例如球体和牛）中使用分面和 bdrf 来处理遮挡。