TensorFlow 中的图像变形答案

【问题标题】：Image deformations in TensorFlowTensorFlow 中的图像变形
【发布时间】：2019-01-26 07:19:31
【问题描述】：

Tensorflow 1.8 添加了实用程序以应用图像变形（参见例如sparse_image_warp 和dense_image_warp）。这很好，但我一直找不到任何实用程序来创建变形。

举个例子，我可以按照以下方式随机旋转一张图片：

radians = tf.random_uniform([], -1.0, 1.0)
img = tf.contrib.image.rotate(img, radians)

使图像变形的等效代码是什么？

flow = ...  # your code here
img = tf.contrib.image.dense_image_warp(img, flow)

我知道可以通过多种方式生成流，只要不破坏图像，我对选择哪一种并不十分挑剔（例如，我正在寻找diffeomorphism或至少一个homeomorphism)。

【问题讨论】：

【解决方案1】：

看来你可能想看看this kaggle page 的弹性转换，它实现了this article。

这与我的 meshgrid+noise 基线非常相似，尽管它似乎更小心地完成，所提供的示例表明您可以极大地扰乱图像而不会得到完全的垃圾，希望它有所帮助。

编辑：您可以查看this new library，它实现了不同的图像变换，包括网格失真，这可能为图像变形提供弹性变换的替代方案

【讨论】：

这段代码没有使用有问题的张量流层。
使用tf.py_func或使用相应的函数重新实现它很简单。
据我了解，问题是如何使用tf.contrib.image.dense_image_warp。
您只需使用我的答案计算 numpy 中的偏移量，然后使用 tf.convert_to_tensor() 将其转换为张量，您就有了 dense_image_wrap() 的流参数。