如何正确替换 FFT 的实部？

Question

我尝试重现一种数据增强方法，来自论文：

Qinwei Xu、Ruipen Zhang、Ya Zhang、Yanfeng Wang 和 Qi Tian "A Fourier-based Framework for Domain Generalization" (CVPR 2021)。

论文中提到他们将实部设置为常数（论文中的常数为20000）以消除幅度，实现仅依赖相位的图像重建。 以下是我的代码：

img = process_img("./data/house.jpg", 128)
img_fft = torch.fft.fft2(img, dim=(-2, -1))
amp = torch.full(img_fft.shape, 200000)
img_fft.real = amp
img_ifft = torch.fft.ifft2(img_fft, dim=(-2, -1))

img_ifft = img_ifft.squeeze(0)
img_ifft = img_ifft.transpose(2, 0)

img_ifft = np.array(img_ifft)

cv2.imshow("", img_ifft.real)

其中process_img函数仅用于将ndarray转换为张量，如下图：

loader = transforms.Compose([transforms.ToTensor()])
def process_img(img_path, img_size):
    img = cv2.imread(img_path)
    img = cv2.resize(img, (img_size, img_size))
    img = img.astype(np.float32) / 255.0
    img = loader(img)
    img = img.unsqueeze(0)
    return img

第一个是原图，第二个是论文提供的图像，第三个是我的代码生成的图像：

可以看出，我的方法生成的图像与论文中提供的图像有很大不同，并且存在一些伪影。为什么会有这样的结果？

Answer 1

您将complex numbers 的“实”/“虚”部分与“幅度”/“相位”表示混淆了。

这里是快速指南：
复数 z 可以用其实部 x 和虚部 y 的 sum 表示：
z = x + j y
或者，一次可以将相同的复数 z 表示为幅度为 r 和角度为 phi 的旋转向量：
z = r exp(j phi) 其中r = sqrt(x^2 + y^2) 和phi=atan2(x,y)。

这张图片（来自Wikipedia）直观地解释了这一点：

在您的代码中，您替换了“真实”部分，但在论文中，他们建议替换“幅度”。

如果要替换幅度：

const_amp = ... # whatever the constant amplitude you want
new_fft = const_amp * torch.exp(1j * img_fft.angle())

# reconstruct the new image from the modulated Fourier:
img_ifft = torch.fft.ifft2(new_fft, dim=(-2, -1))

结果如下图：