TensorFlow MaxPool 不接受 float64

Question

我正在使用 Tensorflow 来训练 CNN。我目前的计算基于 Float32，这是初始化变量时的默认值。

我猜想通过使用float64作为我的 dtype 我可以获得更准确的结果，因此我将变量的初始化更改如下：

w1 = tf.Variable(tf.random_normal([5, 5, 3, 64], stddev=0.1, dtype=tf.float64))

但我在maxpool操作中收到以下错误： 我破解了maxpooldocumentation，它接受的值类型如下： value: A 4-D Tensor with shape [batch, height, width, channels] and type float32, float64, qint8, quint8, qint32.

但我收到以下错误。这是一个错误还是我做错了什么？

Input 'input' of 'MaxPool' Op has type float64 that does not match expected type of float32.

---

Traceback (most recent call last):
  File "/Users/hamedketabdar/LearningTensorFlow/CIFAR-Khodam/convolutional_network_batch_2d2c_clean_64f.py", line 213, in <module>
    pred = conv_net(x, weights, biases, keep_prob)
  File "/Users/hamedketabdar/LearningTensorFlow/CIFAR-Khodam/convolutional_network_batch_2d2c_clean_64f.py", line 153, in conv_net
    conv1 = max_pool(conv1, k=2) # Normally K=2
  File "/Users/hamedketabdar/LearningTensorFlow/CIFAR-Khodam/convolutional_network_batch_2d2c_clean_64f.py", line 135, in max_pool
    return tf.nn.max_pool(img, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding='SAME')
  File "/usr/local/lib/python2.7/site-packages/tensorflow/python/ops/nn_ops.py", line 235, in max_pool
    name=name)
  File "/usr/local/lib/python2.7/site-packages/tensorflow/python/ops/gen_nn_ops.py", line 449, in _max_pool
    strides=strides, padding=padding, name=name)
  File "/usr/local/lib/python2.7/site-packages/tensorflow/python/ops/op_def_library.py", line 430, in apply_op
    (prefix, dtypes.as_dtype(input_arg.type).name))
TypeError: Input 'input' of 'MaxPool' Op has type float64 that does not match expected type of float32.

Answer 1

目前未实现对非单精度浮点值类型的tf.nn.max_pool() 的支持，并且文档不正确。 （我已经在上游更新了，应该很快就会出现在 GitHub 和网站上。）

不兼容的原因是 TensorFlow 在 GPU 上出于性能原因有一个specialized implementation of max-pooling，而我们在训练深度网络时几乎总是使用tf.float32，因此没有对其他类型的等效支持。可以添加，因此欢迎贡献：更多讨论请参见GitHub issue。