TensorFlow：维度错误。如何调试？

Question

我是 TF 的初学者

我尝试将与其他一些数据 (noMNIST) 配合良好的代码调整为一些新数据，但我有一个维度错误，我不知道如何处理它。

为了调试，我正在尝试使用tf.shape 方法，但它没有给我所需的信息...

def reformat(dataset, labels):
  #dataset = dataset.reshape((-1, num_var)).astype(np.float32)
  # Map 2 to [0.0, 1.0, 0.0 ...], 3 to [0.0, 0.0, 1.0 ...]
  labels = (np.arange(num_labels) == labels[:,None]).astype(np.float32)
  return dataset, labels
train_dataset, train_labels = reformat(train_dataset, train_labels)
valid_dataset, valid_labels = reformat(valid_dataset, valid_labels)
test_dataset, test_labels = reformat(test_dataset, test_labels)
print('Training set', train_dataset.shape, train_labels.shape)
print('Validation set', valid_dataset.shape, valid_labels.shape)
print('Test set', test_dataset.shape, test_labels.shape)
type(train_dataset)

训练集 (790184, 29) (790184, 39) 验证集 (43899, 29) (43899, 39) 测试集 (43899, 29) (43899, 39)

# Adding regularization to the 1 hidden layer network
graph1 = tf.Graph()
batch_size = 128

num_steps=3001

import datetime
startTime = datetime.datetime.now() 

def define_and_run_batch(beta):

    num_RELU =1024

    with graph1.as_default():

      # Input data. For the training data, we use a placeholder that will be fed
      # at run time with a training minibatch.
      tf_train_dataset = tf.placeholder(tf.float32,
                                        shape=(batch_size, num_var))
      tf_train_labels = tf.placeholder(tf.float32, shape=(batch_size, num_labels))
      tf_valid_dataset = tf.constant(valid_dataset)
      tf_test_dataset = tf.constant(test_dataset)

      # Variables.
      weights_RELU = tf.Variable(
        tf.truncated_normal([num_var, num_RELU]))

      print(tf.shape(weights_RELU) ) 


      biases_RELU = tf.Variable(tf.zeros([num_RELU]))
      weights_layer1 = tf.Variable(
        tf.truncated_normal([num_RELU, num_labels]))
      biases_layer1 = tf.Variable(tf.zeros([num_labels]))

      # Training computation.
      logits_RELU = tf.matmul(tf_train_dataset, weights_RELU) + biases_RELU
      RELU_vec = tf.nn.relu(logits_RELU)
      logits_layer = tf.matmul(RELU_vec, weights_layer1) + biases_layer1                  
      # loss = tf.reduce_mean(
      #        tf.nn.softmax_cross_entropy_with_logits(logits_layer, tf_train_labels))
      cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits_layer, tf_train_labels,name="cross_entropy")
      l2reg = tf.reduce_sum(tf.square(weights_RELU))+tf.reduce_sum(tf.square(weights_layer1))
      # beta = 0.005
      loss = tf.reduce_mean(cross_entropy+beta*l2reg)

  # Optimizer.
      optimizer = tf.train.GradientDescentOptimizer(0.3).minimize(loss)

      # Predictions for the training, validation, and test data.
      train_prediction = tf.nn.softmax(logits_layer)
      print("ok")  

      print(tf.shape(weights_RELU) ) 
      valid_prediction = tf.nn.softmax(
        tf.matmul(tf.nn.relu((tf.matmul(tf_valid_dataset, weights_RELU) + biases_RELU)),weights_layer1)+biases_layer1)



      test_prediction =tf.nn.softmax(
        tf.matmul(tf.nn.relu((tf.matmul(tf_test_dataset, weights_RELU) + biases_RELU)),weights_layer1)+biases_layer1)

    with tf.Session(graph=graph1) as session:

      tf.initialize_all_variables().run()
      print("Initialized")
      for step in range(num_steps):

        # Pick an offset within the training data, which has been randomized.
        # Note: we could use better randomization across epochs.
        offset = (step * batch_size) % (train_labels.shape[0] - batch_size)
        # Generate a minibatch. 
        batch_data = train_dataset[offset:(offset + batch_size), :]
        batch_labels = train_labels[offset:(offset + batch_size), :]
        # Prepare a dictionary telling the session where to feed the minibatch.
        # The key of the dictionary is the placeholder node of the graph to be fed,
        # and the value is the numpy array to feed to it.
        feed_dict = {tf_train_dataset : batch_data, tf_train_labels : batch_labels}
        #

        _, l, predictions, logits = session.run(
          [optimizer, loss,train_prediction,logits_RELU], feed_dict=feed_dict)
        if (step % 500 == 0):
          print("Minibatch loss at step %d: %f" % (step, l))
          print("Minibatch accuracy: %.1f%%" % accuracy(predictions, batch_labels))
          print("Validation accuracy: %.1f%%" % accuracy(
            valid_prediction.eval(), valid_labels))
      test_acc = accuracy(test_prediction.eval(), test_labels)
      print("Test accuracy: %.1f%%" % test_acc)

      print('loss=%s' % l)
    x = datetime.datetime.now() - startTime
    print(x)
    return(test_acc,round(l,5))

define_and_run_batch(0.005)

Tensor("Shape:0", shape=(2,), dtype=int32) ok Tensor("Shape_1:0", 形状=（2，），dtype=int32） -------------------------------------------------- ------------------------- ValueError Traceback（最近一次调用 最后）在（） 94 返回（test_acc，round（l，5）） 95 ---> 96 define_and_run_batch(0.005)

在 define_and_run_batch(beta) 54 打印（tf.shape（weights_RELU）） 55 有效预测 = tf.nn.softmax（ ---> 56 tf.matmul(tf.nn.relu((tf.matmul(tf_valid_dataset, weights_RELU) +biases_RELU)),weights_layer1)+biases_layer1) 57 58

/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/tensorflow/python/ops/math_ops.pyc 在 matmul(a, b, transpose_a, transpose_b, a_is_sparse, b_is_sparse, 姓名） 第949章 第950章 --> 951 名称=名称） 952 第953章

/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/tensorflow/python/ops/gen_math_ops.pyc in _mat_mul(a, b, transpose_a, transpose_b, name) 第684章 第685章 --> 686 转置_b=转置_b，名称=名称） 687 第688章

/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/tensorflow/python/ops/op_def_library.pyc 在 apply_op(self, op_type_name, name, **keywords) 第653章 第654章 --> 655 op_def=op_def) 656 个输出 = op.outputs 第657章

/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/tensorflow/python/framework/ops.pyc 在 create_op(self, op_type, 输入, dtypes, input_types, name, attrs, op_def、compute_shapes、compute_device) 2040
original_op=self._default_original_op, op_def=op_def) 2041 如果 计算形状： -> 2042 set_shapes_for_outputs(ret) 2043 self._add_op(ret) 2044
self._record_op_seen_by_control_dependencies(ret)

/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/tensorflow/python/framework/ops.pyc 在 set_shapes_for_outputs(op) 1526 中引发 RuntimeError("No 为标准操作注册的形状函数：%s" 1527
% 操作类型） -> 1528 个形状 = shape_func(op) 1529 if len(op.outputs) != len(shapes): 1530 raise RuntimeError(

/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/tensorflow/python/ops/common_shapes.pyc 在 matmul_shape(op) 87 inner_a = a_shape[0] if transpose_a else a_shape[1] 88 inner_b = b_shape[1] if transpose_b else b_shape[0] ---> 89 inner_a.assert_is_compatible_with(inner_b) 90 返回 [tensor_shape.TensorShape([output_rows, output_cols])] 91

/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/tensorflow/python/framework/tensor_shape.pyc 在 assert_is_compatible_with(self, other) 92 如果不是 self.is_compatible_with(other): 93 raise ValueError("尺寸 %s 和 %s 不兼容" ---> 94 %（自己，其他）） 95 96 def merge_with(self, other):

ValueError: 维度 Dimension(29) 和 Dimension(30) 不是 兼容

整个代码在我的github上 https://github.com/FaguiCurtain/Kaggle-SF Udacity 作业 3 文件正在运行

原始数据在这里 https://www.kaggle.com/c/sf-crime/data

在 Udacity 中，数据是图像，每张图像都是一个 28x28 矩阵，该矩阵被重新格式化为大小为 784 的扁平向量

在 Kaggle-SF 文件中，我输入大小为 29 的向量，标签可以采用 39 个不同的值。

感谢您的帮助

Answer 1

在调试模式下，您可以检查张量的形状。 顺便说一下，你的错误是 valid_prediction 赋值。为了更好地调试和阅读，最好在单独的行中定义每个步骤。您在 1 行中使用 4 个操作。顺便说一句，在调试模式下（例如在 Pycharm 中），您可以检查元素并检查导致问题的原因

Answer 2

要检查尺寸，您可以直接打印张量。打印张量时，可以查看尺寸。我建议如果您是初学者，请尝试使用“tf.layers”包，其中包含在 tensorflow 中构建 CNN 所需的各个层的高级包装器。通过使用它，您可以避免处理各种低级操作，例如“matmul”和添加偏差。激活也可以直接由层应用，而无需手动实现。

就调试而言，由于您已经合并了操作，因此从代码中很难看到幕后发生的事情，除非我们可以使用适当的调试器。如果您不使用 IDE，我建议使用“pudb”。