【问题标题】:Fully Convolutional Network, Training Error全卷积网络,训练误差
【发布时间】:2017-07-01 03:04:24
【问题描述】:

对不起,我的英语不好。

我正在尝试使用 TensorFlow 构建自己的全卷积网络。 但是我用自己的图像数据训练这个模型有困难,而 MNIST 数据工作正常。

这是我的 FCN 模型代码:(未使用预训练或预构建模型)

import tensorflow as tf
import numpy as np

加载 MNIST 数据

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

images_flatten = tf.placeholder(tf.float32, shape=[None, 784])

images = tf.reshape(images_flatten, [-1,28,28,1]) # CNN deals with 3 dimensions
labels = tf.placeholder(tf.float32, shape=[None, 10])
keep_prob = tf.placeholder(tf.float32) # Dropout Ratio

卷积层

# Conv. Layer #1
W1 = tf.Variable(tf.truncated_normal([3, 3, 1, 4], stddev = 0.1))
b1 = tf.Variable(tf.truncated_normal([4], stddev = 0.1))    
FMA = tf.nn.conv2d(images, W1, strides=[1,1,1,1], padding='SAME')
# FMA stands for Fused Multiply Add, which means convolution
RELU = tf.nn.relu(tf.add(FMA, b1))
POOL = tf.nn.max_pool(RELU, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')

# Conv. Layer #2
W2 = tf.Variable(tf.truncated_normal([3, 3, 4, 8], stddev = 0.1))
b2 = tf.Variable(tf.truncated_normal([8], stddev = 0.1))    
FMA = tf.nn.conv2d(POOL, W2, strides=[1,1,1,1], padding='SAME')
RELU = tf.nn.relu(tf.add(FMA, b2))
POOL = tf.nn.max_pool(RELU, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')

# Conv. Layer #3
W3 = tf.Variable(tf.truncated_normal([7, 7, 8, 16], stddev = 0.1))
b3 = tf.Variable(tf.truncated_normal([16], stddev = 0.1))   
FMA = tf.nn.conv2d(POOL, W3, strides=[1,1,1,1], padding='VALID')
RELU = tf.nn.relu(tf.add(FMA, b3))

# Dropout
Dropout = tf.nn.dropout(RELU, keep_prob)

# Conv. Layer #4
W4 = tf.Variable(tf.truncated_normal([1, 1, 16, 10], stddev = 0.1))
b4 = tf.Variable(tf.truncated_normal([10], stddev = 0.1))   
FMA = tf.nn.conv2d(Dropout, W4, strides=[1,1,1,1], padding='SAME')
LAST_RELU = tf.nn.relu(tf.add(FMA, b4))

总结:[Conv-ReLU-Pool] - [Conv-ReLU-Pool] - [Conv-ReLU] - [Dropout] - [Conv-ReLU]

定义损失、准确度

prediction = tf.squeeze(LAST_RELU) 
# Because FCN returns (1 x 1 x class_num) in training

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(prediction, labels))
# First arg is 'logits=' and the other one is 'labels='

optimizer = tf.train.AdamOptimizer(0.001)    
train = optimizer.minimize(loss)

label_max = tf.argmax(labels, 1)
pred_max = tf.argmax(prediction, 1)
correct_pred = tf.equal(pred_max, label_max)
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

训练模型

sess = tf.Session()
sess.run(tf.global_variables_initializer())

for i in range(10000):
   image_batch, label_batch = mnist.train.next_batch(100)
   sess.run(train, feed_dict={images: image_batch, labels: label_batch, keep_prob: 0.8})
   if i % 10 == 0:
       tr = sess.run([loss, accuracy], feed_dict={images: image_batch, labels: label_batch, keep_prob: 1.0})
       print("Step %d, Loss %g, Accuracy %g" % (i, tr[0], tr[1]))

损失:0.784(大约)

准确度:94.8%(大约)

问题是,用 MNIST 数据训练这个模型效果很好,但是用我自己的数据,损失总是相同的(0.6319),输出层总是 0。

除了第三个卷积层的过滤器大小外,代码没有区别。此过滤器大小和由先前池化层压缩的输入大小必须具有相同的宽度和高度。这就是为什么这一层的过滤器大小是[7,7]。

我的模型有什么问题?..

两种情况(MNIST,我自己的数据)之间唯一不同的代码是:

占位符

我自己的数据有 (128 x 64 x 1),标签是 'eyes', 'not_eyes'

images = tf.placeholder(tf.float32, [None, 128, 64, 1])
labels = tf.placeholder(tf.int32, [None, 2])

第三卷积层

W3 = tf.Variable(tf.truncated_normal([32, 16, 8, 16], stddev = 0.1))

投料(批量)

image_data, label_data = input_data.get_batch(TRAINING_FILE, 10)

sess = tf.Session()
sess.run(tf.global_variables_initializer())
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)

for i in range(10000):
    image_batch, label_batch = sess.run([image_data, label_data])
    sess.run(train, feed_dict={images: image_batch, labels: label_batch, keep_prob: 0.8})
    if i % 10 == 0: ... # Validation part is almost same, too...

coord.request_stop()
coord.join(threads)

这里的“input_data”是同目录下的另一个python文件,“get_batch(TRAINING_FILE, 10)”是返回批处理数据的函数。代码是:

def get_input_queue(txtfile_name):
    images = []
    labels = [] 

    for line in open(txtfile_name, 'r'): # Here txt file has data's path, label, label number
        cols = re.split(',|\n', line)
        labels.append(int(cols[2]))
        images.append(tf.image.decode_jpeg(tf.read_file(cols[0]), channels = 1)) 

    input_queue = tf.train.slice_input_producer([images, labels], shuffle = True)
    return input_queue

def get_batch(txtfile_name, batch_size):
    input_queue = get_input_queue(txtfile_name)
    image = input_queue[0]
    label = input_queue[1]

    image = tf.reshape(image, [128, 64, 1])

    batch_image, batch_label = tf.train.batch([image, label], batch_size)
    batch_label_one_hot = tf.one_hot(tf.to_int64(batch_label), 2, on_value=1.0, off_value=0.0)
    return batch_image, batch_label_one_hot

似乎没有任何问题.. :( 请帮帮我..!!

【问题讨论】:

  • 尝试缩放输入(-1 到 1)并将权重的 stddev 设置为较低的值,例如 0.01。 output always zero 指向 dead ReLU。
  • “缩放输入(-1 到 1)”是什么意思?

标签: tensorflow


【解决方案1】:

您的输入是否适当缩放? jpeg 在 [0-255] 范围内,需要缩放到 [-1 - 1]。你可以试试:

 image = tf.reshape(image, [128, 64, 1])
 image = tf.scalar_mul((1.0/255), image)
 image = tf.subtract(image, 0.5)
 image = tf.multiply(image, 2.0)

【讨论】:

  • 谢谢!我了解到图像有时需要标准化。
  • 解决了您所面临的问题吗?
  • 嗯..我做了之后,loss和accuracy好像都计算得不错,但是最后accuracy变成了198甚至超过200。但是loss问题(一直是0.6139)解决了. :)
  • 没关系!有用。太感谢了。现在我意识到数据和预处理对于训练模型非常重要。
【解决方案2】:

您的 MNIST 模型的准确度如何?如果您发布代码会很有帮助。您是否使用经过训练的模型来评估您自己数据的输出。

提供了有关设置卷积模型的一般建议here。 这是根据文章的模型建议:-

输入 -> [[CONV -> RELU]*N -> POOL?]*M -> [FC -> RELU]*K -> FC

在池化之前拥有超过一层的 CONV->RELU 对可以提高学习复杂特征的能力。尝试使用 N=2 而不是 1。

其他一些建议:

  1. 在准备数据时,将其缩小到小于 128x64 的大小。尝试与 MNIST 数据相同的大小..

    image = tf.reshape(image, [28, 28, 1])

  2. 如果您的 eye/noeye 图像是彩色的,则将其转换为灰度并将值标准化为统一范围。您可以使用 numpy 或 tf 执行此操作,这是使用 numpy 的方法

灰度-->

  img = np.dot(np.array(img, dtype='float32'), [[0.2989],[0.5870],[0.1140]])

标准化-->

 mean = np.mean(img, dtype='float32')
 std = np.std(img, dtype='float32', ddof=1)
 if std < 1e-4: std = 1.
 img = (img - mean) / std 

【讨论】:

  • 嗯....我尝试上传损失和准确度图..它说我需要声誉(?)来上传图..无论如何,我用 MNIST 训练时的准确度是 94%。我会尽快发布整个代码!
  • 是的,可能是因为您是新用户。是的,当然发布代码。
  • 由于您总是得到相同的输出 0,我强烈怀疑您的过滤器值永远不会改变,您可以通过对 W1 进行统计来检查这一点(例如每次迭代后的最大值、最小值)。我还可以建议您在重塑图像时将其缩小到更小 image = tf.reshape(image, [28, 28, 1])
  • 非常感谢!它有很大帮助:)
猜你喜欢
  • 2016-07-01
  • 1970-01-01
  • 2016-12-27
  • 2018-05-01
  • 2018-10-07
  • 2019-01-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多