具有固定时间表的自适应学习率答案

【问题标题】：Adaptive learning rate with fixed schedule具有固定时间表的自适应学习率
【发布时间】：2017-09-17 12:52:56
【问题描述】：

我正在尝试使用自适应学习率和基于 Adam 梯度的优化来实现卷积神经网络。我有以下代码：

# learning rate schedule
schedule = np.array([0.0005, 0.0005,
       0.0002, 0.0002, 0.0002,
       0.0001, 0.0001, 0.0001,
       0.00005, 0.00005, 0.00005, 0.00005,
       0.00001, 0.00001, 0.00001, 0.00001, 0.00001, 0.00001, 0.00001, 0.00001])

# define placeholder for variable learning rate
learning_rates = tf.placeholder(tf.float32, (None),name='learning_rate')

# training operation
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=logits, 
labels=one_hot_y)
loss_operation = tf.reduce_mean(cross_entropy)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rates)
training_operation = optimizer.minimize(loss_operation)

运行会话的代码：

.
.
.
_, loss = sess.run([training_operation, loss_operation], 
               feed_dict={x: batch_x, y: batch_y, learning_rate: schedule[i]})
.
.
.

i 表示初始化为 0 的 epoch 计数，因此从技术上讲，它应该使用调度中的第一个值。

每当我尝试运行它时，我都会收到以下错误：

InvalidArgumentError：您必须使用 dtype float 为占位符张量“learning_rate_2”提供一个值 [[节点：learning_rate_2 = Placeholderdtype=DT_FLOAT, shape=[], _device="/job:localhost/replica:0/task:0/cpu:0"]]

有人遇到过同样的问题吗？我尝试重新初始化会话，重命名变量但无济于事。

【问题讨论】：

试试这个，在会话中定义时间表
嗨，阿里，这也不起作用，但我在附近找到了另一个。我删除了 learning_rates 占位符并将优化器变量复制到我的训练循环中。不是很优雅，但很有效。

标签： python-3.x machine-learning tensorflow conv-neural-network

【解决方案1】：

找到了一个中间解决方案。

.
.
.
for i in range(EPOCHS):
    XX_train, yy_train = shuffle(X_train, y_train)

    # code for adaptive rate
    optimizer = tf.train.AdamOptimizer(learning_rate = schedule[i])

    for offset in range(0, num_examples, BATCH_SIZE):
        end = offset + BATCH_SIZE
        batch_x, batch_y = XX_train[offset:end], yy_train[offset:end]
        _, loss = sess.run([training_operation, loss_operation], feed_dict={x: batch_x, y: batch_y})
.
.
.

不是很优雅，但至少它有效。

【讨论】：