我的主要问题是;平均损失与平均梯度相同,我如何在迷你批次上积累我的损失然后计算我的梯度?
我一直在尝试在Tensorflow中实现策略渐变,并遇到一个问题,我无法立即将所有游戏状态都提供给我的网络然后更新。问题是如果我降低我的网络大小,然后立即训练所有帧并采取损失的平均值然后它开始很好地收敛。但是如果我在微型批次上积累渐变然后平均它们,我的渐变爆炸,我溢出我的重量。
任何帮助或见解将非常感激。
请记住,这是我第一次在这里提问。
您可以做的是在每个小批量之后累积渐变,然后根据梯度平均值更新权重。考虑使用单层感知器拟合50高斯斑点的简单情况:
from sklearn.datasets import make_blobs
import tensorflow as tf
import numpy as np
x_train, y_train = make_blobs(n_samples=50,
n_features=2,
centers=[[1, 1], [-1, -1]],
cluster_std=0.5)
with tf.name_scope('x'):
x = tf.placeholder(tf.float32, [None, 2])
y = tf.placeholder(tf.int32, [None])
with tf.name_scope('layer'):
logits = tf.layers.dense(x,
units=2,
kernel_initializer=tf.contrib.layers.xavier_initializer())
with tf.name_scope('loss'):
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss_op = tf.reduce_mean(xentropy)
张量流优化器的minimize()
方法称为compute_gradients()
,然后是apply_gradients()
。我不打算调用minimize()
,而是直接调用这两种方法。首先,为了获得渐变,我们称之为compute_gradients()
(返回元组grads_and_vars
的列表)和apply_gradients()
而不是渐变,我将为未来渐变的平均值提供占位符:
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
grads_and_vars = optimizer.compute_gradients(loss_op)
grads = [g for g, v in grads_and_vars]
# placeholders for gradients averages
placeholder_grads = [tf.placeholder(tf.float32, [None] + g.get_shape().as_list())
for g in grads]
new_grads_and_vars = [(tf.reduce_mean(p, axis=0), gv[1])
for p, gv in zip(placeholder_grads, grads_and_vars)]
apply_grads_op = optimizer.apply_gradients(new_grads_and_vars)
在小批量生产中,我们只计算损失(您可以累计损失 - 附加到某些列表然后计算平均值)和梯度,而不应用渐变到权重。在每个时代结束时,我们执行apply_grads_op
操作,同时向其占位符提供累积的渐变:
data = tf.data.Dataset.from_tensor_slices({'x':x_train, 'y':y_train}).batch(10)
iterator = data.make_initializable_iterator()
n_epochs = 2
with tf.Session() as sess:
_ = sess.run([tf.global_variables_initializer(), iterator.initializer])
next_batch = iterator.get_next()
for epoch in range(n_epochs):
epoch_grads = []
while True:
try:
batch = sess.run(next_batch)
evaled = sess.run([loss_op] + grads,
feed_dict={x:batch['x'], y:batch['y']})
epoch_grads.append(evaled[1:])
print('batch loss:', evaled[0])
except tf.errors.OutOfRangeError:
_ = sess.run(iterator.initializer)
feed_dict = {p:[g[i] for g in epoch_grads]
for i, p in enumerate(placeholder_grads)}
_ = sess.run(apply_grads_op, feed_dict=feed_dict)
break