tensorflow 是否仅以单精度计算交叉熵？答案

【问题标题】：Does tensorflow compute the cross entropy only with single precision?tensorflow 是否仅以单精度计算交叉熵？
【发布时间】：2019-06-08 08:43:17
【问题描述】：

我正在尝试完全理解 TensorFlow 中交叉熵的计算。在下面的一段代码中，我用numpy生成双精度随机双精度数据x，将其转换为logits进行二进制分类（即每个数据点只有一个logit），通过sig中的sigmoid映射，计算交叉熵ce，然后是平均交叉熵mce。 TensorFlow 中的类似计算如下。我的问题是：

为什么我的平均交叉熵 mce（在 numpy 中以双精度计算）与 TensorFlow tf.losses.sigmoid_cross_entropy 之间存在差异？

我不知道，我忘了在哪里指定 TensorFlow 以双精度计算。此外，如果我使用tf.nn.reduce_mean，请参阅mcetf2 的计算，计算每个数据点的交叉熵，然后我得到我的 numpy 结果。差异从何而来？谢谢！

import numpy as np
import tensorflow as tf

#%%

# Number of data pionts nx and dimension dx
nx = 10
dx = 4

# Input data
x = np.random.rand(nx,dx)

#%% Numpy

# Transform to logits for binary classification with sigmoid
matrix = np.random.rand(dx,1)
logits = np.matmul(x,matrix)
print('Logits dimensions: %s' % str(logits.shape))

# Sigmoid
def sigmoid(x):
    return 1. / (1. + np.exp(-x))
sig = sigmoid(logits)
print('Sigmoid dimensions: %s' % str(sig.shape))

# Discrete probabilities
p = np.random.randint(2,size=nx)[:,np.newaxis]
print('Probability dimensions: %s'% str(p.shape))

# Cross entropy for each data point
ce = p*np.log(1/sig)+(1-p)*np.log(1/(1-sig))

# Mean cross entropy
mce = np.mean(ce)
print('MCE with np: %.16f' % mce)

#%% Tensorflow

xp = tf.placeholder(dtype=tf.float64,shape=[None,dx])
pp = tf.placeholder(dtype=tf.float64,shape=[None,1])

model = xp
c1 = tf.constant(matrix,dtype=tf.float64)
model = tf.matmul(xp,c1)
sigtf = tf.nn.sigmoid(model)
cetf = tf.nn.sigmoid_cross_entropy_with_logits(labels=pp,logits=model)
mcetf = tf.losses.sigmoid_cross_entropy(pp,model)
mcetf2 = tf.reduce_mean(cetf)

sess = tf.Session()
feed = {xp:x,pp:p}
print('Error in logits: %.16f' % np.max(np.abs(sess.run(model,feed)-logits)))
print('Error in sigmoid: %.16f' % np.max(np.abs(sess.run(sigtf,feed)-sig)))
print('Error in CE: %.16f' % np.max(np.abs(sess.run(cetf,feed)-ce)))
print('Error in MCE: %.16f' % np.abs(sess.run(mcetf,feed)-mce))
print('Error in MCE2: %.16f' % np.abs(sess.run(mcetf2,feed)-mce))
sess.close()

Logits 维度：(10, 1)

Sigmoid 维度：(10, 1)

概率维度：(10, 1)

具有 np 的 MCE：0.7413128316195762

logits 中的错误：0.0000000000000000

sigmoid 中的错误：0.0000000000000000

CE 中的错误：0.0000000000000009

MCE 中的错误：0.0000000297816550

MCE2 中的错误：0.0000000000000001

【问题讨论】：

标签： python tensorflow cross-entropy

【解决方案1】：

（32 位）floats 的使用似乎在 Tensorflow 中 sigmoid_cross_entropy 使用的 compute_weighted_loss() 函数中进行了硬编码

作为一个小问题，您用于计算 ce 的 numpy 代码在数值上不是很稳定 - 但它不会影响这里的任何内容。我将其实现为：

ce = p * -np.log(sig) + (1-p) * -np.log1p(-sig)

log1p 的使用是主要变化。当sig 接近于零时，您对1 - sig 的使用将lose all precision 接近零

【讨论】：