张量流双射器构造答案

【问题标题】：tensorflow bijector construction张量流双射器构造
【发布时间】：2018-11-13 06:48:25
【问题描述】：

我是张量流分布和双射器的新手。我知道当他们设计 tensorflow 分发包时，他们将张量的形状分成三组：[sample shape, batch_shape, event_shape]。但是我很难理解为什么当我们定义一个新的双射器类时，他们总是将父类的事件维度定义为1。例如，下面的代码是一个Real-NVP双射器类，在它的init强>功能：

super(NVPCoupling, self).__init__(
                event_ndims=1, validate_args=validate_args, name=name)

但据我了解，这个 real-NVP 类作用于事件维度为 D 的张量，对吧？

def net(x, out_size):
        return layers.stack(x, layers.fully_connected, [512, 512, out_size])

    # Affine Coupling layer for Real-NVP


    class NVPCoupling(tfb.Bijector):
        """NVP affine coupling layer for 2D units.
        """

        def __init__(self, D, d, layer_id=0, validate_args=False, name="NVPCoupling"):
            """
            Args:
              d: First d units are pass-thru units.
            """
            # first d numbers decide scaling/shift factor for remaining D-d numbers.
            super(NVPCoupling, self).__init__(
                event_ndims=1, validate_args=validate_args, name=name)
            self.D, self.d = D, d
            self.id = layer_id
            # create variables here
            tmp = tf.placeholder(dtype=DTYPE, shape=[1, self.d])
            self.s(tmp)
            self.t(tmp)

        def s(self, xd):
            with tf.variable_scope('s%d' % self.id, reuse=tf.AUTO_REUSE):
                return net(xd, self.D - self.d)

        def t(self, xd):
            with tf.variable_scope('t%d' % self.id, reuse=tf.AUTO_REUSE):
                return net(xd, self.D - self.d)

        def _forward(self, x):
            xd, xD = x[:, :self.d], x[:, self.d:]
            yD = xD * tf.exp(self.s(xd)) + self.t(xd)  # [batch, D-d]
            return tf.concat([xd, yD], axis=1)

        def _inverse(self, y):
            yd, yD = y[:, :self.d], y[:, self.d:]
            xD = (yD - self.t(yd)) * tf.exp(-self.s(yd))
            return tf.concat([yd, xD], axis=1)

        def _forward_log_det_jacobian(self, x):
            event_dims = self._event_dims_tensor(x)
            xd = x[:, :self.d]
            return tf.reduce_sum(self.s(xd), axis=event_dims)

此外，当我们使用样本张量对其进行训练时，张量的形状为 [batch_size, D]。但是 tmp 占位符的 shape=[1, self.d] 而不是 [Batch_size, self.d]。这是什么原因。希望有专家能澄清一下。谢谢。

【问题讨论】：

标签： python tensorflow machine-learning unsupervised-learning

【解决方案1】：

event_ndims 是事件维度的数量，而不是输入的大小。因此event_ndims=1 对向量进行操作，event_ndims=2 对矩阵进行操作，等等。请参阅 __init__ 文档字符串以了解 Bijector 类。

【讨论】：