层归一化，具有平均功率限制

Question

我正在研究论文“物理层深度学习简介”。在使用 python Keras 实现建议的网络时，我应该标准化一些值，即前一层的输出。
一种方法是简单的 L2 归一化，||X||^2 = 1，其中 X 是前一层输出的张量。
作为代码

from keras import backend as K
Lambda(lambda x: K.l2_normalize(x,axis=1))

另一种方式，我想知道的是 ||X||^2 ≤ 1。
有什么方法可以限制层输出的值吗？

Answer 1

我解决了！
使用“批量标准化”可以轻松实现该标准化。