将张量流 tf.contrib.layers.layer_norm 转换为 tf2.0

【问题标题】：Converting tensorflow tf.contrib.layers.layer_norm to tf2.0将张量流 tf.contrib.layers.layer_norm 转换为 tf2.0
【发布时间】：2023-04-09 20:11:02
【问题描述】：

我想把下面的代码从 tf1.0 改成 tf2.0

 tf.contrib.layers.layer_norm(
      inputs=input_tensor, begin_norm_axis=-1, begin_params_axis=-1, scope=name)

此代码取自https://github.com/google-research/bert/blob/master/modeling.py 第 364 行。

请帮帮我。

【问题讨论】：

标签： tensorflow layer

【解决方案1】：

@rishabh-sahrawat 的回答是对的，但你应该这样做：

layer_norma = tf.keras.layers.LayerNormalization(axis = -1)
layer_norma(input_tensor)

在您链接的 BERT 案例中，您应该使用以下内容修改代码：

def layer_norm(input_tensor, name=None):
  """Run layer normalization on the last dimension of the tensor."""
  layer_norma = tf.keras.layers.LayerNormalization(axis = -1)
  return layer_norma(input_tensor)

【讨论】：

【解决方案2】：

This 是在 TF2.0 中执行此操作的等效方法

tf.keras.layers.LayerNormalization(input_tensor, axis = -1)

【讨论】：