如何从零开始在 Keras 中实现 Leaky ReLU？ [关闭]答案

【问题标题】：How implement Leaky ReLU in Keras from scratch? [closed]如何从零开始在 Keras 中实现 Leaky ReLU？ [关闭]
【发布时间】：2021-01-20 20:25:41
【问题描述】：

如何从头开始实现 Leaky ReLU 并将其用作 Keras 中的自定义函数，我有一个粗略的 sn-p，但不确定我与正确定义有多接近。我的问题分为两部分：

1-我的实现是否正确？

2-如果不是，我做错了什么？

正在使用的实现：

from keras import backend as K 
from keras.layers import Conv3D

def leaky_relu(x):
   alpha = 0.1
   return K.maximum(alpha*x, x)

及用法：

x = Conv3D(64, kernel_size=(3, 3, 3), activation=leaky_relu, padding='same', name='3D_conv')(x)

任何帮助将不胜感激。

【问题讨论】：

【解决方案1】：

是的，没错。我对函数进行了轻微修改，使其更可重用：

def LeakyReLU(alpha = 1):
    return lambda x : tf.keras.backend.maximum(alpha * x, x)

通过这种方式，您可以使用不同的 alpha 值调用激活：

x = Conv3D(64, kernel_size=(3, 3, 3), activation=LeakyReLU(0.1), padding='same', name='3D_conv')(x)

【讨论】：