李宏毅：Activation Function

1、relu

（1）relu

李宏毅：Activation Function

（2）relu的变形

李宏毅：Activation Function

李宏毅：Activation Function

（3）selu

李宏毅：Activation Function

李宏毅：Activation Function

 

下图中的iid表示独立同分布，输入a1...ak的mean是0，variance是 1，Selu希望得到输出的mean也是0，variance也是1。我们假设w1...wk的mean也等于0。

李宏毅：Activation Function

我们假设weight的variance也是1。

李宏毅：Activation Function

李宏毅：Activation Function

SNN就是用selu

李宏毅：Activation Function

（3）swish

李宏毅：Activation Function

 

相关文章：

  • 2021-06-27
  • 2021-05-04
  • 2021-06-02
  • 2021-04-20
  • 2021-09-18
  • 2021-08-19
  • 2021-07-17
  • 2021-08-12
猜你喜欢
  • 2021-12-18
  • 2021-09-02
  • 2021-09-15
  • 2021-05-21
  • 2021-05-31
  • 2021-10-02
  • 2022-01-04
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode