1. 什么是激活函数

备注：橙色的线表示原函数，蓝色的线表示导函数。特点leaky relu是为了解决relu的dead relu问题而设计的，将relu的前半段用“ax”（通常a取值为0.01）替换0。这样在理论上就解决了dead relu的问题。

备注：在实践中，并没有证明leaky relu在效果上完全优于relu。

3.3.3 ELU

表达式

elu的表达式如下所示：

elu导函数的表达式如下所示：

图像

备注：橙色的线表示原函数，蓝色的线表示导函数。

特点

elu也是为了解决relu的dead relu问题而设计的，elu除了具有relu的优点之外还具有以下优点：

1. 解决dead relu问题；
2. 输出的均值接近于0，即满足zero-centered；小缺点
3. 计算量比relu和leaky relu大；
   备注：在实践中，并没有证明elu在效果上完全优于relu。