理清深度学习前馈神经网络

面直观的了解，我这里还是要深入介绍一下多层感知机的原理。Multi-Layer Perceptron（我们后面都叫MLP），MLP并没有规定隐含层的数量，因此我们可以根据自己的需求选择合适的层数，也对输出层神经元没有个数限制。

02 深度神经网络的激活函数

感知机算法中包含了前向传播（FP）和反向传播（BP）算法，但在介绍它们之前，我们先来了解一下深度神经网络的激活函数。

为了解决非线性的分类或回归问题，我们的激活函数必须是非线性的函数，另外我们使用基于梯度的方式来训练模型，因此激活函数也必须是连续可导的。 @ 磐创 AI

常用的激活函数主要是：

Sigmoid激活函数

Sigmoid函数就是Logistic函数，其数学表达式为：
 

以看出，Sigmoid激活函数在定义域上是单调递增的，越靠近两端变化越平缓，而这会导致我们在使用BP算法的时候出现梯度消失的问题。

Tanh激活函数

Tanh激活函数中文名叫双曲正切激活函数，其数学表达式为：
 

样的，tanh激活函数和sigmoid激活函数一样存在梯度消失的问题，但是tanh激活函数整体效果会优于Sigmoid激活函数。

Q：为什么Sigmoid和Tanh激活函数会出现梯度消失的现象？

A：两者在z很大（正无穷）或者很小（负无穷）的时候，其导函数都会趋近于0，造成梯度消失的现象。

ReLU激活函数

ReLU激活函数又称为修正线性单元或整流性单元函数，是目前使用比较多的激活函数，其数学表达式为：

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!