概念区分
机器学习>神经网络>深度学习=深度神经网络
机器学习
- 神经网络
- 浅层神经网络
- 深层神经网络/深度学习：一种机器学习算法，“深度”指的是神经网络中的层次很深。
- 逻辑回归：没有隐含层的神经网络
- ……
标注习惯
- 上角小括号：训练集里的值
- 上角中括号：神经网络的层数
- 大括号：不同的mini-batch
逻辑回归
正向传播
$z=w^{T}x+b$
激活函数：$a = \hat{y} = \sigma (z)$
损失函数(衡量在单个训练样本上的表现)：
$L(\hat y, y) = -ylog\hat y - (1-y)log(1-\hat{y})$
成本函数(衡量在全体训练样本上的表现)：$J\left( {w,b} \right) = \frac{1}{m}\sum\limits_{i = 1}^m {L({\hat{y}^{(i)}},\mathop y\nolimits^{(i)} )}$
反向传播
梯度下降算法：
$$da = \frac{\partial L}{\partial a} = - \frac{y}{a} + \frac{1 - y}{1 - a}$$
$$dz = \frac{\partial L}{\partial z} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} = ( - \frac{y}{a} + \frac{1 - y}{1 - a}) \cdot a \cdot (1 - a) = a - y$$
$$\left{ {\begin{array}{l}
{d\mathop w\nolimits_1 = \frac{\partial L}{\partial \mathop w\nolimits_1 } = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial \mathop w\nolimits_1 } = \mathop x\nolimits_1 \cdot (a - y)}\
{d\mathop w\nolimits_2 = \frac{\partial L}{\partial \mathop w\nolimits_2 } = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial \mathop w\nolimits_2 } = \mathop x\nolimits_2 \cdot (a - y)}\
{db = \frac{\partial L}{\partial b} = a - y}
\end{array}} \right.$$
更新：
$$\left{ {\begin{array}{l}
{\mathop w\nolimits_1 : = \mathop w\nolimits_1 - \partial \cdot d\mathop w\nolimits_1 }\
{\mathop w\nolimits_2 : = \mathop w\nolimits_2 - \partial \cdot d\mathop w\nolimits_2 }\
{b: = b - \partial \cdot db}
\end{array}} \right.$$
m个样本的梯度下降：
$$\left{ {\begin{array}{l}
{d{\rm{ }}{w_1} = \frac{\rm{1}}{\rm{m}}\sum\limits_{i = 1}^m {x_1^{(i)} \cdot ({a^{(i)}} - {y^{(i)}})} {\rm{ }}}\
{d{\rm{ }}{w_2} = \frac{\rm{1}}{\rm{m}}\sum\limits_{i = 1}^m {x_2^{(i)} \cdot ({a^{(i)}} - {y^{(i)}})} {\rm{ }}}\
{db = \frac{\partial L}{\partial b} = \frac{\rm{1}}{\rm{m}}\sum\limits_{i = 1}^m {({a^{(i)}} - {y^{(i)}})} }
\end{array}} \right.$$
深层网络的向前传播：
$$z^{[l]}=w^{[l]}a^{[l]-1}+b^{[l]}$$
$$a^{[l]} = \sigma (z^{[l]})$$
常见激活函数
sigmiod函数
$$
f(x) = \frac{1}{1 + e^{-x}}
$$
使用范围：常用于二分类问题。被广泛地使用在输出单元/最后一层上，在隐藏层使用较少。
输出特点：值在0和1之间。
具有平滑性、可导性、单调性等良好的性质，使用sigmod激活函数的神经网络可以学习到非线性的特征，提高模型的拟合能力。
存在输出值偏置的问题，当输入值很大或很小时，函数的斜率会趋近于0，导致梯度消失，使得神经网络难以进行有效的学习。
softmax函数
$$
S_i = \frac{e^i}{\sum_j e^j}
$$
使用范围：多分类问题。用在输出单元。
输出特点：每一项的区间范围是(0, 1)，所有项相加的和为1。
tanh函数
$$
tanh(x) = \frac{1 - e^{-2x}}{1 + e^{-2x}}
$$
ReLU函数
$$
ReLU(x) = max(x, 0)
$$
使用范围：当搭建的神经网络层数较多时，此时不宜选择sigmoid、tanh函数，应选用ReLU。
ReLU函数的求导表现得很好，要么让参数消失，要么让参数通过。ReLU减轻了神经网络的梯度消失问题。
常见损失函数
交叉熵
$$
L(\hat y, y) = -ylog\hat y - (1-y)log(1-\hat{y})
$$
均方差
$$
MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2
$$
