深度学习项目班-预习课第一节-神经网络初步


神经网络初步

线性分类器

损失函数

hinge loss 与 softmax

损失函数

感知机

感知机算法,就是单层的逻辑回归。

感知机

神经网络

神经网络

逻辑与运算

逻辑与

逻辑亦或运算

逻辑亦或

两层的逻辑与,表明了神经网络具有非线性的切分能力。

逻辑或运算

逻辑或运算

组合运算

通过多条直线的与操作可以扣出一块区域,通过多块区域的与操作,可以对平面的样本进行了分类操作,在下图中,颜色相同,说明图片上为同一类。

组合运算

神经网络非线性切分

神经网络非线性切分

神经网络结构与非线性切分能力,网络层数越多,能力越强。
  • 理论上说单隐层神经网络可以逼近任何连续函数(只要隐层的神经元个数足够多)。
  • 虽然从数学上看表达能力一致,但是多隐藏层的神经网络比单隐藏层的神经网络工程效果好很多。
  • 对于一些分类数据,3 层神经网络效果优于 2 层神经网络,但是如果把层数再不断增加(4,5,6层),对最后结果的帮助就没有那么大的跳变了。
  • 图像数据比较特殊,是一种深层(多层次)的结构化数据,深层次的卷积神经网络,能够更充分和准确地把这些层级信息表达出来。


激活函数

激活函数

才大部分神经网络中,tanh 比 sigmoid 函数更有用,以零为中心,更有助于神经网络的训练。

反向传播

反向传播

数学中,就是复合函数的链式法则。

公式推导

图形的描述,就是下山,每次优化,选择梯度方向,向前迈一步,梯度是优化函数值下降最快的方向。

SGD

正向传播算法,从输入层到隐藏层,再到输出层。

正向传播算法

反向传播算法,优化更新参数,是的误差 loss 越来越小。

反向传播算法

Google PlayGround

Google PlayGround

项目实战

> Google wide && Deep model.

Google wide && Deep model
已邀请:

要回复问题请先登录注册

返回顶部