【DNN】为什么神经网络需要激励函数


神经网络的每个神经元输出都是经过激励函数的,不论是sigmoid,tanh,ReLU还是leak ReLU。那么问题来了,为什么一定是要经过这个激励函数呢?对于输出层比较好理解,就是把输出归一化到某个范围,对于隐含层呢?是为了能拟合非线性吗?还是能够在某些情况下使得神经元处于激发和非激发状态,模拟真实神经网络,减少过拟合?
已邀请:

寒老师

赞同来自: July lanpay


少年,若干层WX+b嵌套,不加非线性变换(激励函数)的话,还是线性映射啊,那多层就没意义了嘛。。。
W1(W0X+b0)+b1 = W0W1X + (W1b0+b1)
你看,2层==1层

要回复问题请先登录注册