@寒老师,课上寒老师说L1正则有截断效应,L2则正有缩放效应,知道是损失函数加绝对值或者加平方项,但是一直想不明白为什么会有截断效应和缩放效应,


可以解释下,这两种效应怎么解释了
已邀请:

lanpay

赞同来自:


你把公式写出来,我指的是参数更新公式,那么就是两部分,一部分是梯度,一部分是正则项的梯度,观察正则项的梯度这部分就会明白。
结论就是:
L2正则相当于参数每次更新时,按一个比例缩小;
L1正则相当于参数每次更新时,减去一个固定值。

另外单纯的L1正则没法做到截断效应,还需要配合一些截断算法。大致就这些。

要回复问题请先登录注册

返回顶部