“优化都不懂,你还想做机器学习?”


文章来源:https://dwz.cn/nsQg778w

机器学习的基础是什么?是“数学”,而“优化”就是数学中的核心知识之一。

而且在机器学习遇到的复杂优化问题(非凸,不熟悉的),最高效的方法就是利用凸优化的思路去解决。

小七这次把《机器学习中的数学 第二期》,中关于优化的部分PPT送给大家。

其中优化问题简介、凸集合与凸函数、优化和凸优化是属于非常基础的部分,后续两大板块有一定难度。

目录:
一、优化问题简介
二、凸集合与凸函数
知识点:
1、凸集合与凸函数的关系
2、琴生不等式的几何解释

三、优化与凸优化
知识点:
1、凸优化问题
2、对偶问题
3、对偶性
4、KKT条件
5、拉格朗日乘数法

四、支持向量机(SVM)简介
知识点:
1、线性分类器
2、对偶方法推导SVM
3、几何方法推导SVM

五、压缩感知简介
知识点:
1、信号还原问题
2、压缩感知
3、求解压缩感知的优化方法
4、Lasso方法与优化的稳定性

优化问题简介

1.png


2.png


3.png


4.png

凸集合与凸函数
5.png


6.png


7.png


8.png


9.png


10.png

局部极值与全局极值:

11.png

凸函数的重要性质:局部极值一定是全局极值

(下图左侧为凸函数,右侧为非凸函数)

12.png

凸优化
1.png


2.png


3.png


4.png


5.png


6.png


7.png


8.jpg


9.jpg


10.jpg


11.png


12.png


13.jpg


14.png


当原问题只有等式约束而没有不等式约束时,KKT条件即为拉格朗日乘数法。

阶段总结
1、优化问题在机器学习的模型训练中有重要应用。
2、凸函数代数性质与凸集合的几何性质;琴生不等式的几何解释。
3、凸优化是一类相对简单的优化问题;凸函数的局部最小值就是全局最小值。
4、对偶方法的主要目的是处理原问题中的复杂边界条件;对偶问题永远是凸问题; 弱对偶性永远成立,可以为原问题提供下界。
5、KKT条件可以用来求解一些优化问题;拉格朗日乘数法是KKT条件的一种特殊形式。

支持向量机简介

1.png


2.png


3.png


4.png


5.png


6.png


7.png


8.png


9.png


10.png


11.jpg


12.png


13.png


压缩感知介绍
1.png


2.png


3.png


4.png


5.png


6.png


向量的范数:

对于一个向量:
1.png


2.png


3.png


4.png


Lasso 方法与优化的稳定性:

机器学习所需的数学基础,主要就是四大方面:微积分、线性代数、概率论、以及上文分享的优化。

大家如果对其他三方面感兴趣,目前《机器学习中的数学第二期》可以免费试听。快用PC端打开网页,开始学习吧。

课程网址:

https://www.julyedu.com/course ... %3Ddl

QQ图片20190618115742.png

大量学员拿到30-40万年薪
多位名校博士+BAT专家手把手教学
现在报名
送18VIP会员
[包2018全年在线课程和全年GPU]
前80人可享特惠价
↓立刻扫码查看详情↓
999.png
已邀请:

要回复问题请先登录注册