精选【机器学习】面试干货系列100题


100题请下载附件PDF!100题请下载附件PDF!100题请下载附件PDF!

【部分试题展示】
下列哪种方法可以用来减小过拟合?(多选)
A. 更多的训练数据
B. L1 正则化
C. L2 正则化
D. 减小模型的复杂度
答案:ABCD

解析:增加训练样本、L1正则化、L2 正则化、减小模型复杂度都能有效避免发生过拟合。

下列说法错误的是?
A. 当目标函数是凸函数时,梯度下降算法的解一般就是全局最优解
B. 进行 PCA 降维时,需要计算协方差矩阵
C. 沿负梯度的方向一定是最优的方向
D. 利用拉格朗日函数能解带约束的优化问题
答案:C

解析:沿负梯度的方向是函数值减少最快的方向但不一定就是最优方向。

K-Means 算法无法聚以下哪种形状的样本?
A. 圆形分布
B. 螺旋分布
C. 带状分布
D. 凸多边形分布
答案:B

解析:K-Means 算法是基于距离测量的,无法聚非凸形状的样本。

向量 X=[1,2,3,4,-9,0] 的 L1 范数为?
A. 1
B. 19
C. 6
D. √111
答案:B

解析:L0 范数表示向量中所有非零元素的个数;L1 范数指的是向量中各元素的绝对值之和,又称“稀疏矩阵算子”;L2 范数指的是向量中各元素的平方和再求平方根。
本例中,L0 范数为 5,L1 范数为 19,L2 范数为 √111。

关于 L1、L2 正则化下列说法正确的是?
A. L2 正则化能防止过拟合,提升模型的泛化能力,但 L1 做不到这点
B. L2 正则化技术又称为 Lasso Regularization
C. L1 正则化得到的解更加稀疏
D. L2 正则化得到的解更加稀疏
答案:C

解析:L1、L2 正则化都能防止过拟合,提升模型的泛化能力。L1 正则化技术
又称为 Lasso Regularization。L1 正则化得到的解更加稀疏,如下图所示:

第九题.png


以二维情况讨论,上图左边是 L2 正则化,右边是 L1 正则化。从另一个方面来看,满足正则化条件,实际上是求解蓝色区域与黄色

区域的交点,即同时满足限定条件和 Ein 最小化。对于 L2 来说,限定区域是圆,这样,得到的解 w1 或 w2 为 0 的概率很小,很

大概率是非零的。

对于 L1 来说,限定区域是正方形,方形与蓝色区域相交的交点是顶点的概率很大,这从视觉和常识上来看是很容易理解的。也就

是说,方形的凸点会更接近 Ein 最优解对应的 wlin 位置,而凸点处必有 w1 或 w2 为 0。这样,得到的解 w1 或 w2 为零的概率就

很大了。所以,L1 正则化的解具有稀疏性。

扩展到高维,同样的道理,L2 的限定区域是平滑的,与中心点等距;而 L1 的限定区域是包含凸点的,尖锐的。这些凸点更接近

Ein 的最优解位置,而在这些凸点上,很多 wj 为 0。

1 个评论

感谢分享!

要回复文章请先登录注册

收藏七月在线,一起向大牛进阶

ctrl+D或command+D可以快速收藏哦~