线性回归中最小二乘法问题


视频中是从几何逼近的角度来说,是y减去y在X列空间的投影的向量与X列空间的每个向量正交,但老师您看这张图,y在竖直方向差值的向量并没有与h(x)这条回归线正交,我不是很理解这里
@管枫
QQ图片20160806230332.png
已邀请:

mapleguan

赞同来自: July chenYang


线性回归的最小二乘法:

线性回归从数学角度可以认为是在求解如下的线性方程 Xβ=y。但是X的行数m等于样本个数,而X的列数p等于参数个数。所以通常而言方程个数远大于未知数个数,此时这个方程一般是没有解的。

既然左边不能等于右边,那两边如果离得比较近也是好的于是就有了最小二乘的想法:最小化|Xβ-y|^2​.

然而对于这样一个目标函数 |Xβ-y|^2 来说存在不同的几何解释:

列空间(问题中矩阵投影的观点): ​

如果把X的每一列看成一个m维的向量,也就是m维空间中的p个向量。那么Xβ就是这些列向量的一个线性组合,仍然是m维的向量。而 |Xβ-y|^2 则代表这两个向量之间的距离。这时候最小化|Xβ-y|^2就意味着要找到X的列空间中的一个点使得它与y的距离最小。这个点几何上我们知道应该是y在X的列空间上的投影。所以 Xβ-y 应该与X的列空间垂直。

行空间(问题中图示的观点):

如果把X和y放在一起组成一个m乘(p+1)的矩阵,举个p=2的例子:
1 x1 y1
1 x2 y2
......
1 xn yn
如果把这个大矩阵中每一行除了开头的1之外,当成一个向量来看,那么就得到了p维空间上的n个点。
在这种理解下|Xβ-y|^2就代表这n个点与平面(直线)y=β0+β1x 在纵轴方向的距离之平方和。在这个p维空间中纵向的差,并不垂直于这条直线y=β0+β1x 。

所以问题中所提到的困惑是因为没有正确区分这两种几何解释。

要回复问题请先登录注册