关于线性回归的参数误差估计


在维基百科中关于线性回归模型中做参数误差估计中:

QQ图片20160718133656.png

这里beta的估计值就是x的逆乘以y,为什么这里要写成这个形式?写成这个形式有什么特殊的目的么?

QQ图片20160718133745.png

我的感觉是它是为了后面这个做准备的

但是
QQ图片20160718133810.png
这个正太分布没看懂,为什么是服从这个分布的
已邀请:

mapleguan

赞同来自: July


第一个问题,因为X一般来讲不是方阵,行数代表样本个数,列数代表所估计系数的个数。所以X不是可逆矩阵,因此不得已只能写成$(X^TX)^{-1}X^T$的样子.

第二个问题,因为$y=(y_1,...... ,y_n)$是一列独立同分布的正态分布随机变量,而且误差的标准差为$\sigma$。所以一般来讲若$X=Ay$,则$X$也符合多重正态分布,而且$X$的协方差矩阵为$(AA^T)$. 这里$A=(X^TX)^{-1}X^T$,所以$AA^T=(X^TX)^{-1}$.

关于线性回归最小二乘 和 多元正态分布的性质可以参考 http://staff.ustc.edu.cn/~zwp/ ... g.pdf

要回复问题请先登录注册