标签：varepsilon XXT 1X 方差 马尔可夫 无偏 beta 假设 XX
目录
前言
最小二乘法(least squares)是我们很早就就接触过的一类方法，是广义线性回归的特殊情形——即一元线性回归。本文将假设误差遵从高斯——马尔可夫假设，证明为什么在该假设下，最小二乘法求得的系数是最佳的，证明无偏估计、并推导系数的的方差。
相关证明
最小二乘法数学式：
y i = x i T β + ε i y_i=x_i^{T}\beta + \varepsilon_i yi=xiTβ+εi --(1)
x i = ( 1 , x i 0 , x i 1 , . . . , x i k ) T , β = b 0 , b 1 , b 2 , . . . , b k T x_i=(1, x_{i0}, x_{i1},...,x_{ik})^{T}, \beta={b_0, b_1, b_2,...,b_k}^T xi=(1,xi0,xi1,...,xik)T,β=b0,b1,b2,...,bkT。
ε \varepsilon ε为误差项，假设其服从高斯——马尔可夫假设，即均值为0，且与随机变量 x i x_i xi无关，所有的误差的方差都相同且各自之间不相关且 X X X为一个确定值。既有：
E ( ε i ) = 0 E(\varepsilon_i) = 0 E(εi)=0, − ( 假 设 1 ) \ \ \ \ \ -(假设1) −(假设1)
E ( ε ∣ x ) = 0 E(\varepsilon|x)=0 E(ε∣x)=0, − ( 假 设 2 ) \ \ \ \ \ -(假设2) −(假设2)
v a r ( ε ) = σ 2 I var(\varepsilon) = \sigma^2I var(ε)=σ2I。 − ( 假 设 3 ) \ \ \ \ \ -(假设3) −(假设3)
其中 I I I为单位矩阵。
下面首先求 β \beta β的估计值 β ^ \hat{\beta} β^，并证明它是 β \beta β的无偏估计，先不考虑（1）式中的误差项，并将有所的样本带入上市，我们可得：
Y = X T β Y = X^T\beta Y=XTβ − ( 2 ) \ \ \ \ -(2) −(2)
其中
Y
=
(
y
0
,
y
1
,
.
.
.
,
y
n
)
,
X
=
(
x
0
T
x
1
T
.
.
.
x
n
T
)
Y=(y_0, y_1, ..., y_n), X=\begin{pmatrix}x_0^T \\ x_1^T \\... \\ x_n^T\end{pmatrix}
Y=(y0,y1,...,yn),X=⎝⎜⎜⎛x0Tx1T...xnT⎠⎟⎟⎞
为了求出
β
\beta
β的值，首先将（2）式两边左乘
X
X
X，然后在左乘
(
X
X
T
)
−
1
(XX^T)^{-1}
(XXT)−1,即可推出
β ^ = ( X X T ) − 1 X Y \hat\beta=(XX^T)^{-1}XY β^=(XXT)−1XY
无偏估计
下面证明
β
^
\hat\beta
β^是
β
\beta
β的无偏估计。
E
(
β
^
)
=
E
(
(
X
X
T
)
−
1
X
Y
)
=
E
(
(
X
X
T
)
−
1
X
(
X
T
β
+
ε
)
)
=
E
(
β
+
(
X
X
T
)
−
1
X
ε
)
=
β
+
E
(
β
+
(
X
X
T
)
−
1
X
ε
)
−
(
3
)
=
β
+
E
(
(
X
X
T
)
−
1
X
)
∗
E
(
ε
)
−
(
4
)
=
β
−
(
5
)
\begin{array}{rcl} E(\hat\beta)&=&\text{E}((XX^T)^{-1}XY)\\&=&E((XX^T)^{-1}X(X^T\beta + \varepsilon))\\&=&\text{E}(\beta+(XX^T)^{-1}X\varepsilon) \\&=&\beta+E(\beta+(XX^T)^{-1}X\varepsilon) \ \ \ \ \ \ -(3) \\&=&\beta + E((XX^T)^{-1}X)*E(\varepsilon) \ \ \ \ \ -(4) \\&=&\beta\ \ \ \ \ -(5) \end{array}
E(β^)======E((XXT)−1XY)E((XXT)−1X(XTβ+ε))E(β+(XXT)−1Xε)β+E(β+(XXT)−1Xε) −(3)β+E((XXT)−1X)∗E(ε) −(4)β −(5)
上式(3)到(4)利用了假设2,(4)到(5)利用了假设3,证毕。
系数的标准差
下面求系数的标准差。
v
a
r
(
β
ˉ
)
=
E
(
(
β
^
−
β
)
(
β
^
−
β
)
T
)
=
E
(
(
X
X
T
)
−
1
X
ε
∗
ε
T
X
T
(
X
X
T
)
−
1
)
−
(
5
)
=
(
X
X
T
)
−
1
X
E
(
ε
ε
T
)
X
T
(
X
X
T
)
−
1
−
(
6
)
=
σ
2
(
X
X
T
)
−
1
\begin{array}{rcl} var(\bar\beta)&=&E((\hat\beta-\beta)(\hat\beta-\beta)^T) \\&=&E((XX^T)^{-1}X\varepsilon*\varepsilon^TX^T(XX^T)^{-1})\ \ \ \ \ -(5) \\&=&(XX^T)^{-1}XE(\varepsilon\varepsilon^T) X^T(XX^T)^{-1}\ \ \ \ \ -(6) \\&=&\sigma^2(XX^T)^{-1}\end{array}
var(βˉ)====E((β^−β)(β^−β)T)E((XXT)−1Xε∗εTXT(XXT)−1) −(5)(XXT)−1XE(εεT)XT(XXT)−1 −(6)σ2(XXT)−1
从(5)式到(6式)的原因是我们假设 X X X为确定值，对于每一个系数，它的标准差为：
S E i = σ 2 ( X T X ) i i − 1 SE_i=\sqrt{\sigma^2(X^TX)^{-1}_{ii}} SEi=σ2(XTX)ii−1
现在用反证法来证明最小二乘估计是最佳无偏线性估计，假设存在比最小二乘估计更好的无偏线性估计$ \bar\beta=CY ， 由 于 ， 由于 ，由于C 的 任 意 性 ， 设 的任意性，设 的任意性，设C=(XXT){-1}X + D ， 其 中 ，其中 ，其中D 是 是 是(k+1)*N 的 非 零 矩 阵 ， 的非零矩阵， 的非零矩阵，k+1 为 特 征 个 数 加 上 一 个 常 量 项 , 为特征个数加上一个常量项, 为特征个数加上一个常量项,N$为样本个数。
由假设条件， 是无偏估计，所以必须满足
E
(
β
ˉ
)
=
β
E(\bar\beta)=\beta
E(βˉ)=β，而：
E
(
β
ˉ
)
=
E
(
C
Y
)
=
E
(
(
(
X
X
T
)
−
1
X
+
D
)
(
X
T
β
+
ε
)
)
=
E
(
(
(
X
X
T
)
−
1
X
+
D
)
X
T
β
)
+
E
(
(
X
X
T
)
−
1
X
+
D
)
E
(
ε
)
=
E
(
(
(
X
X
T
)
−
1
X
+
D
)
X
T
β
)
=
β
(
I
+
D
X
T
)
\begin{array}{rcl}E(\bar\beta)&=&E(CY)\\&=&E(((XX^T)^{-1}X + D)(X^T\beta+\varepsilon)) \\&=&E(((XX^T)^{-1}X + D)X^T\beta) + E((XX^T)^{-1}X + D)E(\varepsilon) \\&=&E(((XX^T)^{-1}X + D)X^T\beta) \\&=&\beta(I + DX^T) \end{array}
E(βˉ)=====E(CY)E(((XXT)−1X+D)(XTβ+ε))E(((XXT)−1X+D)XTβ)+E((XXT)−1X+D)E(ε)E(((XXT)−1X+D)XTβ)β(I+DXT)
所以
D
X
T
=
0
DX^T=0
DXT=0。
既有：
v
a
r
(
β
ˉ
)
=
E
[
[
(
(
X
X
T
)
−
1
X
+
D
)
Y
−
(
(
X
X
T
)
−
1
X
Y
−
(
X
X
T
)
−
1
X
ε
)
]
[
(
(
X
X
T
)
−
1
X
+
D
)
Y
−
(
(
X
X
T
)
−
1
X
Y
−
(
X
X
T
)
−
1
X
ε
)
T
]
]
=
E
[
(
D
Y
+
(
X
X
T
)
−
1
X
ε
)
(
D
Y
+
(
X
X
T
)
−
1
X
ε
)
T
]
=
E
(
D
Y
Y
T
D
T
+
D
Y
ε
T
X
T
(
X
X
T
)
−
1
+
(
X
X
T
)
−
1
X
ε
Y
T
D
T
+
(
X
X
T
)
−
1
X
ε
ε
T
X
T
(
X
X
T
)
−
1
)
=
σ
2
D
D
T
+
E
(
D
(
X
T
β
+
ε
)
ε
T
X
T
(
X
X
T
)
−
1
)
+
E
(
(
X
X
T
)
−
1
X
ε
(
X
T
β
+
ε
)
T
D
T
)
+
σ
2
E
(
X
X
T
)
−
1
=
σ
2
D
D
T
+
E
(
D
X
T
β
ε
T
X
T
∗
(
X
X
T
)
−
1
)
+
E
(
D
ε
ε
T
X
T
(
X
X
T
)
−
1
)
+
E
(
(
X
X
T
)
X
ε
β
T
X
D
T
)
+
E
(
(
X
X
T
)
X
ε
ε
T
D
T
)
+
σ
2
E
(
X
X
T
)
−
1
=
σ
2
D
D
T
+
σ
2
E
(
X
X
T
)
−
1
\begin{array}{rcl}var(\bar\beta)&=&E[[((XX^T)^{-1}X+D)Y - ((XX^T)^{-1}XY-(XX^T)^{-1}X\varepsilon)][((XX^T)^{-1}X+D)Y - ((XX^T)^{-1}XY-(XX^T)^{-1}X\varepsilon)^T]]\\ &=&E[(DY+(XX^T)^{-1}X\varepsilon)(DY+(XX^T)^{-1}X\varepsilon)^T]\\ &=&E(DYY^TD^T+DY\varepsilon^TX^T(XX^T)^{-1} + (XX^T)^{-1}X\varepsilon Y^TD^T+(XX^T)^{-1}X\varepsilon\varepsilon^TX^T(XX^T)^{-1})\\ &=&\sigma^2DD^T+E(D(X^T\beta+\varepsilon)\varepsilon^TX^T(XX^T)^{-1}) + E((XX^T)^{-1}X\varepsilon(X^T\beta+\varepsilon)^TD^T) + \sigma^2E(XX^T)^{-1}\\&=&\sigma^2DD^T + E(DX^T\beta\varepsilon^TX^T*(XX^T)^{-1}) + E(D\varepsilon\varepsilon^TX^T(XX^T)^{-1}) + E((XX^T)X\varepsilon \beta^TX D^T) + E((XX^T)X\varepsilon \varepsilon^T D^T) + \sigma^2E(XX^T)^{-1}\\ &=&\sigma^2DD^T + \sigma^2E(XX^T)^{-1} \end{array}
var(βˉ)======E[[((XXT)−1X+D)Y−((XXT)−1XY−(XXT)−1Xε)][((XXT)−1X+D)Y−((XXT)−1XY−(XXT)−1Xε)T]]E[(DY+(XXT)−1Xε)(DY+(XXT)−1Xε)T]E(DYYTDT+DYεTXT(XXT)−1+(XXT)−1XεYTDT+(XXT)−1XεεTXT(XXT)−1)σ2DDT+E(D(XTβ+ε)εTXT(XXT)−1)+E((XXT)−1Xε(XTβ+ε)TDT)+σ2E(XXT)−1σ2DDT+E(DXTβεTXT∗(XXT)−1)+E(DεεTXT(XXT)−1)+E((XXT)XεβTXDT)+E((XXT)XεεTDT)+σ2E(XXT)−1σ2DDT+σ2E(XXT)−1
由于 D D T DD^T DDT对角线上的值都是大于等于0的，因此 β ˉ \bar\beta βˉ的协方差是大于等于 β ^ \hat\beta β^的，与原假设相矛盾，也即 β ^ \hat\beta β^是最佳的无偏估计，证毕。
高斯-马尔可夫定理的优点同局限性
高斯-马尔可夫定理的优点在于，它证明了简单的线性模型计算出的参数是最优的，而线性模型的最大优点在于计算简单、效率高，同时我们也可以检验出计算出的系数是否是显著的。它的局限性就在于它的几个强假设，比如 X X X是确定的，且各个误差项都是独立的且均值都为0，但在实际情况中，上面的假设是比较强的，如 X X X是会受到抽样的影响，在时序数据中，各个误差项并不独立。另一方面，高斯-马尔可夫定理针对的是线性情况，在非线性下它的结论不在成立。
参考文献：
标签：varepsilon,XXT,1X,方差,马尔可夫,无偏,beta,假设,XX 来源： https://blog.csdn.net/weixin_41558411/article/details/123585534
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。