가우스-마르코프 정리

통계학에서 가우스-마르코프 정리(영어: Gauss–Markov theorem, 또는 일부 저자는 가우스 정리라고 표기)는 선형 회귀 모형의 오차가 상관관계가 없고, 오차의 분산이 일정하며, 오차의 기대값이 0이며 설명변수가 외생변수일 때 보통 최소제곱 추정량(OLS)은 다른 선형 불편 추정량에 비하여 표본 분산이 가장 낮다고 명시한다. 오차항이 정규분포를 따를 필요는 없다.

이 정리는 비록 가우스의 작품이 마르코프의 작품보다 현저히 앞섰지만 칼 프리드리히 가우스와 안드레이 마르코프의 이름을 따서 명명되었다. 그러나 가우스가 독립성과 정규성을 가정하여 그 결과를 도출하는 동안 마르코프는 위에서 언급한 형식으로 가정들을 줄였다. 비구형 오류에 대한 추가 일반화는 알렉산더 에이트켄에 의해 이루어졌다.

선형 회귀 모델과 최소 제곱 추정

선형 회귀 모델로서 목적 변수 Y와 p개의 설명 변수 X_i, i = 1, ..., p 및 오차항 $\varepsilon _{k}$ 의 관계를 다음과 같이 모델화한 것을 생각한다.

$Y_{k}=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon _{k},\ k=1,\dots ,n.$

목적 변수 및 설명 변수 측정 결과의 조(y_k; x_k,1,...,x_k,p)를 하나의 데이터로 하여 n( ≧ p)개의 데이터를 이용하여 잔차의 제곱합

$\sum _{k=1}^{n}\left\{y_{i}-(\beta _{0}+\beta _{1}x_{i,1}+\beta _{2}x_{i,2}+\cdots +\beta _{p}x_{i,p})\right\}^{2}$

가 최소가 되다$(\beta _{0},\beta _{1},\cdots ,\beta _{p})$를 최소 제곱 추정량이라고 부른다.여기서

$\mathbf {Y} ={\begin{bmatrix}Y_{1}\\Y_{2}\\\vdots \\Y_{n}\end{bmatrix}},\ \mathbf {X} ={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}},\ {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}},\ {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}$

라고 놓으면 선형 회귀 모델은

$\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$

라며, 최소 제곱 추정량${\widehat {\boldsymbol {\beta }}}$

${\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y}$

으로 주어진다. 또한, 상부 첨자은 전치 행렬을 나타낸다.

가우스 마르코프의 정리

가정

오차항 ${\boldsymbol {\varepsilon }}$ 에 대해서

1. $E[{\boldsymbol {\varepsilon }}]=0$ （불편성）
2. $\operatorname {Cov} [{\boldsymbol {\varepsilon }}]=\sigma ^{2}{\boldsymbol {I}}$ （등분산성·무상관성）

를 가정한다. 여기서${\boldsymbol {I}}$는 단위 행렬을 나타낸다.

무상관성은 독립성보다도 약한 가정이며, 또 정규 분포 등 특정 분포를 따르는 것을 가정하고 있지 않다.

정리의 내용

최소 제곱 추정량 ${\widehat {\boldsymbol {\beta }}}$는 최우수 선형 불편 추정량(best linear unbiased estimator, BLUE)이다. 즉 임의의 선형 불편 추정량 ${\widetilde {\boldsymbol {\beta }}}$에 대해서

$\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]$

가 성립한다.

증명

${\widetilde {\boldsymbol {\beta }}}$는 선형 추정량이므로$(p+1)$$n$행렬의 행렬$\mathbf {C}$를 이용하여${\widetilde {\boldsymbol {\beta }}}=\mathbf {C} \mathbf {Y}$고 하다. ${\widetilde {\boldsymbol {\beta }}}$가 불편성을 갖기 위한 조건을 요구하면 $E[{\widetilde {\boldsymbol {\beta }}}]=\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}={\boldsymbol {\beta }}$가 항등적으로 성립되기 때문에$\mathbf {C} \mathbf {X} =\mathbf {I}$이다.

다음에${\widetilde {\boldsymbol {\beta }}}$의 분산 공분산 행렬을 정리하면

${\begin{alignedat}{2}\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]&=E\left[(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})^{\top }\right]\\&=E\left[\mathbf {C} {\boldsymbol {\varepsilon }}(\mathbf {C} {\boldsymbol {\varepsilon }})^{\top }\right]\\&=\mathbf {C} E[{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }]\mathbf {C} ^{T}\\&=\sigma ^{2}\mathbf {C} \mathbf {C} ^{\top }\end{alignedat}}$

가 된다 여기서${\hat {\mathbf {C} }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }$라고 했을 때의 추정량이 최소 제곱 추정량${\widehat {\boldsymbol {\beta }}}$이 되기 때문에 $\mathbf {C} \mathbf {C} ^{\top }\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }$을 나타내면 된다. 불편성보다$\mathbf {C} \mathbf {X} =\mathbf {I}$그래서

${\begin{alignedat}{2}(\mathbf {C} -{\hat {\mathbf {C} }}){\hat {\mathbf {C} }}^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }})\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=(\mathbf {C} \mathbf {X} -{\hat {\mathbf {C} }}\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=\mathbf {O} \end{alignedat}}$

에 주의하면

${\begin{alignedat}{2}\mathbf {C} \mathbf {C} ^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})^{\top }\\&=(\mathbf {C} -{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }})^{\top }+{\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\\&\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\end{alignedat}}$

가 성립한다. 따라서

$\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]$

가 성립하며, 최소 제곱 추정량${\widehat {\boldsymbol {\beta }}}$는 최우수 선형 불편 추정량이 된다.