추정량

통계학에서 추정량(推定量, 영어: estimator)은 표집값들로부터 모수의 값을 추정하는 방법이다.

정의

확률변수 $X\colon P\to {\mathcal {X}}$ 가 모수 $\theta \in \Theta$ 를 가지는 분포를 따른다고 하자. 그렇다면 모수 $\theta$ 의 추정량 ${\hat {\theta }}\colon {\mathcal {X}}\to \Theta$ 은 임의의 가측 함수이다.

모수 공간 $\Theta$ 와 표본 공간 ${\mathcal {X}}$ 둘 다 유클리드 공간의 부분공간으로 간주하자.

오차와 편향

표본 $x\in {\mathcal {X}}$ 에 대한, 모수 $\theta$ 의 추정량 ${\hat {\theta }}$ 의 오차(영어: error)는 다음과 같다.

{\mathcal {E}}_{\hat {\theta }}(x)={\hat {\theta }}(x)-\theta

모수 $\theta$ 의 추정량 ${\hat {\theta }}$ 의 편향(영어: bias)은 그 오차의 기댓값이다.

B({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)-\theta )

모수 $\theta$ 의 불편추정량(영어: unbiased estimator) ${\hat {\theta }}$ 은 편향이 0인 추정량이다. 즉, 다음 성질을 만족시키는 추정량이다.

\operatorname {E} ({\hat {\theta }}(X))=\theta

추정량 ${\hat {\theta }}$ 의 누적평균제곱오차(영어: mean squared error)는 오차의 제곱들의 기댓값이다.

\operatorname {MSE} ({\hat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}]

분산과 효율

표본 $x\in {\mathcal {X}}$ 에 대한, 모수 $\theta$ 의 추정량 ${\hat {\theta }}$ 의 표본편차(영어: sampling deviation)는 다음과 같다.

d(x)={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }}(X))={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }})

모수 $\theta$ 의 추정량 ${\hat {\theta }}$ 의 분산(영어: variance)은 표본편차의 제곱의 기댓값이다.

\operatorname {var} ({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)^{2})-\operatorname {E} ({\hat {\theta }}(X))^{2}

모수 $\theta$ 의 추정량 ${\hat {\theta }}$ 의 효율(영어: efficiency)은 다음과 같다.

e({\hat {\theta }})={\frac {1}{{\mathcal {I}}_{X}(\theta )\operatorname {var} ({\hat {\theta }})}}

여기서 ${\mathcal {I}}_{X}(\theta )$ 는 피셔 정보이다. 크라메르-라오 하한에 따라, 추정량의 효율은 항상 1 이하이다.

e({\hat {\theta }})\leq 1

효율이 1인 추정량을 최대효율추정량(영어: most efficient estimator)이라고 한다.

일치성과 점근적 정규성

모수 $\theta$ 의 약한 일치추정량(영어: weakly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 $\{{\hat {\theta }}_{n}\}$ 이다. 모든 $\epsilon >0$ 에 대하여,

\lim _{n\to \infty }\Pr(|{\hat {\theta }}_{n}(X)-\theta |<\epsilon )=1

모수 $\theta$ 의 강한 일치추정량(영어: strongly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 $\{{\hat {\theta }}_{n}\}$ 이다.

거의 확실하게,

n\to \infty

이면

{\hat {\theta }}_{n}\to \theta

모수 $\theta$ 의 점근적 정규 추정량(영어: asymptotically normal estimator)은 다음 성질을 만족시키는 추정량들의 열 $\{{\hat {\theta }}_{n}\}$ 이다. 어떤 $V\in \mathbb {R} ^{+}$ 에 대하여,

{\sqrt {n}}({\hat {\theta }}_{n}-\theta ){\xrightarrow {\text{D}}}{\mathcal {N}}(0,V)

여기서 ${\xrightarrow {\text{D}}}$ 는 확률변수의 분포수렴이며, ${\mathcal {N}}(0,V)$ 는 평균이 0이고 분산이 $V$ 인 정규분포이다.

참고 문헌

Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6. CS1 관리 - 추가 문구 (링크)
Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X.

같이 보기

외부 링크

Bol'shev, L.N. (2001). “Statistical estimator”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4.