경험적 누적 분포 함수

확률론과 통계학에서 경험적 (누적) 분포 함수(經驗的累積分布函數, 영어: empirical (cumulative) distribution function) 또는 표본 (누적) 분포 함수(標本累積分布函數, 영어: sample (cumulative) distribution function)는 반복된 시행을 통해 확률 변수가 일정 값을 넘지 않을 확률을 유추하는 함수이다. 글리벤코-칸텔리 정리(영어: Glivenko–Cantelli theorem)에 따르면, 독립 동일 분포 확률 변수의 열의 경험적 누적 분포 함수는 거의 확실하게 실제 누적 분포 함수로 균등 수렴한다.

정의

확률 공간 $(\Omega ,{\mathcal {F}},\operatorname {Pr} )$ 위의 $n$개의 동일 분포 확률 변수

$X_{1},X_{2},\dots ,X_{n}\colon \Omega \to (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))$

의 경험적 누적 분포 함수는 다음과 같다.

$F_{n}\colon \Omega \times \mathbb {R} \to [0,1]$

$F_{n}\colon (\omega ,x)\mapsto n^{-1}\sum _{k=1}^{n}1_{(-\infty ,x]}(X_{k}(\omega ))$

성질

점근적 성질

확률 공간 $(\Omega ,{\mathcal {F}},\operatorname {Pr} )$ 위의 독립 동일 분포 확률 변수의 열

$X_{1},X_{2},X_{3},\dots \colon \Omega \to (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))$

이 주어졌다고 하자. 또한, $F$가 공통의 (우연속) 누적 분포 함수라고 하고, $F_{n}$이 $(X_{1},\dots ,X_{n})$의 경험적 누적 분포 함수라고 하자. 글리벤코-칸텔리 정리에 따르면, 다음이 성립한다.

$\operatorname {Pr} \left(\left\{\omega \in \Omega \colon \lim _{n\to \infty }\sup _{x\in \mathbb {R} }|F_{n}(\omega ,x)-F(x)|=0\right\}\right)=1$

즉, $F_{n}$은 거의 확실하게 $F$로 균등 수렴한다.

증명:

큰 수의 강법칙에 따라, 임의의 $x\in \mathbb {R}$에 대하여,

$F_{n}(x)=n^{-1}\sum _{k=1}^{n}1_{(-\infty ,x]}(X_{k})$

$F_{n}(x^{-})=n^{-1}\sum _{k=1}^{n}1_{(-\infty ,x)}(X_{k})$

는 각각 거의 확실하게 $F(x)$와 $F(x^{-})$로 수렴한다.

이제, 각 $j=1,2,3,\dots$에 대하여,

$x_{i,j}=\inf\{x\in \mathbb {R} \colon F(x)\geq i/j\}\qquad (i=1,2,\dots ,j-1)$

$x_{0,j}=-\infty$

$x_{j,j}=\infty$

라고 하자. 그렇다면 거의 모든 $\omega \in \Omega$에 대하여,

$|F_{n}(\omega ,x_{i,j})-F(x_{i,j})|\leq j^{-1}\qquad \forall i=0,1,\dots ,j,\;n\geq N(j,\omega )$

$|F_{n}(\omega ,{x_{i,j}}^{-})-F({x_{i,j}}^{-})|\leq j^{-1}\qquad \forall i=0,1,\dots ,j,\;n\geq N(j,\omega )$

인 $N(j,\omega )$가 존재한다. 따라서, 각 $i=1,2,\dots ,j$ 및 $x\in (x_{i-1,j},x_{i,j})$ 및 $n\geq N(j,\omega )$에 대하여, 다음이 성립한다.

$F_{n}(\omega ,x)\leq F_{n}(\omega ,{x_{i,j}}^{-})\leq F({x_{i,j}}^{-})+j^{-1}\leq F(x_{i,j})+2j^{-1}\leq F(x)+2j^{-1}$

$F_{n}(\omega ,x)\geq F_{n}(\omega ,x_{i-1,j})\geq F(x_{i-1,j})-j^{-1}\geq F({x_{i,j}}^{-})-2j^{-1}\geq F(x)-2j^{-1}$

즉, 거의 확실하게

$\sup _{x\in \mathbb {R} }|F_{n}(x)-F(x)|\leq 2j^{-1}\qquad \forall n\geq N(j,\omega ),\;j=1,2,3,\dots$

이다.

역사

글리벤코-칸텔리 정리는 발레리 이바노비치 글리벤코(러시아어: Вале́рий Ива́нович Гливе́нко)와 프란체스코 파올로 칸텔리(이탈리아어: Francesco Paolo Cantelli)의 이름을 땄다.

외부 링크

• Prokhorov, A. V. (2001). “Empirical distribution”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4. 
• “Empirical distribution function”. 《PlanetMath》 (영어).