확률 변수의 수렴

확률변수의 수렴에는 여러 가지의 정의가 존재한다.

분포 수렴

확률변수 $X_{n}$이 균등분포 $U(0,1)$를 따를 때, 중심극한정리에 따르면 $Z_{n}:=\sum _{i}X_{i}/{\sqrt {n}}$은 정규분포로 분포수렴한다.

분포 수렴(convergence in distribution), 약한 수렴(weak convergence)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 확률변수 $X_{1},X_{2},\cdots$와 각각의 누적 분포 함수 $F_{1},F_{2},\cdots$에 대하여, 어떤 확률변수 $X$와 와 확률 분포 함수 $F$가 존재하여,

모든 실수 $x$에 대하여 $\lim _{n\to \infty }F_{n}(x)=F(x)$

가 성립할 경우, $\{X_{n}\}$은 $X$로 분포수렴한다고 정의한다. 기호로는

${\begin{aligned}&X_{n}\ {\xrightarrow {d}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {D}}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {L}}}\ X,\ \ X_{n}\ {\xrightarrow {d}}\ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}$

등이 사용된다. 여기에서 ${\mathcal {L}}$은 확률 분포를 가리키며, 예를 들어 $X$가 표준정규분포라면 $X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)$와 같이 표기할 수 있다.

분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다.

확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 $A\subseteq \mathbb {R} ^{k}$가 $\Pr[X\in \partial A]=0$일 때(continuity set),

에 대하여 $\lim _{n\to \infty }\Pr[X_{n}\in A]=\Pr[X\in A]$

가 성립한다면 $X_{n}$은 $X$로 분포수렴한다.

성질

• 레비 연속성 정리(Lévy's continuity theorem): 확률변수 $X_{n}$가 $X$로 분포수렴하는 것과 $X_{n}$의 특성함수가 $X$의 특성함수로 점마다 수렴하는 것은 동치이다.
• 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령, $f_{n}(x)=(1-\cos(2\pi nx)){1}_{\{x\in (0,1)\}}$에 대응하는 확률변수는 균등분포 $U(0,1)$로 수렴하지만, $f_{n}$은 수렴하지 않는다.
• 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
• Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다.
  • 모든 유계 연속 함수 $f$에 대해 $E[f(X_{n})]\to E[f(X)]$
  • 모든 유계 립시츠 연속 함수 $f$에 대해 $E[f(X_{n})]\to E[f(X)]$
  • 위로 유계이고 위에서 반연속인 함수 $f$에 대해 $\lim \sup[Ef(X_{n})]\leq E[f(x)]$
  • 아래로 유계이고 아래에서 반연속인 함수 $f$에 대해 $\lim \inf[Ef(X_{n})]\geq E[f(x)]$
  • 모든 닫힌 집합 $C$에 대해 $\lim \sup \Pr[X_{n}\in C]\leq \Pr[X\in C]$
  • 모든 열린 집합 $U$에 대해 $\lim \inf \Pr[X_{n}\in U]\geq \Pr[X\in U]$
  • 모든 $X$의 continuity set에 대해 $\lim \Pr[X_{n}\in A]=\Pr[X\in A]$

확률 수렴

확률 수렴(convergence in probability)은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.

확률변수 $X_{1},X_{2},\cdots$와 $X$에 대하여, 모든 $\epsilon >0$에 대해

$\lim _{n\to \infty }\Pr {\big (}|X_{n}-X|\geq \varepsilon {\big )}=0$

가 성립할 때, $\{X_{n}\}$은 $X$로 확률 수렴한다고 정의한다.

확률 수렴의 표기는 다음과 같다.

$X_{n}\ {\xrightarrow {p}}\ X,\ \ X_{n}\ {\xrightarrow {P}}\ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X$

정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 $(S,d)$가 주어졌을 때, 모든 $\varepsilon >0$에 대하여

$\Pr {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0$

가 성립하는 경우 확률 수렴한다고 정의한다.

성질

• 거의 확실한 수렴은 확률 수렴을 포함한다.
  • 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다.
• 확률 수렴은 분포 수렴을 포함한다.
  • 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다.
• (연속 사상 정리 영어: continuous mapping theorem) 임의의 연속 함수 $g$에 대해, $X_{n}$이 $X$로 확률 수렴한다면 $g(X_{n})$은 $g(X)$로 확률 수렴한다.

거의 확실한 수렴

거의 확실한 수렴(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다.

확률 공간 $(\Omega ,{\mathcal {F}},P)$ 위의 확률변수 $X_{1},X_{2},\cdots$와 $X$에 대하여,

$\operatorname {Pr} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1$

이 성립할 경우, $\{X_{n}\}$은 $X$로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다.

$\operatorname {Pr} {\Big (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Big )}=1$

즉, 각 $\omega$에 대하여 거의 어디서나 수렴한다는 의미이다.

거의 확실한 수렴은 $X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X$로 표기한다.

성질

• 거의 확실한 수렴은 확률수렴, 분포수렴을 포함한다.

확실한 수렴

확실한 수렴(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다.

확률공간 $(\Omega ,{\mathcal {F}},P)$ 위의 확률변수 $X_{1},X_{2},\cdots$와 $X$에 대하여

$\lim _{n\rightarrow \infty }X_{n}(\omega )=X(\omega ),\,\,\forall \omega \in \Omega$

가 성립할 경우, $\{X_{n}\}$은 $X$로 확실하게 수렴한다고 정의한다.