최대가능도방법 (最大可能度方法, 영어 : maximum likelihood method ) 또는 최대우도법 (最大尤度法)은 어떤 확률변수에서 표집 한 값들을 토대로 그 확률변수의 모수 를 구하는 방법이다. 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도 를 최대로 만드는 모수를 선택하는 방법이다. 점추정 방식에 속한다.
어떤 모수
θ
{\displaystyle \theta }
D
θ
=
(
X
1
,
X
2
,
⋯
,
X
n
)
{\displaystyle D_{\theta }=(X_{1},X_{2},\cdots ,X_{n})}
D
θ
{\displaystyle D_{\theta }}
확률 밀도 함수 나 확률 질량 함수 가
f
{\displaystyle f}
x
1
,
x
2
,
⋯
,
x
n
{\displaystyle x_{1},x_{2},\cdots ,x_{n}}
가능도
L
(
θ
)
{\displaystyle {\mathcal {L}}(\theta )}
L
(
θ
)
=
f
θ
(
x
1
,
x
2
,
⋯
,
x
n
)
{\displaystyle {\mathcal {L}}(\theta )=f_{\theta }(x_{1},x_{2},\cdots ,x_{n})}
여기에서 가능도를 최대로 만드는
θ
{\displaystyle \theta }
θ
^
=
argmax
θ
L
(
θ
)
{\displaystyle {\widehat {\theta }}={\underset {\theta }{\operatorname {argmax} }}\ {\mathcal {L}}(\theta )}
가 된다.
이때
X
1
,
X
2
,
⋯
,
X
n
{\displaystyle X_{1},X_{2},\cdots ,X_{n}}
L
{\displaystyle {\mathcal {L}}}
L
(
θ
)
=
∏
i
f
θ
(
x
i
)
{\displaystyle {\mathcal {L}}(\theta )=\prod _{i}f_{\theta }(x_{i})}
또한, 로그함수 는 단조 증가 하므로,
L
{\displaystyle {\mathcal {L}}}
θ
^
{\displaystyle {\widehat {\theta }}}
L
∗
(
θ
)
=
log
L
(
θ
)
=
∑
i
log
f
θ
(
x
i
)
{\displaystyle {\mathcal {L}}^{*}(\theta )=\log {\mathcal {L}}(\theta )=\sum _{i}\log f_{\theta }(x_{i})}
예제: 가우스 분포
편집
평균
μ
{\displaystyle \mu }
분산
σ
2
{\displaystyle \sigma ^{2}}
정규분포 에서
x
1
,
x
2
,
⋯
,
x
n
{\displaystyle x_{1},x_{2},\cdots ,x_{n}}
θ
=
(
μ
,
σ
)
{\displaystyle \theta =(\mu ,\sigma )}
정규분포 의 확률 밀도 함수 가
f
μ
,
σ
(
x
i
)
=
1
2
π
σ
exp
(
−
(
x
i
−
μ
)
2
2
σ
2
)
{\displaystyle f_{\mu ,\sigma }(x_{i})={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})}
이고,
x
1
,
x
2
,
⋯
,
x
n
{\displaystyle x_{1},x_{2},\cdots ,x_{n}}
L
(
θ
)
=
∏
i
f
μ
,
σ
(
x
i
)
=
∏
i
1
2
π
σ
exp
(
−
(
x
i
−
μ
)
2
2
σ
2
)
{\displaystyle {\mathcal {L}}(\theta )=\prod _{i}f_{\mu ,\sigma }(x_{i})=\prod _{i}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})}
양변에 로그를 씌우면
L
∗
(
θ
)
=
−
n
2
log
2
π
−
n
log
σ
−
1
2
σ
2
∑
i
(
x
i
−
μ
)
2
{\displaystyle {\mathcal {L}}^{*}(\theta )=-{\frac {n}{2}}\log {2\pi }-n\log \sigma -{\frac {1}{2\sigma ^{2}}}\sum _{i}{(x_{i}-\mu )^{2}}}
가 된다. 식의 값을 최대화하는 모수를 찾기 위해, 양변을
μ
{\displaystyle \mu }
∂
∂
μ
L
∗
(
θ
)
=
1
σ
2
∑
i
(
x
i
−
μ
)
{\displaystyle {\frac {\partial }{\partial \mu }}{\mathcal {L}}^{*}(\theta )={\frac {1}{\sigma ^{2}}}\sum _{i}(x_{i}-\mu )}
=
1
σ
2
(
∑
i
x
i
−
n
μ
)
{\displaystyle ={\frac {1}{\sigma ^{2}}}(\sum _{i}x_{i}-n\mu )}
따라서 이 식을 0으로 만드는 값은
μ
^
=
(
∑
i
x
i
)
/
n
{\displaystyle {\widehat {\mu }}=(\sum _{i}x_{i})/n}
σ
{\displaystyle \sigma }
∂
∂
σ
L
∗
(
θ
)
=
−
n
σ
+
1
σ
3
∑
i
(
x
i
−
μ
)
2
{\displaystyle {\frac {\partial }{\partial \sigma }}{\mathcal {L}}^{*}(\theta )=-{\frac {n}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i}(x_{i}-\mu )^{2}}
따라서 이 식을 0으로 만드는 값은 다음과 같다.
σ
2
=
∑
i
(
x
i
−
μ
)
2
/
n
{\displaystyle \sigma ^{2}=\sum _{i}(x_{i}-\mu )^{2}/n}
참고 문헌
편집
Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6 Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X 같이 보기
편집
외부 링크
편집
