해밀턴 몬테카를로

해밀턴 몬테카를로(Hamiltonian Monte Carlo, HMC) 알고리즘(원래 명칭: 하이브리드 몬테카를로, hybrid Monte Carlo)은 직접 샘플링이 어려운 목표 확률 분포에 따라 분포되어 수렴되는 무작위 샘플 시퀀스를 얻기 위한 마르코프 체인 몬테카를로 방법이다. 이 시퀀스는 목표 분포(예상 값)에 대한 적분을 추정하는 데 사용할 수 있다.

해밀턴 몬테 카를로는 상태 공간의 새로운 지점으로의 이동을 제안하기 위해 시간 가역 및 부피 보존 수치 적분기(일반적으로 도약 적분기)를 사용하여 해밀턴 동역학 진화를 시뮬레이션하는 메트로폴리스-헤이스팅스 알고리즘의 인스턴스에 해당한다. 메트로폴리스-헤이스팅스 알고리즘에서 가우스 무작위 행보(Gaussian Random Walk) 제안 분포를 사용하는 것과 비교하여 해밀턴 몬테카를로는 시뮬레이션된 해밀턴의 대략적인 에너지 보존 특성으로 인해 높은 수용 확률을 유지하는 먼 상태로의 이동을 제안하여 연속 샘플링된 상태 간의 상관 관계를 줄인다. 증상 적분기(symplectic integrator)를 사용할 때 동적이다. 상관 관계가 감소한다는 것은 주어진 몬테 카를로 오류에 대한 목표 확률 분포와 관련하여 적분을 근사화하는 데 필요한 마르코프 체인 샘플이 더 적다는 것을 의미한다.

이 알고리즘은 원래 격자 양자 색역학 계산을 위해 1987년 사이먼 듀에인, 앤소니 케네디, 브라이언 펜들턴, 던컨 로웨스에 의해 제안되었다.^[1] 1996년에 래드포드 M. 닐은 이 방법이 더 광범위한 종류의 통계 문제, 특히 인공 신경망에 사용될 수 있는 방법을 보여주었다.^[2] 그러나 베이즈 네트워크의 기울기를 제공해야 하는 부담으로 인해 통계 및 기타 정량적 분야에서 알고리즘의 광범위한 채택이 지연되었으며, 2010년대 중반 스탠(Stan) 개발자가 자동 미분과 결합하여 HMC를 구현했다.^[3]

각주 편집

↑ Duane, Simon; Kennedy, Anthony D.; Pendleton, Brian J.; Roweth, Duncan (1987). “Hybrid Monte Carlo”. 《Physics Letters B》 195 (2): 216–222. Bibcode:1987PhLB..195..216D. doi:10.1016/0370-2693(87)91197-X.
↑ Neal, Radford M. (1996). 〈Monte Carlo Implementation〉. 《Bayesian Learning for Neural Networks》. Lecture Notes in Statistics 118. Springer. 55–98쪽. doi:10.1007/978-1-4612-0745-0_3. ISBN 0-387-94724-8.
↑ Gelman, Andrew; Lee, Daniel; Guo, Jiqiang (2015). “Stan: A Probabilistic Programming Language for Bayesian Inference and Optimization”. 《Journal of Educational and Behavioral Statistics》 40 (5): 530–543. doi:10.3102/1076998615606113. S2CID 18351694.

외부 링크 편집

Betancourt, Michael. “Efficient Bayesian inference with Hamiltonian Monte Carlo”. 《MLSS Iceland 2014》 – YouTube 경유.
McElreath, Richard. “Markov chain Monte Carlo”. 《Statistical Rethinking 2022》 – YouTube 경유.
Hamiltonian Monte Carlo from scratch
Optimization and Monte Carlo Methods

[1] Duane, Simon; Kennedy, Anthony D.; Pendleton, Brian J.; Roweth, Duncan (1987). “Hybrid Monte Carlo”. 《Physics Letters B》 195 (2): 216–222. Bibcode:1987PhLB..195..216D. doi:10.1016/0370-2693(87)91197-X.

[2] Neal, Radford M. (1996). 〈Monte Carlo Implementation〉. 《Bayesian Learning for Neural Networks》. Lecture Notes in Statistics 118. Springer. 55–98쪽. doi:10.1007/978-1-4612-0745-0_3. ISBN 0-387-94724-8.

[3] Gelman, Andrew; Lee, Daniel; Guo, Jiqiang (2015). “Stan: A Probabilistic Programming Language for Bayesian Inference and Optimization”. 《Journal of Educational and Behavioral Statistics》 40 (5): 530–543. doi:10.3102/1076998615606113. S2CID 18351694.

[1]

[2]

[3]