보편 근사 정리

보편 근사 정리(Universal approximation theorem)는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있다는 정리이다. 모든 인공신경망과 모든 활성화 함수에 대해 증명된 것은 아니다.


사례

편집

1989년 조지 시벤코(Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다.

 시그모이드 함수 형식의 연속 함수라 하자(예,  ).   또는  의 부분집합에서 실수의 연속 함수   가 주어지면, 다음을 만족하는 벡터  ,  와 매개 함수  이 존재한다.

  for all  

이때,

 

이고,    이다.

이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다. 단,   를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.

같이 보기

편집

참고 문헌

편집