인공 신경망: 두 판 사이의 차이

수학적으로, 뉴런의 망 함수 <math>\textstyle f(x)</math>는 다른 함수 <math>\textstyle g_i(x)</math>들의 합성으로 정의되고, 이 함수들 또한 다른 함수들의 합성으로 정의될 수 있다. 이 함수는 화살표가 변수들 사이의 의존 관계를 나타내는 망 구조로써 편리하게 나타낼 수 있다. 자주 쓰이는 종류의 합성으로는 ''비선형 가중 합''이 있는데, [[쌍곡선함수]]와 같은 미리 정의된 함수 <math>\textstyle K</math> (주로 [[활성화 함수]]라 불림<ref>{{웹 인용|url=http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn|제목=The Machine Learning Dictionary|확인날짜=2015-04-28|보존url=https://web.archive.org/web/20180826151959/http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn|보존날짜=2018-08-26|깨진링크url-status=예dead}}</ref>)가 있을 때 <math>\textstyle f (x) = K \left(\sum_i w_i g_i(x)\right) </math>로 나타내어지는 함수를 뜻한다. 이하 설명의 편리함을 의해 함수 <math>\textstyle g_i</math>들의 모임을 간단히 벡터 <math>\textstyle g = (g_1, g_2, \ldots, g_n)</math>로 취급하자.

<ref>{{저널 인용 | 제목 = Turing computability with neural nets | url = http://www.math.rutgers.edu/~sontag/FTP_DIR/aml-turing.pdf | year = 1991 | journal = Appl. Math. Lett. | pages = 77–80 | volume = 4 | issue = 6 | last1 = Siegelmann | first1 = H.T. | last2 = Sontag | first2 = E.D. | doi = 10.1016/0893-9659(91)90080-F | 확인날짜 = 2013년 12월 9일 | 보존url = https://web.archive.org/web/20130502094857/http://www.math.rutgers.edu/~sontag/FTP_DIR/aml-turing.pdf | 보존날짜 = 2013년 5월 2일 | 깨진링크url-status = 예dead }}</ref> 는 유한개의 수로 이루어진 신경들과 일반 선형 연결을 사용한 어떤 합리적인 가중치의 값(정확한 실수 값의 가중치가 아니라)을 가진 어떤 반복되는 구조는 일반적인 [[튜링 기계]]와 동일하게 완벽한 성능(full power of a Universal Turing Machine)을 가진다는 것을 증명했다. 게다가, 비합리적인 값의 가중치 설정은 기계로 하여금 [[튜링 기계]]이상의 성능(super-Turing power)을 발휘하게 한다는 것도 이미 증명되었다<ref>{{저널 인용 |last1=Balcázar |first1=José |제목=Computational Power of Neural Networks: A Kolmogorov Complexity Characterization |journal=Information Theory, IEEE Transactions on |date=Jul 1997 |volume=43 |issue=4 |pages=1175–1183 |doi=10.1109/18.605580 |url=http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=605580&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D605580 |accessdate=3 November 2014}}</ref>.

그의 이러한 과학(인공신경망)은 기술이 아니라는 강한 발표에도, 듀드니는 "이것은 단지 남들이 보는 앞에서 그들이 이것을 이해하지 못하더라도 훌륭한 기술자들인 것처럼 보이기 위해 신경망을 안 좋은 학문이라고 비판하는 것"이라고 했다. 불투명하고 이해할 수 없는 것이라도 유용한 기계가 될 수있다면 그것은 여전히 우리에게 가치있는 것이고 필요한 것일 것이다.<ref>{{웹 인용 |url=http://members.fortunecity.com/templarseries/popper.html |제목=Roger Bridgman's defence of neural networks |확인날짜=2015년 4월 30일 |보존url=https://web.archive.org/web/20120319163352/http://members.fortunecity.com/templarseries/popper.html |보존날짜=2012년 3월 19일 |깨진링크url-status=예dead }}</ref>

비록 인공 신경망을 배우고 이해하고 분석하는 것이 매우 힘든 일이라는 것은 사실이지만, 실제 생물에서의 신경망을 배우고 이해하여 분석해서 적용하는 것보다는 훨씬 쉬운 일일 것이다. 게다가, 신경망을 구현하는 학습 알고리즘을 연구하는 연구자들은 점진적으로 기계학습을 성공적으로 하게 할 수 있는 신경 유전적 원리를 발견해 내는데 성공하고 있다. 예를 들어, 벤지오(Bengio)와 레쿤(LeCun)이 2007년에 쓴 논문에서는, 지역 vs 비지역 학습(local vs non-local learning)과 얕은 vs 깊은 구조(shallow vs deep architecture)에 대해서 다루고 있다<ref>{{웹 인용 |url=http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/4 |제목=보관 된 사본 |확인날짜=2015-04-30 |보존url=https://web.archive.org/web/20150515182539/http://www.iro.umontreal.ca/~lisa/publications2/index.php/publications/show/4 |보존날짜=2015-05-15 |깨진링크url-status=예dead }}</ref>.