퍼셉트론
퍼셉트론(perceptron)은 인공신경망의 한 종류로서, 1957년에 코넬 항공 연구소(Cornell Aeronautical Lab)의 프랑크 로젠블라트 (Frank Rosenblatt)에 의해 고안되었다. 이것은 가장 간단한 형태의 피드포워드(Feedforward) 네트워크, 선형분류기로도 볼 수 있다.
구조
편집초기 신경망 분야의 연구에 커다란 영향을 미친 퍼셉트론은 본래 1950년대에 Rosenblatt가 제안한 것으로 수용층, 연합층, 반응층의 세 부분으로 구성되어 있다. 수용층에서는 외부 자극을 받아들이고, 연합층은 수용층의 가중 압력을 받아 반응층으로 전달하는 기능을 담당하며, 반응층은 최종 출력을 내보내는 기능을 한다. 퍼셉트론은 연결 강도를 조정하기 위하여 반복적 학습 방법을 사용한다.[1]
특히 퍼셉트론 학습법은 특정 목적에 맞는 정확한 연결 강도에 수렴한다고 입증되었다. 초기 퍼셉트론은 인지가 가능하다는 관점에서 상당한 관심을 모았으나, AND, OR 연산 등 선형 분리가 가능한 문제의 해결에만 사용될 수 있었다.[1]
원리
편집퍼셉트론은 두 개의 노드가 있을 경우, 그 두 개의 노드가 각각 들어가야 하는 위치인 입력치와 그를 가중하는 가중치, 이를 통해 계산하여 나온 결과인 출력 값으로 구성되어 있다.
가중치와 입력치를 곱한 것을 모두 합한 값이 활성함수에 의해 판단되는데, 그 값이 임계치(보통 0)보다 크면 뉴런(혹은 내부 함수)이 활성화되고 결과값으로 1을 출력한다. 이를 통해 값이 0 또는 1로 결정된다. 이렇게 나온 값을 출력 값이라고 하며, 이 과정을 통틀어 퍼셉트론이라고 부른다.[2]
관련 연구
편집마빈 민스키와 시모어 페퍼트는 저서 "퍼셉트론"에서 단층 퍼셉트론은 XOR 연산이 불가능하지만, 다층 퍼셉트론으로는 XOR 연산이 가능함을 보였다.[3]
퍼셉트론 논쟁
편집기호기반 AI 진영의 리더였던, 민스키와 패퍼트(Marvin Minsky & Seymour Papert)는 <퍼셉트론(1969)>이라는 제목의 저서를 출간하고 퍼셉트론을 공격하기 시작했다. 그들은 인공지능 연구자들이 퍼셉트론 연구로 몰려가는 것을 두려워했다. 과학사회학자 미켈 올라자란(M. Olazaran)에 따르면, 기호주의 진영은 단순히 과학적 반대만이 아니라 인공지능 연구의 주도권을 놓고 연결주의 진영과 정치적 경쟁을 했다고 평가했다. 이것이 바로 퍼셉트론 논쟁(Perceptron Controversy)이다[4]. 민스키와 패퍼트는 퍼셉트론 진영을 공격하기 위해서 신경망의 한계를 증명해야 했다. 이를 위해 그들은 로젠블랏의 퍼셉트론을 ‘복제’하여 작업했다. 그들은 기호수학적 관점으로 이 관찰 작업을 수행했는데, 이것은 나중에 논쟁 종결과 신경망 이론에 중요한 기여를 했다.
참고 문헌
편집- Aizerman, M. A. and Braverman, E. M. and Lev I. Rozonoer. Theoretical foundations of the potential function method in pattern recognition learning. Automation and Remote Control, 25:821–837, 1964.
- Rosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp.386–408. doi 10.1037/h0042519.
- Rosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC:Spartan Books.
- Minsky M. L. and Papert S. A. 1969. Perceptrons. Cambridge, MA: MIT Press.
- Gallant, S. I. (1990). Perceptron-based learning algorithms. IEEE Transactions on Neural Networks, vol. 1, no. 2, pp.179–191.
- Mohri, Mehryar and Rostamizadeh, Afshin (2013). Perceptron Mistake Bounds arXiv:1305.0208, 2013.
- Novikoff, A. B. (1962). On convergence proofs on perceptrons. Symposium on the Mathematical Theory of Automata, 12, 615-622. Polytechnic Institute of Brooklyn.
- Bernard Widrow, Lehr, M.A., "30 years of Adaptive Neural Networks: Perceptron, Madaline, and Backpropagation," Proc. IEEE, vol 78, no 9, pp. 1415–1442, (1990).
- Michael Collins 2002. Discriminative training methods for hidden Markov models: Theory and experiments with the perceptron algorithm in Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '02).
- Yin, Hongfeng (1996), Perceptron-Based Algorithms and Analysis, Spectrum Library, Concordia University, Canada