활성화 함수

활성화 함수(活性化函數, 영어: activation function)는 인공 신경망에서 입력을 변환하는 함수이다. ReLU, 시그모이드 함수, 쌍곡탄젠트 함수 등이 대표적인 활성화 함수이다.

인공 신경망에서 노드의 활성화 함수는 노드의 개별 입력과 가중치를 기반으로 노드의 출력을 계산하는 함수이다. 활성화 함수가 비선형인 경우 몇 개의 노드만 사용하여 사소한 문제를 해결할 수 있다. 최신 활성화 함수에는 ReLU의 한 버전인 2018년 BERT 모델에 사용된 GELU, 힌튼 등이 개발한 2012년 음성 인식 모델에 사용된 로지스틱(시그모이드) 함수, 2012년 AlexNet 컴퓨터에 사용된 ReLU 비전 모델과 2015 ResNet 모델이 포함된다.

개요

시그모이드 함수

$$S(x)={\frac {1}{1+e^{-(ax+b)}}}={\frac {e^{ax+b}}{e^{ax+b}+1}}.$$

같이 보기

• 함수