지식 증류
큰 통계 모형의 지식을 작은 모형에 전달하는 기계 학습의 기법
(모델 증류에서 넘어옴)
지식 증류(知識蒸溜, knowledge distillation)는 지식을 증류한다는 뜻으로 서로 다른 기계학습 모델의 지식을 전하는 기법이다.
기계 학습에서 지식 증류 또는 모델 증류는 큰 모델에서 작은 모델로 지식을 전달하는 프로세스이다. 대규모 모델(예: 매우 심층적인 신경망 또는 여러 모델의 앙상블)은 소규모 모델보다 지식 용량이 높지만 이 용량이 완전히 활용되지 않을 수 있다. 모델이 지식 용량을 거의 활용하지 않더라도 모델을 평가하는 데 계산 비용이 많이 들 수 있다. 지식 증류는 유효성 손실 없이 큰 모델의 지식을 작은 모델로 이전한다. 소형 모델은 평가 비용이 저렴하므로 덜 강력한 하드웨어(예: 모바일 장치)에 배포할 수 있다.
지식 증류는 객체 감지, 음향 모델 및 자연어 처리와 같은 기계 학습의 여러 응용 분야에서 성공적으로 사용되었다. 최근에는 그리드가 아닌 데이터에 적용 가능한 그래프 신경망에도 도입되었다.
같이 보기
편집
|
이 글은 토막글입니다. 여러분의 지식으로 알차게 문서를 완성해 갑시다. |