정칙화(正則化, regularization)는 역문제를 해결할때나 기계 학습에서 잘못 설정된 문제(ill-posed)를 풀거나 과적합을 방지하는 기법으로 티호노프 정칙화 등이 있다.

정규화 절차는 여러 가지 방법으로 나눌 수 있지만 다음과 같은 설명이 특히 유용한다.

  • 명시적 정규화는 최적화 문제에 용어를 명시적으로 추가할 때마다 정규화된다. 이러한 용어는 사전, 처벌 또는 제약이 될 수 있다. 명시적 정규화는 일반적으로 잘못된 최적화 문제에 사용된다. 정규화 항 또는 페널티는 최적의 솔루션을 고유하게 만들기 위해 최적화 함수에 비용을 부과한다.
  • 암시적 정규화는 다른 모든 형태의 정규화이다. 예를 들어 조기 중지, 강력한 손실 함수 사용, 이상값 삭제 등이 여기에 포함된다. 암시적 정규화는 심층 신경망 훈련을 위한 확률적 경사하강법 및 앙상블 방법(예: 랜덤 포레스트 및 경사 강화 트리)을 비롯한 현대 기계 학습 접근 방식에서 본질적으로 어디에나 존재한다.

같이 보기

편집