통계에서 잔차제곱합 (SSR) 또는 오차제곱합 (SSE) 이라고도 알려진 잔차 제곱합(RSS)은 잔차의 제곱(실제 경험적 데이터 값과 예측된 값의 차이)이다. 이는 선형회귀와 같은 추정모델과 데이터간의 불일치를 측정한다. 작은 RSS는 모델이 데이터에 꼭 맞는다는 것을 의미한다. 이는 매개변수 선택 및 모델 선택시 최적기준으로 사용된다.

일반적으로, 총제곱합(TSS) = 회귀제곱합(SSE) + 잔차제곱합(SSR)이다. 다변량 최소제곱법(OLS) 사례에 대한 증명은, 일반적인 최소제곱법 모델에서의 파티셔닝을 참고.

하나의 독립변수

편집

독립변수가 하나인 모델에서 RSS는 다음과 같다.[1]

 

여기서 yii 번째 예측할 변수 값이고, xii 번째 독립변수의 값이며,  yi 의 예측값이다(   라도도 함). 표준 선형 단순 회귀모델에서는  , 여기서   계수이고, yx는 각각 종속변수독립변수이고, ε는 오차이다. 잔차의 제곱합은   의 제곱합이며, 다음과 같다.

 

여기서  는 상수  의 추정 값이고,  는 기울기 계수  의 추정 값이다.

OLS 잔차제곱합에 대한 행렬 표현식

편집

n개의 관측값과 k개의 설명자가 있는 일반 회귀 모델(첫 번째 설명자는 계수가 회귀 절편인 상수 단위 벡터임)은 다음과 같다.

 

여기서 y는 종속 변수 관측값의 n × 1 벡터이고, n × k 행렬 X 의 각 열은 k 설명자 중 하나에 대한 관측값 벡터이다.  는 실제 계수의 k × 1 벡터이고, e는 실제 기본오차의 n × 1 벡터이다. 최소제곱법 추정값  는 다음과 같다.

 
 
 

잔차 벡터   ; 따라서 잔차 제곱합은 다음과 같다:

  ,

(잔차 놈(norm)제곱과 동일) 전체를 다시 정리하면 다음과 같다:

  ,

여기서 H 는 모자행렬 또는 선형회귀의 투영 행렬이다.

피어슨 상관관계와의 관계

편집

최소제곱 회귀선은 다음과 같다.

  ,

여기서   그리고  , 여기서   그리고  

그러므로,

 

여기서  이다.

피어슨 상관관계는 다음과 같다.

  그러므로,  

추가 설명자료

편집

같이 보기

편집

참고자료

편집

Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095. 

  1. Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095. 
  • Draper, N.R.; Smith, H. (1998). 《Applied Regression Analysis》 3판. John Wiley. ISBN 0-471-17082-8.