잔차 제곱합
통계에서 잔차제곱합 (SSR) 또는 오차제곱합 (SSE) 이라고도 알려진 잔차 제곱합(RSS)은 잔차의 제곱합(실제 경험적 데이터 값과 예측된 값의 차이)이다. 이는 선형회귀와 같은 추정모델과 데이터간의 불일치를 측정한다. 작은 RSS는 모델이 데이터에 꼭 맞는다는 것을 의미한다. 이는 매개변수 선택 및 모델 선택시 최적기준으로 사용된다.
일반적으로, 총제곱합(TSS) = 회귀제곱합(SSE) + 잔차제곱합(SSR)이다. 다변량 최소제곱법(OLS) 사례에 대한 증명은, 일반적인 최소제곱법 모델에서의 파티셔닝을 참고.
하나의 독립변수
편집독립변수가 하나인 모델에서 RSS는 다음과 같다.[1]
여기서 yi 는 i 번째 예측할 변수 값이고, xi 는 i 번째 독립변수의 값이며, 는 yi 의 예측값이다( 라도도 함). 표준 선형 단순 회귀모델에서는 , 여기서 와 는 계수이고, y와 x는 각각 종속변수와 독립변수이고, ε는 오차이다. 잔차의 제곱합은 의 제곱합이며, 다음과 같다.
여기서 는 상수 의 추정 값이고, 는 기울기 계수 의 추정 값이다.
OLS 잔차제곱합에 대한 행렬 표현식
편집n개의 관측값과 k개의 설명자가 있는 일반 회귀 모델(첫 번째 설명자는 계수가 회귀 절편인 상수 단위 벡터임)은 다음과 같다.
여기서 y는 종속 변수 관측값의 n × 1 벡터이고, n × k 행렬 X 의 각 열은 k 설명자 중 하나에 대한 관측값 벡터이다. 는 실제 계수의 k × 1 벡터이고, e는 실제 기본오차의 n × 1 벡터이다. 최소제곱법 추정값 는 다음과 같다.
잔차 벡터 ; 따라서 잔차 제곱합은 다음과 같다:
- ,
(잔차 놈(norm)제곱과 동일) 전체를 다시 정리하면 다음과 같다:
- ,
여기서 H 는 모자행렬 또는 선형회귀의 투영 행렬이다.
피어슨 상관관계와의 관계
편집최소제곱 회귀선은 다음과 같다.
- ,
여기서 그리고 , 여기서 그리고
그러므로,
여기서 이다.
피어슨 상관관계는 다음과 같다.
그러므로,
추가 설명자료
편집- 아카이케 정보 기준#최소제곱과의 비교
- 카이제곱 분포#응용 프로그램
- 자유도(통계)#자유도와 제곱의 합
- 통계의 오차 및 잔차
- 적합성 부족 제곱합
- 평균 제곱 오차
- 카이제곱 통계량 감소, 자유도당 RSS
- 제곱 편차
- 제곱합(통계)
같이 보기
편집참고자료
편집Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095.
- ↑ Archdeacon, Thomas J. (1994). 《Correlation and regression analysis : a historian's guide》. University of Wisconsin Press. 161–162쪽. ISBN 0-299-13650-7. OCLC 27266095.
- Draper, N.R.; Smith, H. (1998). 《Applied Regression Analysis》 3판. John Wiley. ISBN 0-471-17082-8.