동류 신뢰도(congeneric reliability, )[1]복합 신뢰도, 합성 신뢰도, 개념 신뢰도, 오메가 계수 등으로도 불리는 단일 실행 신뢰도(즉, 고정된 시간에서 여러 항목에 대한 응답자의 신뢰도[2]) 계수이다. 는 단일차원 모형에 기반한 구조방정식 기반 신뢰도 계수이다. 신뢰도 계수들 중에서 타우동등 신뢰도 () 다음으로 흔히 사용되며, 의 대안으로 흔히 추천된다.

공식과 계산 편집

체계적 공식과 관행적 공식 편집

 
동류 측정 모형

 개의 항목으로 구성된 검사에서  번째 항목의 (관찰) 점수를  , 각 항목 점수의 합을  이라고 하자.

각 항목의 (관찰) 점수는 항목의 진점수와 항목의 오차로 구성된다고 가정한다.  

동류 모형은 각 항목의 진점수가 공통 요인( )의 선형 결합이라고 가정한다.  

 는 흔히 항목의 요인 적재량이라고 지칭된다.

   의 추정치들로부터 얻어진  의 fitted/implied covariance matrix 의 모든 요소의 합이다.

 의 "체계적 공식"[1]은 다음과 같다.

 

전통적으로 사용되어 온 관행적 공식은 다음과 같다.

 

계산 예 편집

Fitted/implied covariance matrix
       
         
         
         
         
   
Factor loadings and errors
   
     
     
     
     
     
   

Fitted/implied covariance matrix는 요인적재량과 오차의 추정치로부터 얻은 것이다. 예를 들어,  ,  

 

 

같은 자료에 타우동등신뢰도를 적용한 결과와 비교할 수 있다.

동류신뢰도의 여러 명칭[1][3] 편집

 는 다양한 이름으로 불리고 있다. 그 이유를 이해하기 위해서는  의 역사를 알아야 한다.  는 Jöreskog (1971)[4]가 처음 개발했다. 그는 이 공식에 이름도 공식 번호도 붙이지 않고 그냥 "신뢰도"라고 불렀다. 그리고 Jöreskog (1971)은 행렬 형식의 공식을 제시했다.  의 관행적 공식을 처음 제시한 것은 Werts et al. (1974)[5]이다. 이분들도 이름을 따로 제안하지 않고 그냥 "신뢰도"라고 불렀다. 그러니까, 이 공식에 공식적인 명칭이 없다는 것이 이 공식에 갖가지 비공식적인 이름이 사용되고 있는 근본적인 이유이다.

합성 혹은 복합 신뢰도 편집

합성 신뢰도와 복합 신뢰도는 영어의 composite reliability를 직역한 것이다.

역사적 유래

Werts, Rock, Linn, and Jöreskog (1978)[6]도 이 공식을 제시하면서 그냥 "신뢰도"라고 불렀다. 그런데 이분들은 합성 점수[7]에 적용되는 신뢰도를 개별 항목의 신뢰도와 비교하면서 "the composite reliability"라는 표현을 딱 한 번 썼다. 1980년대 초반의 책들 중 일부가 Werts et al. (1978)처럼 이 공식을 "the composite reliability"라고 지칭한다. 시간이 지나면서 the도 빼고 고유명사화하였다. 즉, composite reliability라는 이름은 누군가의 의도나 계획에 의해 생긴 이름이 아니라, 우연 혹은 오해에 의해 시작되었다.

논리적 문제점

합성 신뢰도는 '합성 점수의 신뢰도'의 줄임말이다. 사실상 모든 신뢰도는 합성 신뢰도이다. 논리적으로 볼 때, 이 이름은 특정한 공식의 이름으로는 적당하지 않다.

실용적 유용성

복합 신뢰도라는 이름은 이 신뢰도가 복잡하다는(complex) 인상을 준다. 합성 신뢰도라는 이름은 이 신뢰도가 여러 신뢰도를 합성하여 (synthesized) 만들었다는 인상을 준다. 공식의 성격에 대해 잘못된 인상을 주므로 합성 신뢰도 및 복합 신뢰도라는 이름은 바람직하지 않다.

사용 빈도

해외의 일반 사용자들은  를 지칭할 때 이 이름을 가장 많이 사용한다.[8] 신뢰도 계수에 대해서 학술 논문을 작성하는 연구자들은 이 이름을 거의 사용하지 않는다.

개념 신뢰도 편집

개념 신뢰도는 영어 construct reliability를 번역한 것이다.

역사적 유래

실용적 통계분석 교과서로 세계적 베스트셀러인 Hair et al.의 책[9][10][11][12][13]에서 개념 신뢰도라는 용어를 사용한 것이 이 용어의 유래인 것으로 보인다.

논리적 문제점

개념 신뢰도는 '개념의 신뢰도'의 줄임말이라고 할 수 있다. construct는 concept와 동의어이다.[14] 개념은 추상적이며, 측정을 통해 구체화된다. 우리는 측정의 신뢰도를 추정할 수는 있어도, 개념의 신뢰도는 추정할 수 없다. 예를 들어, "애정에 대한 측정"의 신뢰도는 말할 수 있지만, "애정"이라는 개념 자체의 신뢰도는 말할 수 없다. 개념 신뢰도는 논리적으로 성립하지 않는 용어이다. 개념 신뢰도가 말이 된다고 치자.  외의 다른 신뢰도 계수도 개념을 측정한 것이니 개념신뢰도라고 불러야 할 것이다. 즉, 개념신뢰도는 모든 신뢰도 계수를 아우르는 일반 명사여야지 특정한 계수를 지칭하는 고유 명사가 될 수 없다.

사용 빈도

해외의 일반 사용자들은  를 지칭할 때 composite reliability 대비 1/3의 빈도로 construct reliability를 사용한다.[15] 국내의 일반 사용자들은 복합신뢰도 혹은 합성 신뢰도보다 개념신뢰도라는 용어를 훨씬 자주 사용한다.[16] 신뢰도 계수에 대해서 학술 논문을 작성하는 연구자들은 이 이름을 거의 사용하지 않는다.

오메가 계수 편집

오메가 계수는 coefficient omega를 번역한 것이다.

역사적 유래

오메가 계수라는 이름은 이 계수를 McDonald (1970)[17]가 처음 개발했다는 McDonald (1985, 1999)[18][19]의 주장에 근거한다.

McDonald (1970)은 탐색적 요인분석에 대한 그의 논문에서 신뢰도 공식을  라는 기호를 이용하여 제시한다. 이 공식은 아무런 설명 없이 논문의 각주에 포함되었다. 만약 이 공식이 당시의 기준에서 높은 학술적 가치가 있었다면 이런 식으로 제시되지는 않았을 것이다. 또한 그가 제시한 공식은 확인적 요인분석이 아닌 탐색적 요인분석에 적용되는 공식이었다. McDonald (1985)는  와 대수적으로 동등한 공식을 그의 책에서  라고 지칭한다. 또한, McDonald (1970)에서 제시한   로 이름을 바꾸겠다고 말한다. McDonald (1999)는 다양한 신뢰도 계수들을(예: 단일차원 및 다차원)  로 표기한다.   계수를 자신이 처음 제안했다고 명시적으로 선언한다. McDonald (1985, 1999)는 Jöreskog (1971)이나 Werts et al. (1974)을 인용하지 않는다.

다음의 반론이 제시되었다. 첫째, 탐색적 요인분석의 상황에서 McDonald (1970)와 비슷한 접근으로 신뢰도 공식을 제시한 복수의 연구의 연구가 있다.[20][21] 둘째, McDonald (1970)의  는 Jöreskog (1971)나 Werts et al. (1974)가 제시한 공식은 다르다. McDonald (1970)이 제시한 공식의 분모는 observed covariance이고,  의 분모는 fitted covariance이다. 셋째, McDonald (1970)는 이 계수를 실제로 어떻게 구할 것인지에 대해 논의하지 않았다. 신뢰도 공식을 도출하는 것은 쉽지만, 그 당시에 더 중요한 장벽은 각 parameter의 추정치를 어떻게 얻을 것인가였다. Jöreskog (1969, 1970, 1971)은 이 문제를 여러 연구에 걸쳐서 다루었다.[4][22][23] 넷째, 사용자들에게 실질적으로 영향을 준 것은 Jöreskog (1971)였다. McDonald (1970)는 탐색적 요인분석 문헌에서는 가끔 인용되었지만, 신뢰도 문헌에서는 거의 인용된 적이 없다. 오메가 계수라는 표현은 2000년 이전에는 거의 사용되지 않았으며, 2010년 이후에 본격적으로 사용되고 있다.

실용적 유용성

다양한 구조방정식 기반 신뢰도 계수가  로 지칭되고 있다. 따라서 신뢰도 계수의 이름만을 가지고는 무슨 공식을 지칭하는지 알 수 없으며, 의사소통의 정확성을 저하시킨다.

사용 빈도

사용자들은 오메가 계수라는 용어를 거의 사용하지 않는다. 2010년 이후 신뢰도 문헌에서는 오메가 계수라는 표현의 사용이 증가하고 있다.[24][25][26][27][28][29][30]

동류 신뢰도 편집

역사적 배경

Jöreskog (1971)는 신뢰도 계수의 이름을 따로 제안하지는 않았지만, 이 신뢰도 계수를 도출한 측정 모형을 동류 모형이라고 지칭하였다. 동류 신뢰도라는 이름은 그 이후 신뢰도 문헌에서 가끔 사용되었다.[31][32] Cho (2016)[1]는 다른 신뢰도 계수들과의 일관된 체계를 위해 이 계수를 동류신뢰도라고 할 것을 제안하였다.

실용적 유용성

계수의 특징에 대해서 아무런 정보도 주지 않는 다른 이름들과는 달리, 동류 신뢰도라는 이름은 이 계수가 언제 사용되어야 하는지에 대한 정보를 담고 있다. 즉, 이 계수는 동류 조건을 만족하는 자료에 사용될 수 있다.

참고 문헌 편집

  1. Cho, E. (2016). Making reliability reliable: A systematic approach to reliability coefficients. Organizational Research Methods, 19(4), 651–682. https://doi.org/10.1177/1094428116656239
  2. Cronbach, L. J. (1978). Citation classics. Current Contents, 13, 263.
  3. Cho, E. and Chun, S. (2018), Fixing a broken clock: A historical review of the originators of reliability coefficients including Cronbach’s alpha. 조사연구, 19(2), 23–54.
  4. Jöreskog, K. G. (1971). Statistical analysis of sets of congeneric tests. Psychometrika, 36(2), 109–133. https://doi.org/10.1007/BF02291393
  5. Werts, C. E., Linn, R. L., & Jöreskog, K. G. (1974). Intraclass reliability estimates: Testing structural assumptions. Educational and Psychological Measurement, 34, 25–33. https://doi.org/10.1177/001316447403400104
  6. Werts, C. E., Rock, D. R., Linn, R. L., & Jöreskog, K. G. (1978). A general method of estimating the reliability of a composite. Educational and Psychological Measurement, 38(4), 933–938. https://doi.org/10.1177/001316447803800412
  7. 예를 들어, 연인 간 애정이라는 개념을 측정할 때, "너 나 사랑해?"라고 한 번만 질문하지 않는다. "너 나 사랑해?" "정말루 사랑해?" "진짜진짜 사랑해?" 등의 여러 항목의 측정치를 합산한 점수를 합성 점수 혹은 복합 점수(composite scores)라고 한다.
  8. 2020년 4월 Google 검색한 결과 "composite reliability"는 46만 2천건의 웹문서가 검색되었다.
  9. Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (1995). Multivariate data analysis with readings (4th ed.). Prentice Hall.
  10. Hair, J. F., Babin, B. J., Anderson, R. E., & Black, W. C. (2018). Multivariate data analysis (8th ed.). Cengage.
  11. Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2009). Multivariate data analysis (7th ed.). Pearson.
  12. Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2005). Mulltivariate data analysis (6th ed.). Pearson.
  13. Hair, J. F., Tatham, R. L., Anderson, R. E., & Black, W. C. (1998). Multivariate data analysis (5th ed.). Prentice Hall.
  14. Podsakoff, P. M., MacKenzie, S. B., & Podsakoff, N. P. (2016). Recommendations for creating better concept definitions in the organizational, behavioral, and social sciences. Organizational Research Methods, 19(2), 159–203. https://doi.org/10.1177/1094428115624965
  15. 2020년 4월 Google 검색한 결과 "construct reliability"는 14만 9천건의 웹문서가 검색되었다.
  16. 2020년 4월 Google에서 "개념신뢰도"는 6.5천건, "복합 신뢰도"와 "합성 신뢰도"는 각각 1천건의 웹문서가 검색되었다.
  17. McDonald, R. P. (1970). Theoretical canonical foundations of principal factor analysis, canonical factor analysis, and alpha factor analysis. British Journal of Mathematical and Statistical Psychology, 23, 1-21. doi:10.1111/j.2044-8317.1970.tb00432.x.
  18. McDonald, R. P. (1985). Factor analysis and related methods. Hillsdale, NJ: Lawrence Erlbaum.
  19. McDonald, R. P. (1999). Test theory: A unified treatment. Mahwah, NJ: Lawrence Erlbaum.
  20. Bentler, P. M. (1968). Alpha-maximized factor analysis (alphamax): Its relation to alpha and canonical factor analysis. Psychometrika, 33(3), 335–345. https://doi.org/10.1007/BF02289328
  21. Heise, D. R., & Bohrnstedt, G. W. (1970). Validity, invalidity, and reliability. Sociological Methodology, 2, 104-129. doi:10.2307/270785.
  22. Jöreskog, K. G. (1969). A general approach to confirmatory maximum likelihood factor analysis. Psychometrika, 34(2), 183–202. https://doi.org/10.1007/BF02289343
  23. Jöreskog, K. G. (1970). A general method for analysis of covariance structures. Biometrika, 57, 239-251. doi:10.1093/biomet/57.2.239.
  24. Brunner, M., Nagy, G., & Wilhelm, O. (2012). A Tutorial on Hierarchically Structured Constructs. Journal of Personality. https://doi.org/10.1111/j.1467-6494.2011.00749.x
  25. Deng, L., & Chan, W. (2017). Testing the difference between reliability coefficients alpha and omega. Educational and Psychological Measurement, 77(2), 185–203. https://doi.org/10.1177/0013164416658325
  26. Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399–412. https://doi.org/10.1111/bjop.12046
  27. Green, S. B., & Yang, Y. (2015). Evaluation of Dimensionality in the Assessment of Internal Consistency Reliability: Coefficient Alpha and Omega Coefficients. Educational Measurement: Issues and Practice, 34(4), 14–20. https://doi.org/10.1111/emip.12100
  28. Padilla, M. (2019). A Primer on Reliability via Coefficient Alpha and Omega. Archives of Psychology, 3(8), Article 8. https://doi.org/10.31296/aop.v3i8.125
  29. Padilla, M. A., & Divers, J. (2016). A Comparison of Composite Reliability Estimators: Coefficient Omega Confidence Intervals in the Current Literature. Educational and Psychological Measurement, 76(3), 436–453. https://doi.org/10.1177/0013164415593776
  30. Revelle, W., & Zinbarg, R. E. (2009). Coefficients alpha, beta, omega, and the glb: Comments on Sijtsma. Psychometrika, 74(1), 145–154. https://doi.org/10.1007/s11336-008-9102-z
  31. Graham, J. M. (2006). Congeneric and (Essentially) Tau-Equivalent Estimates of Score Reliability What They Are and How to Use Them. Educational and Psychological Measurement, 66(6), 930–944. https://doi.org/10.1177/0013164406288165
  32. Lucke, J. F. (2005). “Rassling the Hog”: The Influence of Correlated Item Error on Internal Consistency, Classical Reliability, and Congeneric Reliability. Applied Psychological Measurement, 29(2), 106–125. https://doi.org/10.1177/0146621604272739