신뢰가 담겨있는 통계 - 통계학

 

신뢰도와 타당도 - 검사, 재검사 신뢰도

동일한 피험자에 대해 동일한 검사를 일정한 시간 간격으로 2회 실시하여 상관관계 분석을 통해 결과가 유사한지 여부를 확인합니다. 유사하다면 검사, 재검사의 신뢰도가 높다고 할 수 있습니다. 검사, 재시험의 신뢰성은 시간의 경과를 수반하는 유일한 신뢰 개념이며, "그렇다면 얼마나 많은 시간 간격이 필요한가?"라는 질문을 예상해야 합니다. 짧은 시간에 연속 테스트를 하면 안 됩니다. 연습 효과가 나타나고, 이후 시험 결과가 기존 시험 결과보다 좋아지기 때문입니다. 긴 시간 오랫동안 테스트를 진행하면 성숙 요인이 발생하고 시간이 지남에 따라 변할 것으로 예상되는 변수의 수가 기하급수적으로 증가하기 때문에 적절한 시간 조절이 필요합니다. 가장 일반적으로 고려되는 간격은 언급한 바와 같이 암묵적으로 수용되는 기간은 약 6개월이며, 측정 분야에 따라 동적 주제에 대해 서는 약 2주로 좁혀질 수 있습니다. 이 때문에 고 지능 군으로 불리는 멘사에서도 아이큐 시험에 떨어진 사람은 6개월 동안 시험을 볼 수 없었습니다. 이후 1년간 재시험이 불가능해졌습니다.

 

간섭하는 운동효과와 성숙 요인의 한계에도 불구하고 검사, 재검사의 신뢰성만 갖는 특별한 장점이 있다면, 동일한 주제에 대해 동일한 시험을 수행하는 유일한 신뢰도 측정 기법입니다. 어떤 경우에, 어떤 사람들은 그것을 "매우 안정적"이라고 묘사합니다. 신뢰도가 낮을 경우 다른 시험에는 "사람마다 다르다" 또는 "문항이 다르다"와 같은 대체 설명이 있을 수 있지만, 적어도 시험 재시험 신뢰도는 그렇지 않습니다. 오직 "시간은 다르다"라는 논리만 가능합니다. 따라서 사람 또는 문항이 다르면 큰 문제지만 검사, 재검사 신뢰도는 시간이 다르면 큰 문제가 되지 않는다고 판단되는 시험에 유용합니다.

내적 일관성 신뢰도

내부적으로는 다수의 시험항목 간의 동일성과 일관성을 평가하는 신뢰도로, 동형 신뢰성과 반 신뢰성의 두 가지로 구분됩니다. 일부 특정 항목의 신뢰도가 낮다는 것이 감지되면 해당 항목을 삭제하거나 역점 수로 해결하면 됩니다. 예를 들어 같은 개념과 관련돼야 할 10개 문항 중 갑자기 다른 응답과 다른 방향으로 응답 결과가 눈에 띄면 그 부분만 역 점수를 받거나 아예 삭제할 수 있습니다. 그러나 검사 내내 반응 성향이 엉망이라면 완전히 바꿔서 새로운 측정방식을 만드는 방법밖에 없습니다. 이러한 신뢰성 논리는 현대에도 요인 분석에 적용되며, 이는 이하에서 설명합니다. 검사, 재검사 신뢰도에 비해 시간 흐름의 혼합을 방지할 수 있다는 장점이 있습니다.

동형 신뢰도

문제를 반으로 나누어, 즉 두 개로 나누어 두 가지 버전의 시험을 만들고 두 시험 결과의 점수가 비슷한지 살펴보는 방법입니다. 비슷하면 절반의 신뢰도가 높다고 할 수 있습니다. 반분 신뢰도는 일반적으로 각 집합 간에 얻은 상관 계수를 사용하여 짝수 질문과 홀수 질문으로 나눈 두 개의 측정, 집합을 비교합니다. 이때 상관계수에 1과 2를 곱하여 상관계수를 계산하여 비교하고, 상관계수가 1에 가까울 정도로 크면 비교 결과도 0에 가까울 정도로 작습니다. 이 논리를 따르는 것이 스피어만-브라운 공식입니다. 반분 신뢰도를 활용하는 일반적인 예로는 크론바흐의 알파 계수가 있습니다. 주어진 문항 중 가능한 모든 종류의 반신뢰를 얻은 후 평균을 구하는 방법으로 알파 계수가 0에서 1까지 70 이상이어야 적절하고 신뢰할 수 있는 시험을 할 수 있습니다. 반분 신뢰도 역시 한계가 없는 것은 아니지만 문항 수가 적으면 쓰기 어렵습니다. 예를 들어, 유명한 심리 테스트 중 하나인 로젠버그의 자존감 척도의 경우 문항 수가 10개에 불과합니다. 이것으로 반 신뢰성을 측정하려고 할 때, 그것은 약간 어려운 일입니다. 그래도 요즘 크론바흐의 알파 값은 4~5개 항목의 척도에서도 SPSS로 계산될 정도로 관행화되어 있습니다.

평가자 간 신뢰도

시험의 결과 프로파일을 평가할 때 두 명 이상의 평가자 간의 해석 또는 판단이 유사한지 여부를 결정하는 방법입니다. 유사하다면 평가자 간 신뢰도가 높다고 할 수 있습니다. 결과가 유사하지 않은 경우 다음 예 중 하나일 수 있습니다. 시험을 구성하는 이론적 개념이나 배경은 모호하게 적용되었거나, 너무 광법위하거나, 일부 평가자가 오해했을 수 있습니다.