교육평가 (1) - 신뢰도

신뢰도란, 평가 시 측정의 일관성을 나타내는 척도로 측정 대상을 얼마나 안정적으로 측정하느냐에 관한 개념이다.

우리는 보통 시험을 치르고 그에 따른 결과, 즉 점수를 받게 된다.

이때의 점수를 간단한 식으로 나타낼 수 있다.

X = T + E   (X: observed score  / T: true score / E: error score)

측정 점수는 결과로 나타내어진 점수로, 사람들에게 보통 알려진 '시험 점수'를 뜻한다.

진점수는 피험자의 실제 능력을 나타내는 점수인데, 이는 한 번의 시험으로는 정확히 측정할 수 없다.

그 이유는 바로 오차 점수의 개입 때문인데,

오차 점수는 피험자의 의지와 상황과는 상관없이 시험 환경적인 측면에서 오차를 나타내는 고정 오차와

당일 컨디션 등 각 개인에 의해 달라지는 무선 오차로 나뉜다.

그중 무선 오차는 '신뢰도'에 영향을 미치는 요인 중 하나가 될 수 있다.

---

진점수 부분에서 언급한 대로 ,

신뢰도를 추정할 때에 한 번의 시험으로는 정확히 알 수 없다는 문제점이 있다.

즉, 2번 이상의 시험을 통해 신뢰도를 추정해야 한다는 말인데,

이 과정에서도 여러 영향이 발생한다.

 

첫째로, 두 번 이상 시험을 치르게 된다면 피험자는 먼저 본 시험보다 나중에 본 시험에서

시험 내용에 관해 기억하고 있을 가능성이 높아진다. 이는 신뢰도에 영향을 줄 수 있다.

이러한 효과를 '기억 효과'라고 하는데, 두 시험 간 시간 간격이 짧을수록 더 강하게 나타날 수 있다.

둘째는 '연습 효과'로 피험자가 여러 번 시험을 치르게 되면

의식적이든 무의식적이든 시험 내용에 대해 학습이 될 가능성이 높아진다. 

반면, 두 검사의 기간이 지나치게 길 경우 '망각의 영향'에 의해 처음 검사와 이후 검사 간의 결과가 일관되지 못할 수 있다.

 

이러한 영향들 때문에 '1번의 시험을 보자'는 의견도 나오게 된다.

그전에 앞서 2번 이상 (여기서는 2회 측정으로 한정) 검사를 실시하여 신뢰도를 추정하는 두 가지 방법을 정리한다.

 

2회 측정 신뢰도 추정방법

 

1. 검사 재검사 신뢰도 (안정성 계수 활용)

2. 동형 검사 신뢰도 (동형성 계수 활용)

 

검사 재검사 신뢰도는 2회의 검사 간 상관관계를 나타내는 계수인 안정성 계수를 활용하는 신뢰도를 말한다.

동일한 문항에 대해 4-6주 간격으로 실시하는데, 이때 기억 효과, 연습 효과, 그리고 망각의 영향을 받을 수 있다.

하지만 정의적 영역을 판단할 때에는 이 신뢰도가 유효할 수 있다.

미술 치료의 경우, 동일한 그림 또는 사진을 일정 기간의 간격을 두고 피험자에게 보여준 뒤,

그 두 결괏값을 비교하여 더 나은 치료 방법을 모색하는 것은 가능하다.

 

동형 검사 신뢰도는 검사 재검사 신뢰도와는 다르게 문항의 변화가 가능하고, 시간 간격을 자유롭게 설정할 수 있다는 장점이 있다.

그렇지만 문항을 제작하기 전, 문항의 속성 (두 검사의 난이도, 평균, 분산이 같아야 함)을 고려해야 한다는 점이

이 신뢰도를 추정할 때에 어려움으로 작용할 수 있다.

 

1회 측정 신뢰도 추정방법

2회 이상의 시험을 치를 수 없을 때, 신뢰도를 추정할 수 있는 차선책으로 1회 측정 신뢰도 추정방법이 있다.

즉 한 번의 시험으로만 신뢰도를 알아내고자 하는 방법인데, 내적일관성 신뢰도라고도 불리며 종류는 다음과 같다.

 

1. 반분신뢰도

2. 알파(α)계수

3. Hoyt 검사

4. KR-20

5. KR-21 

 

반분신뢰도는 한 번 실시한 검사를 두 부분(전후법, 기우법)으로 나누어 두 부분 간의 상관을 계산한 후, Spearman-Brown 공식으로 교정한 값이다.

검사를 동형으로 만들어 두 부분으로 나눈 후, 이 두 부분에서 얻은 점수들이 어느 정도 일치하는가의 정도를 의미한다.

한 번의 검사로 신뢰도를 추정할 수 있다는 점에서 효율적이고 경제적이라는 장점이 있지만, 원래 검사를 나눈다는 점에서 신뢰도가 과소 추정될 수 있다.

 

알파계수는 문항 내적 일관성을 측정하기 위하여 문항점수의 분산을 고려하여 측정하는 방식이다. 

반분신뢰도와는 다르게 문항을 분할하지 않아도 된다는 장점이 있고, 문항 간의 일관성에 의해 단일한 신뢰도를 측정할 수 있다. 또한 다분문항에도 사용 가능하다는 점도 있다.

 

Hoyt 검사 역시 다분문항인 경우에도 사용 가능하다는 장점이 있지만 분산분석의 반복측정 설계의 개념을 활용하기에 계산이 복잡하다는 단점이 있다.

 

KR-20과 KR-21 간의 차이점은 KR-20은 이분문항인 경우에만 사용하다는 점, KR-21은 다분문항인 경우에도 사용 가능하고 모든 문항의 난이도가 동일하다는 가정이 필요하다는 차이가 있다.

 

위와 같은 검사들로 추정할 수 있는 신뢰도는 천차만별이다.

그렇지만 어떠한 검사를 선택하든지 신뢰도를 제고할 수 있는 방법은 몇 가지가 있다.

 

문항 수가 많을수록,

난이도가 적절하고 변별도가 높을수록,

피험자가 이질적일수록,

내용영역의 범위가 좁을수록, 즉 문항내용이 동질적일수록,

추측요인이 낮을수록

신뢰도는 높아지는 경향이 있다.

 

(p.s. 너무 오랜만에 수정을 거친 부분이라 내용이 다소 부족할 수 있습니다. 너그러운 양해 부탁드리고 언제든 소통 가능합니다:) )