교육평가 (2) - 타당도의 개념과 구분

'이거 시험에 나온다!' 누구나 시험공부를 할 때 한 번은 들어 본 말이다. 이번 시험 범위에서 가장 중요한 내용을 공부했는데, 정작 시험에서 해당 내용이 빠져 있다면? 그리고 그 내용과 전혀 관련 없는, 해당 범위에서 가장 적은 부분을 차지하는 내용이 그것도 아주 높은 배점의 문제로 나왔다면? 이 시험은 공정하다고 할 수 있을까? 그리고 이 시험에서 높은 점수를 받은 학생은 공부를 잘하는 것일까?

 

타당도란?

 

타당도는 평가의 정확성과 공정성을 형성하는 종합적 개념이다. 시험 결과의 신뢰도와 의미를 결정짓는 아주 중요한 요소인 타당도는 측정하고자 하는 것을 잘 측정하는지와 학습자의 실제 능력, 지식, 학습 방법 등을 잘 평가하고 있는지와 관련이 있다. 위처럼 시험 범위에서 가장 중요한 내용이 적절한 선지와 배점의 문제로 출제되었는지에 관한 것이다. 뿐만 아니라 평가 도구의 신뢰성과 그로부터 도출 가능한 추론까지 포함하는 타당도는 어떻게 구분되는지 아래를 통해 간단히 살펴보자.

 

타당도의 종류, 구분

 

1. 내용 타당도 (Content Validity)

내용 타당도는 평가 도구, 평가 항목이 관련 교과목 또는 교육과정을 제대로 포함하고 있는지와 관련된다. 앞서 이야기한 '이거 시험에 꼭 나온다!'와 연결될 수 있다. 이 내용 타당도는 평가 항목과 학습 목표, 교육과정의 기준, 그리고 기대 결과(점수 등) 등을 일치시키는 과정을 포함한다. 평가를 설계하는 교육자는 각 문항의 발문과 선지, 문항 간 관련성, 학습 내용의 포함 정도 등을 검토함으로써 해당 평가가 의도된 학습 지식과 학습 기술을 진정으로 포함하고 또 측정하고 있는지 확인할 수 있다.

 

2. 구성 타당도 (Construct Validity)

구인 타당도라고 불리는 구성 타당도는 문제 해결 능력, 사고력, 창의력 등과 같은 보이지 않는 추상적이고 이론적인 구성 개념들을 측정하는 것과 관련된다. 이 구성 타당도는 평가 점수와 평가하려는 구성 개념 간의 관계를 확인하는 과정까지 포함한다. 만약 구성 타당도가 확보된 시험이라면, 시험에서 좋은 점수를 받은 학습자는 '해당 학습 내용을 잘 이해하고 있으며 이를 다른 개념들과 연결시켜 관련 문제를 해결할 수 있는 능력이 있을 가능성이 높다'라고 말할 수 있다. 여러 실험과 분석으로 얻는 통계 자료를 통해, 교육자는 해당 평가가 기저 구성 개념들을 잘 반영하고 제대로 측정할 수 있게 설정되었는지 입증할 수 있다.

 

3. 기준 타당도 (Criterion-Related Validity)

기준 타당도는 준거 타당도라고도 하며, 평가 결과와 그와 별개로 존재하는 기준과의 관계를 설명한다. 이는 1) 공인 타당도와 2) 예언 타당도 두 가지로 나눌 수 있다. 먼저, 공인 타당도는 검사 결과와 기존에 존재하는, 잘 설계된 다른 평가와 비교했을 때 얼마나 일정한 검사 결과를 나타내는지와 관련된다. MBTI 검사와 유사한 성격유형검사를 개발했다고 가정하면, 개발된 검사와 MBTI 검사 결과 간 상관관계를 확인하여 검사의 일관성과 정확성을 측정하고 조절할 수 있다. (그냥 예시일 뿐입니다!) 한편 예언 타당도는 검사 결과 후의 미래를 예측하는 것과 관련이 있다. 평가 결과가 향후 성취도 및 기준에 얼마만큼 영향을 미치는지 확인할 수 있고, 이는 특히 대학 입학시험이나 직업 선택 평가 등에서 활용될 수 있다.

 

타당도를 확보하기 위한 5가지 방법

 

위에서 살펴본 바와 같이 타당도를 확보하는 것은 교육과 평가에 관해 중요한 요소다. 그렇다면 여러 타당도를 확보하기 위해 어떤 절차나 방법이 필요할까? 아래 5가지 방법들을 확인해 보자.

 

1. 정렬

설계하려고 하는 평가와 교육 목표, 실제적 교육(환경 등 포함), 기대 학습 결과 등을 일치시키고 하나의 기준으로 정렬시킨다. 학습 내용의 범위나 관련성 확보가 제대로 이루어지고 있는지 정기적으로 평가에 대해 검토하고 확인하는 과정을 거친다.

 

2. 평가 내 항목(문항) 분석

모순되거나 모호한 평가 항목이 있는지, 제대로 구성되지 않은 문항이 있는지 주도면밀히 분석한다. 분석 결과로 얻은 항목들에 대해서 수정할 것인지, 과감히 삭제할 것인지 고민하여 타당도를 확보할 수 있다.

 

3. 전문가 의견

동료 교육자, 해당 과목별 전문가, 평가 전문가 등을 통해 피드백을 받는다. 설계를 담당한 본인의 시각을 벗어난 다른 이들의 관점과 의견을 수용함으로써 평가의 타당성과 평가 이후의 기대 결과를 동시에 높일 수 있다.

 

4. 사전 테스트

정식으로 평가를 시행하기 전, 의도된 환경에서 평가를 실시해 본다. 여러 케이스가 많아질수록 평가를 개선할 수 있는 가능성은 높아진다. 테스트 결과를 분석하여 발전시켜야 할 부분과 불필요한 부분을 가려낸다.

 

5. 지속적인 발전

앞선 방법들을 끊임없이 지속하는 것이다. 거시적, 미시적 관점 모두 활용하여 평가 자체가 이루고자 하는 학습 목표를 잘 포함하고 있는지, 평가 항목(문항)들이 이를 잘 설명하고 있는지 확인하며 개선한다. 그리고 평가 종료 후 평가에 대한 리뷰, 동료의 피드백 등을 거친 뒤 개선할 부분을 찾아 더 나은 평가, 더 높은 타당성을 확보한다.

 

 

 

결국 타당도는 의미 있는, 공정한 평가를 위한 초석이자 기반이다. 보다 엄격하고 확실한 방법을 통해 교육자는 평가 도구의 정확성, 신뢰성, 관련성을 확보할 수 있으며 나아가 이를 통해 학습자의 능력을 보다 정확하고 공정하게 평가할 수 있다. 위와 같은 과정이 학자적인 노력에 지나지 않다고 말할 수도 있겠으나 교육윤리적인 관점에서 보면 교육자는 평가하고자 하는 내용을 잘 가르치고 이를 평가도구에 잘 녹여내며, 학습자는 학습해야 하는 내용과 학습 목표를 달성하기 위해 노력하는 일종의 상호책임이다.