신뢰도와 타당도

1. 개요

2. 신뢰도

2.1. 예시

• 대학수학능력시험: 불행히도, 수능의 신뢰도는 그다지 높지 않은 편이다. 왜냐하면, 2014학년도 응시자 성적은 2013학년도 시험지를 받았을 때 (그것이 처음 풀어보는 것이라고 가정한다면) 고스란히 유지될 것으로 기대하기 힘들기 때문이다. 매년 난이도 조절 실패니, 물수능이니 하는 논란이 불거지는 현상은 수능의 신뢰도가 떨어지고 있음을 의미한다.[2] 물론 현실적으로는 어차피 점수 자체보다는 줄세우기를 해서 등급 컷으로 나누기 때문에 큰 사회적 비용까지 지출되지는 않지만...

• MBTI: 대중적으로 유명한 성격검사인 MBTI는 어떨까? 전문가들 사이에서도 MBTI의 신뢰도에 대해서는 의견이 다소 엇갈린다. 그나마 괜찮은 편이라고 이야기하는 사람들도 있고, 신뢰도가 크게 떨어진다는 사람들도 있다. 보통은 전체 채점사례 중 40% 정도는 6개월 정도의 텀을 두고 연달아 채점했을 때 결과 유형이 바뀐다고 간주되는 듯. 어세스타를 비롯하여 MBTI를 가지고 돈을 버는 사람들도 이 문제를 놓고 고심하고 있지만, 영 뾰족한 해결책은 없는 모양이다. 사실 MBTI의 신뢰도도 그렇고 타당도도 그렇고, MBTI란 물건 자체가 태생적으로 나름의 한계를 안고 만들어진 것이다 보니 그렇다고 봐야 할 듯.

2.2. 검사-재검사 신뢰도

2.3. 내적 일관성 신뢰도

2.3.1. 동형 신뢰도

2.3.2. 반분 신뢰도

2.4. 평가자 간 신뢰도

3. 타당도

• 대학수학능력시험: 한국교육과정평가원이 대오각성하여 수년간 수능의 난이도 조절에 크게 성공했다고 가정하자. 즉, 신뢰도를 높이는 데 성공했다고 가정하자. 이 상황에서, 타당도의 높낮이는 무엇을 의미할까? 수능의 존재 의의는 고등학교 졸업자들이 대학교의 고등교육을 얼마나 잘 소화할 수 있는지를 미리 가늠해 보는 것이다. 즉, 수능에서 높은 점수를 받은 학생이 과연 대학 교육도 잘 익힌다면, 수능의 타당도는 높다고 할 수 있다. 반면, 수능에서 높은 점수를 받은 학생치고는 대학교에서 영 죽을 쑤고 있다면(…) 수능의 타당도는 낮다고 봐야 할 것이다.[4]

• MBTI: MBTI의 신뢰도가 높다고 주장하든 낮다고 주장하든 간에, 절대 다수의 심리학 전문가들은 MBTI의 가장 치명적인 한계점으로 "태생적으로 낮은 타당도" 를 지적한다. 대표적으로, 응답자들은 자기도 모르게 (물론 검사지에 유의사항으로 적혀 있긴 하지만) 자신의 실제 성격이 아니라 자신이 바라는(wanna-be) 이상적인 성격, 또는 자신의 직업적 특성으로 인해 강제된 성격으로 응답할 위험이 있다. 가장 중요한 문제는, MBTI에서 말하는 감각형, 직관형, 사고형, 감정형 같은 개념들이 현대 심리학에서 말하는 용어들과는 천만광년 정도 거리가 있다는 것이다.[5] 물론 이는 칼 융의 분석심리학에 이론적 배경을 의지하고 있기 때문. 이 때문에 MBTI에서 사고니 감정이니 하는 것을 측정하더라도 그것은 실제 자신의 정확한 성격과 괴리가 발생하게 된다.[6]

3.1. 구성 타당도

3.1.1. 수렴 타당도

3.1.2. 변별 타당도

3.2. 내용 타당도

• 두 수의 덧셈 능력을 측정한다고 할 때 사용된 숫자들의 다양성이 충분히 확보되어야 한다. 예를 들어 자릿수나 수의 유형(홀수 또는 짝수)이 치우치지 않고 골고루 섞여 있어야 한다. 또 만일 수학적 문제해결 능력을 측정한다면서 그 측정방법으로 구구단을 19단까지 외워 보라고 한다든지, 근의 공식을 써 보라고 한다든지(…) 하는 문제만 낸다면 과연 그것이 타당한 측정이라고 할 수 있을까? 주어진 힌트들을 최대한 이용하여 해결과정의 각 단계를 논리적으로 증명해 보이는 힘이 아무리 강한 사람이라고 하더라도 이런 지엽적인 측정에서는 충분히 높은 점수를 받기가 힘들 것이다.
• 외국어 능력을 측정한다고 하면서 말하기, 듣기, 읽기, 쓰기의 4가지 영역을 골고루 측정하지 않고 그 중 일부만 측정한다면 내용 타당도가 충분하지 않다고 할 수 있다. 또 영어회화 능력을 측정한다고 하면서 물질명사가 가산이냐 불가산이냐 하는 것만 내내 묻고 있으면 그것 역시 타당한 측정이라고 보기 어렵다. 물론 문법도 어학에서 중요한 측면이긴 하나 결코 전부는 아니다. 교사와 영어로 프리토킹을 하면서 자신의 근황을 잘 설명할 수 있는지, 자신의 취미생활을 소개할 수 있는지 같은 측면들을 평가하는 것이 훨씬 타당할 수 있다.[7]

3.2.1. 안면 타당도

3.3. 준거 타당도

3.3.1. 동시 타당도

3.3.2. 예측 타당도

4. 통계학에서의 신뢰도

• 유의 수준(significance level): 보통 α로 표시한다. 95%의 신뢰도를 기준으로 하면 1-0.95인 0.05가 유의 수준 값이다.
• 신뢰 구간(confidence interval, CI): 실제로 모수가 존재할 것으로 예측되는 구간이다. 보통 신뢰도 95%의 신뢰 구간을 쓰지만 90%나 99%도 많이 쓴다. (a, b)라고 써놓으면 a는 구간의 시작, b는 구간의 끝을 의미한다. 100(1-α)%의 신뢰 구간이라고 부른다. 반복적으로 모 평균 μ에 대한 구간 추정을 시행하면 이들 중 95%에 해당하는 신뢰 구간이 참값 μ를 포함한다는 의미이다.
• 신뢰 수준(confidence interval level): '신뢰도 95%의 신뢰 구간'과 같은 식으로 쓴다. 1-α나 100(1-α)%로 적는다.

5. 실험설계에서의 타당도

• 내적 타당도(internal validity): 어떤 실험설계를 따랐을 때 나타나는 처치의 효과(treatment effect)가 정말로 처치(treatment) 때문이라고 얼마나 장담할 수 있는가에 대한 개념이다. 다시 말해, 그 결과가 정말로 그 원인 때문임을 입증할 수 있는 정도를 말한다. 내적 타당도를 높이려면 외생변인(exogenous variable)의 혼입(confound)을 방지해야 한다. 가장 대표적인 내적 타당도 제고 방안이 바로 무선할당(random assignment)이며, 그 외에도 짝짓기법(matching), 블록화(blocking), 반복측정(repeated measures) 등이 있다. 공분산분석(analysis of covariance)을 활용하는 통계적 통제도 물론 가능하다.
• 외적 타당도(external validity): 어떤 실험설계를 따랐을 때 처치(원인)로 인하여 나타나는 처치의 효과(결과)가 다른 조건, 다른 환경, 다른 표본, 다른 맥락, 다른 문화 속에서도 여전히 나타날 것이라고 얼마나 장담할 수 있는가에 대한 개념이다. 다시 말해, 그 결과가 정말로 그 원인 때문이라는 주장을 일반화(generalize)할 수 있는 정도를 말한다.[8] 외적 타당도를 높이려면 가능한 한 많은 변인들을 개입시킬 필요가 있으며, 실험이 현실에 부합하도록 현장감을 최대한 부여해야 한다. 내적 타당도가 변인들을 최대한 통제해야 한다면, 외적 타당도는 변인들을 최대한 풀어놓아야 하므로, 이 둘을 동시에 만족시키는 단일 실험 사례는 사실상 존재하지 않는다.

5.1. 생태학적 타당도

6. 관련 문서

• 법칙론적 망
• 상관관계와 인과관계
• 심리검사
• 조작 점검
• 척도
• 측정
• 표준화
• 나무위키:편집지침 근거 신뢰성 순위

7. 둘러보기