설문조사의 신뢰도 vs 타당도

 

설문조사의 신뢰도 (Reliability) vs 타당도(Validity)

설문조사 결과를 어디까지 믿어야 할까? 설문조사는 과연 정확한 걸까 ? 
어떤 이는 설문조사가 '과학'이라고 우기고, 또 어떤 이는 '엉터리'라 주장한다.

누가 나에게 일반적으로 말해서 설문조사를 믿어야 하는지, 설문결과는 정확한 것인지 묻는다면 나는 그에 대한 답을 줄 수가 없다. 구체적인 특정 조사에 대해 설문지와 조사프로세스에 대한 정보를 제공한다면 그에 대해 이 조사결과는 믿을 수 있다, 없다라는 도움말을 줄 수 있을지는 모르겠다. 

문제(?) 부터 좀 풀어보고 시작해 보자. 

Question 1) 아래 A,B,C,D 4개의 그림은 동일한 조사를 반복적으로 실행하여 조사결과를 Scatter 차트로 표시한 것이라고 하자 4개의 그림 중에서 가장 신뢰도(Reliability)가 높은 조사는 무엇일까 ?

Question2) 아래 A,B,C,D 4개의 그림 중에서 가장 정확한 조사는 무엇일까 ?

 

Question1)에 대한 답 즉 신뢰도가 높은 것은 A와 C이다.
Question2)에 대한 답 즉 정확도(타탕도)가 높은 것은 C와 D이다.

우리는 신문, 방송을 통해 조사의 "신뢰도 수준 95%에서 표본오차 가 +/- bla bla bla어쩌구 저쩌구…" 하는 소리를 자주 듣는다. 설문조사에서 신뢰도(Reliability)라는 말은 일반인들이 생각하듯 조사의 정확성을 의미하지 않는다. 

그럼 설문조사에서 신뢰도란 뭘까 ? 

대통령선거조사를 예를 들어보자. 어떤 조사에서 ' A라는 후보가 35%, B라는 후보가 40%의 지지를 얻고 있는 것으로 나타났다'는 신문기사가 있다고 가정해 보자. 1500명을 대상으로 조사를 해서 표본오차가 +/- 2.5%라고 한다면 A후보는 32.5% ~37.5%의 지지율을 얻고 있다고 추정할 수 있고, B후보는 37.5%~42.5%의 지지율을 얻고 있다고 추정할 수 있을 것이다. 조사결과만 놓고 보면 B후보가 이기는 것이 맞다. 그러나 현실적으로 우린 그 반대 현상을 가끔 즐기곤(?) 한다. 왜 그럴까? 

그것은 조사의 신뢰도(Reliability)가 참값(True value)을 의미하는 것이 아니기 때문이다. 신뢰도는 단지 동일한 조사를 반복적으로 진행할 경우 표본오차 범위내의 결과치가 나올 수 있는 가능성을 의미한다. 신뢰도 95% 수준이란 100번을 조사할 경우 표본오차내의 결과가 나올 횟수가 95번이라는 의미일 뿐이지, 참값일 가능성이 95%라는 애기가 아니다.

예를 들어 위의 그림 A, C에서 보듯 2가지 경우 모두 신뢰도가 높은 결과를 보여주고 있지만 A는 참값에서 다소 떨어져 있다. 동일한 조사를 반복해서 한다고 해도 표본오차범위내의 조사결과를 얻을 확률이 높지만 정확한 조사는 아닌 것이다. 

왜 이런 결과가 나타날까 ?

그 것은 설문지 구조상의 문제일 수도 있고, 면접원의 편향된 조사방법 때문일 수 있고, 응답표본구성이 잘 못된 것일 수 있다. 설문조사 프로세스가 원칙을 지키는 일관성을 갖지 못할 경우 조사결과는 반복적으로 편향된 결과를 가져올 수도 있다. 

반면 조사의 타당도(Validity)는 조사결과가 참값에 얼마나 가까운지를 보여주는 정확도를 의미한다.

그러나 조사의 타당도는 현실적으로 선거의 투표결과 처럼 현실적인 참값이 있는 경우를 제외하고는 참값이 무엇인지 알 수 있는 방법이 없다. 전수조사를 실시하는 것이 참값을 알수 있는 방법이긴 하지만 이는 현실적으로 시간이나 비용을 고려하면 불가능에 가깝다. 

참값(True value)은 진실(Truth)을 의미하고, 정의(Justice)를 상징한다. 선거를 제외한 아주 특별한 경우를 제외하곤 참값을 알 수 있는 방법이 없으니 차선책으로 설문조사결과를 믿는 도리밖에 달리 방법이 없어 보인다. 

피할 수 없으면 즐기라 했던가?

참값을 모르니 조사결과를 즐길 수(?) 밖에 없어 보이지만, 몇 가지 간단한 내용만 확인해도 언론이나 프로퍼겐다에 휘둘리지 않을 수 있다. 그 중 가장 의미있는 것 중의 하나는 설문내용을 확인하는 것이다. 

설문조사에서는 설문내용의 구성이 차지하는 비중이 매우 높다. '아' 다르고 '어' 다르다는 우리말. 설문을 구성함에 있어 정확하게 어떤 내용을 어떻게 질문했는지 확인한다면 조사결과의 가치를 나름 추정해 볼 수 있다. 많은 언론에서 조사발표 규정상 조사기관, 표본수,면접기간, 표본오차 등은 공개하지만 설문지를 공개하는 경우는 많지 않다. 마케팅조사의 경우 사기업의 마케팅활동에 관한 내용이 많아 공개가 어려울 수 있지만 사회조사의 경우, 특히 선거조사의 경우, 정확한 조사라고 우기기 보다는 설문지를 공개하는 것 자체로 조사결과에 대한 믿음이 더 높을 수 있다. 적어도 개인적으로는 그렇다. 

또 다른 관전포인트(?)는 표본구성 및 응답율이다. 많은 보도자료에서 "무작위표본추출" 방법 운운하지만, 대부분의 경우 성별, 연령별, 지역별 인구비례할당 표본추출에 유사하다. 설령 무작위표본추출로 선정된 응답자라 하더라도 참여율이 50%를 넘지 못해 대부분이 대체면접으로 이루어졌다면 엄격한 의미에서 소위 Random sample은 붕괴된 것이나 다름없다. 

신뢰도와 타당도가 높은 조사를 수행한다는 것은 참값을 찾아내는데 대한 사회적 비용을 줄이는 길이기도 하다. 언론이나 조사회사에서 발표하는 많은 조사결과들이 의구심 없이 받아들여질 수 있는 그날이 오기를 희망한다.