[온라인설문조사시스템] SurveyASP의 기능들 (2)

 

[온라인설문조사] 설문조사시스템 SurveyASP로 무엇을 할수 있을까? (2)

2	온라인설문조사 Quality control  기능 설정

온라인설문을 제작한 후 메일발송을 통해 조사를 진행할 경우 메일발송 버튼을 클릭하면서 모든 설문조사 준비는 끝이나고 본격적으로 데이터가 수집되기 시작합니다. 메일발송을 하는 순간은 마치 '역사의 강을 건너는' 것과 같지요. 온라인조사에서는 메일발송 시점부터 온라인설문은 더 이상 조사진행자 개인만의 일이 아닌 것이 됩니다. 사소한 오타나 문구 수정 정도야 가능하겠지만 회사명 또는 브랜드, 아니면 선거조사에서 빠진 후보자가 있다면 그 조사의 응답데이터는 사용할 없는 지경에 이르게 됩니다. 적어도 수정이전에 응답한 사람들의 데이터는 사용할 수 없게 됩니다. 이제 설문이 반복적 테스트를 통해 완성도 높은 설문이 구성되었다고 가정해 봅니다 그 다음에 또 할 일들이 있습니다. 온라인조사에서는 오프라인조사에서 처럼 면접원이 데이터수집과정을 통제할 수가 없습니다. 따라서 Quality data 수집을 위해서는 여러가지 발생가능한 상황에 대비한 기능이나 사후관리를 위한 조건을 설정해 주어야 합니다.

●  설문종료조건 설정

'온라인조사는 빠르다' 라는 것이 일반적인 인식입니다. 이에 부응하기 위해 일부 회사에서는 24 Hour service를 장점으로 내세우기도 합니다. 충분한 응답자패널 DB를 가지고 있다면 24시간 아니라 1-2시간만에 끝날수도 있겠지요. 그러나 데이터수집 속도가 의미를 가지기 위해서는 Data quality가 유지되어야 한다는 전제조건이 붙습니다. 온라인조사가 빠르다는 것은 항상 사실은 아니지만 온라인조사의 장점인 것은 분명합니다. 개인적으로는 온라인조사의 '속도' 보다는 Data qaulity에 더 많은 관심과 비중을 두고 있습니다. 

 온라인조사를 셋팅할 때는 설문종료 조건을 설정해 주어야합니다. 대부분의 경우 응답표본수가 일정수가 되면 설문을 종료하는 적이 일반적입니다. 이 설정을 하지 않을 경우 '빠른' 응답자들에 의해 표본수가 초과하게 되어 over-sampling이 되면 응답자경품이나 사례 등 사후관리에 문제가 생길 수 있습니다. 일부 조사회사에서는 이런 사후관리 문제 떄문에 응답자수에 상관없이 경품을 정해 놓고 조사를 진행하는 경우가 많습니다. ('추첨 ○○명 ●●경품지급' 이런 식입니다) 이런 방법은 바람직하지는 않지만 oversampling에 대한 현실적인 대안일 수는 있습니다. 또 다른 설문종료조건은 날자를 기준으로 하는 것입니다. '○월 ○일 몇시까지' 뭐 이런 식입니다. 조사마감시간을 정해놓고 그때까지 조사를 진행하는 것입니다.

 SurveyASP에서는 표본수와 날자 2가지 모두를 설문종료조건으로 설정할 수 있습니다. 2가지 조건 중 어느 하나의 조건이 먼저 충족되면 설문조사는 종료됩니다. 

●  표본할당 (Quota) 설정

재미삼아 불특정 다수를 대상으로 심심풀이로 조사를 진행하는 것이 아니라면 온라인조사에서 표본할당통제(Quota control) 기능은 대단히 중요한 기능합니다. 조사회사에서 무작위표본추출(Random sampling)로 조사했다고 하면 저는 그말을 믿지 않습니다. 대부분의 표본추출은 Random 방식에서 출발했다가 결국 할당표본추출로 도착하게 되는 경우가 많습니다.(얘기가 딴데로 흐르네...)

표본할당은 선거조사를 예를 들면, 대한민국 유권자 모집단(Popluation)의 성별이 남자 55%, 여성 45%라고 하면 100명을 조사할 경우 사전에 남자 55명, 여자 45명으로 표본을 세팅한 후 조사를 진행해야 합니다. 그래야 표본비율을 모집단 비율에 맞춰 조사결과을 기반으로 모집단에 대해 추정을 할 수 있습니다. 마케팅조사에서도 시장상황을 반영한 할당표본방법이 일반적으로 사용됩니다. 이러한 표본통제 기능이 없을 경우 온라인조사결과는 과다하게 응답한 집단의 의견에 대한 비중이 높아져 왜곡된 조사결과를 가져오게 됩니다

위의 그림은 SurveyASP를 통해 성별(2그룹), 연령별(5그룹) 질문을 할당변수로 설정하여 Quota Table을 구성한 예입니다. 조사를 시작하기 전에 Allowed에 표본을 할당한 후 조사를 진행하면 Join 컬럼에 각 셀(Cell)의 조건에 해당하는 응답자수가 자동표시됩니다. 그리고 Strict에 체크하면 Quota를 엄격하게 적용해서 해당표본이 채워지면 그 셀에 해당하는 사람은 더이상 설문참여를 할 수 없게 됩니다. SurveyASP는 Quota control 기능를 조사전, 조사중에도 수정 설정할 수 있습니다.

대부분의 조사시스템은 Quota Control을 지원할 것으로 생각됩니다. 만약 심심풀이 조사가 아니라 업무상 중요한 조사를 한다면 Quota control이 없는 조사시스템은 피해야 합니다. 앞에서 온라인조사는 '속도가 빠르다'고 했습니다. 메일 발송전에 이 기능을 설정해 놓지 않으면 표본수가 작을 경우 금방 oversampling이 될 수도 있답니다. 거짓말 조금 보태면 Quota 설정 않고 메일발송 후 화장실에 다녀와서 보면 20대 전후의 Young 파워(?)가 표본수를 다 채워 조사가 종료될 수 도 있습니다 ㅎㅎ  

●  응답자정보 확인 및 기록

온라인설문제작 후 메일발송 준비를 합니다. 이때 메일발송을  스팸발송하듯 Sampling 없이 하면 안됩니다. 이건 상식이죠. 메일수신자가 설문에 참여할 경우 응답자에 대한 정보를 확인해야 합니다. 온라인설문에는 없는 응답자정보를 확인할 수 있어야 합니다. 이를 위해서는 개인화된 설문안내메일(Personalized Survey Invitation Mail)을 발송하든지, 회원인증을 거치게 하든지 해야 합니다. 그래야 설문참여 기록을 보관할 수 있고 이를 기초로 응답사례를 제공할 수 있습니다.

SurveyASP는 설문안내메일 발송시 회원이름, 고유번호, 이메일 기타 응답자를 확인할 수 있는 정보를 설문링크 또는 설문안내메일 포함시켜 메일링을 할 수 있습니다. 응답자가 누구인지 확인하고 기록을 남겨두는 것은 응답자에 대한 정보가 목적이 아니라 설문참여에 대한 정당한 댓가를 지불하고 패널회원의 경우 설문참여도를 체크하기 위해서도 필요한 일입니다. 이러한 누적경험치가 쌓이게 되면 1000명을 조사하는데 몇배수의 메일을 발송해야 하는지 합리적인 예측이 가능합니다. 그리고 경품이나 응답사례를 목적으로 불성실 응답데이터를 반복적으로 제공한 경우 향후 메일발송대상에서 제외시킬 수도 있습니다.  

●  온라인설문조사의 텔러리스트 '중복응답자' 를 막아라

온라인설문조사를 진행하면서 중복응답에 대한 최소한의 대비책이 없으면 응답데이터는 소위 '떡' 이 되어 버리는 경우가 가끔 있습니다. 그렇다고 그들을 100% 막아내기도 어렵습니다. 특히 경품을 내걸거나 응답사례를 '짭짤하게' 지급하는 조사에서 '중복응답의 달인'을 접하는 경우도 있습니다. 이들을 막기위한 대책을 심하게 세우면 선량한 설문참여자들이 피해를 볼 수도 있고 조사주체에 대한 신뢰도 떨어질 수 있습니다. 개인적으로는 이들을 100% 막는 것은 어려운 일이라 생각하고 있습니다. 특히 특정집단의 표본수가 적어 외부 표본제공 사이트를 이용할 경우 중복응답 프로선수들에 대한 감시에 신경을 써야합니다.

SurveyASP에서 중복응답방지를 위해 아래 제시된 방법 중 하나 또는 중복설정을 통해 중복참여를 제어할수 있습니다

회원고유번호: 패널회원의 경우 회원고유번호를 통해 중복응답을 제어하도록 설정합니다 
 이메일인증 :  설문안내메일이 발송된 이메일을 기준으로 중복응답 제어합니다 
 쿠키의사용 :  응답자 PC에 쿠키를 사용하여 참여를 제한합니다 
주민번호활용 : 설정가능한 방법이간 하나 방통위의 권고에 따라 사용하지 않습니다 
설문리스트등록 : 조사별로 응답대상자 리스트를 등록한 후 등록리스트에 없을 경우 참여를 제한합니다 
 IP주소 : IP 주소를 기준으로 설문참여 제한

조사진행자가 자신이 보유하고 있는 리스트를 이용하여 조사를 진행할 경우는 위의 방법중 하나 또는 중복설정으로 나름대로 통제가 가능하지만 외부에 표본을 의뢰할 경우 응답자정보에 대한 접근이 차단되어 중복참여를 제어할 수단이 그리 많지 않습니다. 조사진행 중 중복참여 흔적이 발견될 경우 개인적으로는 IP주소를 이용한 통제방법을 선호합니다. 중복응답 방지기능 역시 조사전이나 진행중인 상태에서 설정을 수정할 수 있습니다.