사람들의 다양한 의견을 객관화 하고 정량화시키는 여러가지 방법들 중 설문조사기법은 굉장히 유용하고 실제적인 데이터를 조사자에게 전달해 준다. 하지만, 굉장히 유용하고 실제적인 설문조사 결과를 얻기 위해서는 처음 시작부터 세심한 주의를 기울여야 하며, 교과서에 나와있는 많은 주의사항 중 하나라도 소홀히 할 경우, 설문조사를 위해 들인 노력을 순식간에 물거품으로 만든다.
전문적인 설문조사 방법론을 적용한 설문조사들은 처음 계획단계에서 부터 세심한 주의를 기울였기 때문에 그러한 일들이 적을테지만, 주변-게임 업계에서 지켜본 경험에 의하면 대부분은 설문조사 방법론과 관련한 교육을 제대로 이수 받지 못한 사람들에 의해 계획 – 실행 – 결과가 분석 되어지고 때문에 조사 방법론 상에 문제가 있는 결과들이 무비판적으로 받아들여지고 있다. 통계학이라는 것이 연구자의 최종 판단에 그 결과가 상이하게 나오는 학문이란 점을 고려한다면, 이러한 조사 방식은 기업 운영에 있어서 상당한 위험으로 작용할 수 있다-보통 이러한 조사 결과들은 의사결정에 중요한 영향을 미치곤 하기 때문이다.
때문에, 설문조사 방법론을 시행하는데 있어서 접근은 신중하게 되어야 함에도 불구하고, 많은 기업들이 이를 단순하게 여기고 너무도 많은 설문지들을 남발한다. 사실상 조사라기 보다는 ‘이벤트’에 가까운 설문 조사를 시행하는 경우가 있는가 하면, 애초에 조사 목표를 정확하게 잡지 않은 상태에서 소모성 조사를 수행한다던가, 조사 계획을 면밀히 검토하지 않은 체 결과를 불신하는 행태를 보인다. 가장 황당한 경우는 결과 발표 단계에서 ‘설문조사는 원래 믿을만한게 못 되기 때문에 그 결과 역시 믿을 수 없다’라는 식의 주장인데, 사실 그런 사람에게는 이렇게 쏘아붙여주고 싶다. ‘그럼 애초에 하지 말던가.’
설문조사를 시작하기 전에, 조사 목표를 잡고, 가설을 설정하고, 이에 따른 설문지를 제작하고 표본을 선정하는 과정은 그렇게 단순하지 않다. 사실 어느 하나라도 잘못된 방법으로 조사를 진행하게 되면, 마지막에 조사결과에 미치는 파급력은 어마어마해진다. ‘내일 정도에 우리 게임에 대한 설문조사를 해 보는게 어때?’라는 말에는 이러한 과정들이 싸그리 무시 된 체 ‘심심한데 우리 이벤트 한번 벌여 보는게 어때?’라고 이야기 하는 것과 같다.
위와 같은 위험한 발언들이 중간 관리자나 최고 경영자에게서 나오는 이유는 설문조사기법이 대단히 친숙하고 대중적인 기법이라는데 있다. 사실 설문조사기법에 대한 세부 사항을 모르는 사람들이라도 ‘그거 그냥 대충 설문지 만들어서 수치 나온것 정리하면 끝나는 것 아닌가요?’라는 생각을 가지고 있을 정도로 설문조사기법에 대해 ‘알고 있다고 자부하는 사람’은 도처에 널렸다. 마치 군대에 다녀오지 않은 사람이 군대에 다녀온 사람들의 경험담만을 듣고는 군대에 대해서 마치 잘 알고 있는 것 처럼 이야기하는 것과 비슷하다.
주먹구구식으로 이루어지는 설문조사는 거의 대부분은 쓸모없는 결과를 내뱉는다(조금 큰 회사의 마케팅 부서가 항상 욕을 먹는 이유이기도 하다). 대부분은 조사 목표가 잘못 선정되었거나, 조사 목적이 불확실하거나, 제대로 된 표본 선정에 실패했다던가, 설문지를 엉망으로 제작했다던가(명목 척도와 주관식으로 도배된 설문지 같은), 아니면 하나부터 열까지 다 잘못되었다던가 해서 벌어지는 일이다. 그냥 이벤트로써 끝나면 해프닝으로 웃어넘길 수 있지만, 대부분은 뭐가 잘못되었는지 혹은 무슨 위험이 있는지 조차 알지도 못한 체 해당 조사 결과를 바탕으로 의사 결정을 내리기 시작하면 더 이상은 농담이 될 수 없다.
설문조사기법을 통하여 나온 결과를 쓰레기로 만들고 싶지 않다면 우선 설문조사기법에 대해서 충실하게 배워라-도저히 그게 안되겠다면 해당 업무를 충실하게 수행 할 수 있는 사람에게 전권을 위임하고 그가 하는 말을 귀담아 들어야 한다. 최소한의 통계학 서적도 평생 뒤져보지도 못한 사람이 ‘설문조사 그까이꺼’라는 생각을 가지고 일을 시작하는 것 부터 이미 단추는 잘못 채워졌다.