2015.06.20 12:24
몇몇 분들이 지금 투표를 거쳐 수집될 지표의 신뢰성을 의심하고 계셔서 이야기를 시작해봅니다. 일단, 전수조사를 원하시는 분들에게는 그것이 너무나 어려운 일이란 것을 전해드리고 싶습니다. 국가에서도 전수조사라고 할 센세스는 대부분 5년에 한 번씩 국가사업으로 시행하며, 그와 흡사한 수치 수집인 총선과 대선도 긴 텀을 두고 진행됩니다. 그렇기에 전수조사를 할 여력이 있다는 것이 강력한 행정력을 의미하기도 하죠. 그렇기에 대부분의 조사에서는 표본 조사를 진행합니다.
한국 국민은 현재 약 5천만명이지만 한국 갤럽 조사에서는 대부분 1000명을 표본으로 뽑습니다. 중심극한정리에 따라 모집단이 대수일 경우 정규분포를 따른다는 가정 하에 신뢰도에 의미가 있는 것은 표본 수의 크기(또한 표본의 표준편차)이기 때문이죠. 듀게의 이용인원이 대수에 가까울수록 총원 수 대비 표본 수 비례가 커도 된다는 의미입니다. 대략적으로 말하자면 모집단의 평균이 가지런히 놓여 있을 것이기에, 표본집단의 수가 커질수록 모집단과 같은 형태로 가지런해질 것이란 가정이 가능하다는 거죠.
사실 제가 제일 처음 하려고 했던 것은, 이번 투표 결과를 검증하는 것이었습니다. 이런 식으로 진행하려고 했죠. 투표의 결과가 찬성 우세나 반대 우세가 어느 쪽으로 될 경우라도 그게 실제 모집단의 평균과 맞는지 0.05 유의수준 내에서 검증하려고 했습니다. 즉, 듀게 전체의 의견이 반대 수가 많은데 투표자 수가 부족하여 투표 수로는 찬성 수가 더 나와버린 가능성이 5% 이하가 되어야 한다는 거었죠. 그래서 영가설을 0.5로 두고, (즉 듀게 모집단의 찬성과 반대가 딱 5 : 5라고 가정하고) 그보다 크거나 적은게 맞는지 T-검정을 하려 했습니다. 그러나... 큰 결함이 있다는 것을 알게 됩니다.
이런 검증이 가능하려면 표본의 추출 방법이, "무작위 추출"이어야 한다는 겁니다. 즉, 투표하는 사람들이 듀게 총원에서 작위적이지 않은 방식으로 뽑혀야 된다는 겁니다. (애초에 결과가 명목 척도인데다 0과 1로 비교를 해야 한다는 문제점도 당연히 있습니다만...) 그리고 큰 충격을 받았습니다. 사실상 투표라는 것은 통계적으로 모집단을 대표하는지 검증하는게 불가능하다는 겁니다. (모집단 평균을 파악할만큼 뽑았을 때야 가능하지만 그건 통계보다는 산수라고 할 수 있겠죠.) 예컨대 듀게에서 통계적으로 유의미한 특정한 안건에 대한 의견 파악을 하려면 모집단에서 무작위 추출을 하여 대답을 듣는게 더 검증가능한 방법이라는 거죠. (참고로 이야기 해드리자면 듀게의 모집단을 2만명으로 잡았을 경우 신뢰수준 95% 신뢰구간 +-5%에 도달할 표본 수는 377명입니다.) (혹시나 해서 덧붙이는데 신뢰수준은 모집단의 평균에 대해 표본 집단의 평균을 믿을 수 있느냐의 문제이고 유의수준은 영가설의 1종 오류 가능성이기 때문에 서로 다릅니다. 즉, T-검증에는 377명이 필요조건이 아닙니다.)
그래서 드리고 싶은 말씀은 이것입니다. 투표 과정이라는 시스템은 구성원들의 명분을 모으는 기계일 뿐입니다. 또한 거기서 정해지는 특정한 임계점이나 대표성을 부여하여 받아들일 수 있는가 하는 여부도 개인의 신뢰에 달려 있습니다. 투표자가 무작위적일수록 더 신뢰할 수 있는 결과가 된다는 것입니다. 그렇기 때문에 찬반 양쪽 다, 특정한 흐름에 얽매이지 않고 (투표 결과의 신뢰도를 높히고 싶으시다면) 투표를 최대한 참여해주셨으면 바랍니다. (써놓고 보니 논리적으로 너무 당연한 말이 되는군요...)
P.S. 작위적 표본추출을 통계학에서는 비확률적 표본추출이라고 하는데, 이 자료는 정녕 빈도조사 외에는 분석에 아무런 쓸모가 없다는 이야기인지 제 실력이 미천하여 잘 모르겠습니다. 아무리 찾아봐도 쓸모없는 추출로 분석을 하는 방법에 대해서는 이야기가 전혀 없고 말이죠. 통계를 잘 아시는 분들의 고견 부탁드립니다.
P.S.2 비확률적 표본추출이라고 하더라도 T-검증은 해볼 생각입니다. 무작위 추출로 [가정]했을 때 유의확률은 확인해놓고 싶거든요.
P.S.3 오독할 여지가 있는 제목을 수정하였습니다. 논점이 흐려지게 되었다면 죄송합니다.
2015.06.20 12:48
2015.06.20 13:01
underground_ 좋은 모집단(연락 가능한 전화번호가 담긴 명단 등)을 가졌을 한국 갤럽 같은 경우도 응답률이 15%인걸 보면, 듀게의 응답률이 그보다 높을 수는 없을 것 같습니다. 응답률이 10%라고 가정하면 5000명에게 쪽지를 보내야 한다는거죠... 6월 16일 이후 로그인으로 응답자를 한정해버리면 그 기간 대에 로그인한 인원이 모집단이 되는데, 그 평균을 따져도 대표성이란 명분을 채울 수는 없을 것 같아요 ... 결국에 한다고 하면 전체에서 난수로 추출하는게 최고이긴 하지만, 그건 정말 견적 나오는 일/업무가 되버립니다 ㅠㅜ. 저도 그 결과를 쉽게 영수증 떼듯 땔 수 있으면 보고야 싶긴 한데, 그게 그렇게 되진 않죠...
2015.06.20 13:03
2015.06.20 13:15
영화처럼_ 그렇습니다. (표본이 무작위 추출되지 않는 한) 투표든 설문조사든 통계적 검증을 할 수 없습니다.
거칠게 말하면 377명이 [무작위 추출] 되있을 경우, 2만명 회원의 의견과 흡사할 확률이 95%라는 뜻입니다. 말씀하신대로 대표한다고 볼 수 있겠죠. (대표보다는 모집단과 흡사하게 추측, 이 가능할거란 말로 도망가고 싶지만요) (덧붙여 찬성과 반대가 50%일 거라는 가설을 두고 거기서 벗어났는가, 나지 않았는가를 계산해보는게 제가 하려했던 T-검증이죠. 찬성이 70%라고 나왔지만 모집단의 찬성이 50%이나 그보다 적을 가능성이 있을 투표였다가 되어버리면 기각해야 하니까요.)
사실상 국가 선거도 마찬가지라고 전해드리고 싶습니다. 정족수라는 것도 (통계와는 관련 없는) 자의적인 합의에 의한 것이며, 예를 들어 지난 총선 같은 경우에도 "투표하지 않은 남은 인원들이 문재인을 뽑았다면" 이란 가정 하에서는 다수결로는 부족한 투표가 되어버린다는 걸 말씀드리고 싶습니다.
2015.06.20 13:26
2015.06.20 13:22
"투표라는 시스템은 구성원들의 명분을 모으는 기계일 뿐이다."
재미있는 통찰입니다. 대선 총선에서도 랜덤하게 주민번호를 뽑아서 의견을 묻는 게 지금보다 더 정확한 결과가 나올 것 같네요. ㅎㅎ 좋은 글 잘 읽었습니다.
추가. 여기에도 비슷한 이야기가 있네요: http://www.wired.com/2012/05/st_essay_voting/
2015.06.20 13:31
침묵_ 심지어 대부분의 투표는 명목 척도(쉽게 말하자면 숫자가 아닌 수치)이기 때문에 원칙적으로는 평균 비교를 하면 안 됩니다. 모평균적 합의에 도달했다고 안심하는게 얼마나 기묘한 일인지 훨씬 더 깊게 느끼게 되었어요. 국가의 대부분은 실증적이기보단 실효적이기기 때문에 굴러가는게 맞나 봅니다.
2015.06.20 15:05
투표에 대해 대표성을 검증하는 건 이상한 일이라고 생각합니다. 듀게와 국가의 구분을 떠나서, 투표라는 건 모집단의 의견을 우회하여 추측하기 위해 행하는 일이 아니죠. 그냥 모집단이 참여하는 일입니다. 우리가 표본을 추출해서 투표권을 주는 게 아니잖아요?
검증해야할 것은 이 투표가 '안 내면 진 거 가위바위보'인 상황인지 아닌지에 대한 충분한 논의라고 생각하며, 이미 잘 진행되고 있다고 봅니다. 여기서 대표성 검증에 대한 이야기는 오히려 논점을 흐리게 하는 결과를 낼 것이라고 봅니다.
2015.06.20 15:51
대표성을 이야기하는건 이 투표가 모집단에 해당하는 모든 회원이 이 투표를 참여하지 않는다는 현실적인 한계 때문입니다. 더 엄밀히 말하면 이 투표를 인지하고 자의로 투표에 참여하지 않은 것인지, 투표를 인지하지 못해 참여하지 못한 것인지를 구분할 수 없다는거죠.
유효수에 대한 논의없이 투표를 진행하고 그 결과로 결론을 낸다는 방향으로 진행되는 지금 상황이 가위바위보를 강요하는 상황이고, 대표성을 갖기 위해서는 얼만큼의 투표수가 필요한가의 논의가 필요하다는 이야기입니다.
2015.06.20 16:41
이미 이 투표가 이중 삼중으로 돌다리를 두들기며 진행되고 있는 양상이며, 이대로라면 유효득표수에 대해서는 이번 투표가 종료된 후 반드시 논의가 이루어질 것으로 보입니다. 만약 이 투표를 중지하고 논의하겠다고 한다면, 어떻게 유효 득표수를 결정할 수 있을까요? 더 느리고 안정적으로 진행할 수 있는 방법이 있을까요? 유효득표수를 결정하기 위한 투표는 할 수 없잖아요.
2015.06.20 17:00
이미 시작된 투표를 중지하고 논의할 수는 없죠. 그래서 투표 시작을 늦추고 먼저 논의하길 바랐던 거고요.
논의가 이루어진다면 잔인한오후님이 제시해주신것 처럼 통계학적으로 의미가 있는 투표수를 고민해보고, 몇명 정도면 유효하다고 생각하는지 의견을 물어 정할 수 있겠죠. 그런데 댓글들을 보면 유효득표수에 대한 논의가 불필요하다고 생각하시는 분들도 있는것 같은데, 그 분들이 찬반이 결정된 상황에서 유효수에 대한 논의에 동의하실지 모르겠군요.
원칙적으로 투표가 이루어지기 전에 이러한 투표규칙들이 먼저 결정된 후에 진행되었어야 하는거죠. 하지만 지금 투표를 관리할 운영진이나 선관위가 없는 상황에서 자발적으로 수고하시겠다고 나서시는 분들께 과도한 부담을 드리기는 어려운 현실이기에 그냥 진행하고 있긴 하지만, 만일 운영진이 정상적으로 관리하는 카페에서 이렇게 투표가 진행된다면 전 강력하게 이의를 제기했을겁니다.
2015.06.20 15:17
Kaffesaurus_ 그렇네요. 제가 가설에 집착하다 익숙한 도구를 사용하려다보니 큰 실수를 했습니다. nominal은 한국어로는 명목 척도라고 불립니다. 정상적으로 굴린다면 카이제곱 정도나 뽑을 수 있을텐데 그걸로는 검증 자체가 힘들 것 같습니다.
행인B_ 진땀이 흐르네요 하하. 감사합니다 행인B님... (와락) 제가 이 글을 통해 전해드리고 싶었던 바는, 통계적으로는 투표의 대표성을 검증할 수 없고, 그 대표성에 대한 논의는 주관적인 합의에 의해서 이뤄진다는 거였습니다. 투표 자체의 의미가 있기 위해선 참여자 수가 많아야 한다는 이야기도 덧붙였구요. 대표성을 통계적으로 검증해보자할 의견이 논점을 흐리는 결과를 불러 일으키고 있다면 그만두도록 하겠습니다. 통계적 검측은 없을 겁니다.
저는 지금 결과에 도달할 수 있는 주관적(질적) 합의를 듀게에서 사람들이 탈력하지 않고 해낼 수 있을 것이라는 믿음이 사라진, 여유가 매우 없는 상태일지도 모릅니다. 제가 원하는 것은 현 투표 진행에 명분과 정통성에 이의를 제기하시는 분들이 (또는 분들까지도 받아들일 수 있을만한) 속 시원할 어떤 대안이나 결과를 제시해 주는 것입니다. 여유있게 다른 분들이 논의를 해주시면 감사하겠습니다, 정말로요.
2015.06.20 15:43
"주관적(질적) 합의를 듀게에서 사람들이 탈력하지 않고 해낼 수 있을 것이라는 믿음이 사라진, 여유가 매우 없는 상태"에 대해 다르게 생각합니다. 저도 여기 들어오기 시작한지는 좀 되는 편인데 그런 여유가 있었던 상태는 제 기억에 한 번도 없었고 구성원들이 주관적 합의를 할 수 있는 상황이라는 게 돌려 생각하면 좀 이상한 거 아닌가요? 오히려 어떤 사안에 있어서 꼭 딴 소리 하는 회원이 있었고 (그게 저일 때도 있었겠죠) 그게 인터넷 게시판입니다.
지금 공지사항에 있는 투표를 여론조사에 빗대어 그 대표성을 의심하는 데에도 저는 다르게 생각합니다. 제가 볼 땐 투표를 통한 합의가 너무 느슨해서 굳이 따지자면 서명운동에 가깝단 생각입니다. 즉 이 상황을 문제로 여기고 있는 사람이 이 정도나 있다는 것을 가시화하는 의미는 충분하다고 생각합니다. "통계적 검증: 불가능" 이렇게 제목에 박아두셨는데 제 대답은 그래서 어쩌라고, 입니다.
2015.06.20 16:03
loving_rabbit_ 음... 제 의도가 더 어긋나고 있는 것 같습니다만, 제가 활용할 수 있는 특정한 원리원칙적 도구로 단순한 대답을 이끌어내려고 해보았으나 그게 불가능했다. 그래서 그걸 정하는 것은 객관적인 방도로는 안 되고 주관적인 합의에 의해서만 가능하다, 그런 말입니다. 그저 검증이라고 제목을 끝내면 뭔가 결과를 이끌어 낸 것처럼 보여서 고쳤습니다. 통계적 검증 : 불가능이 아니라 통계적 검증 : 불가능을 의도했습니다.
사실 loving_rabbit님의 대댓글이 제게 의도하시는 바가 무엇인지 모르겠습니다. 정말 그래서 어쩌라고, 인가요. 제 의견은 객관적인 임계점을 얻기 힘드니 주관적인 임계점을 논의하여 합의하기 위해 글을 써달라 그런 이야기입니다. 그리고 듀게가 그런 상태가 아니라 제가 여유가 없어서 조급한 마음으로 썼다는 겁니다. (저는 - 여유가 없는 상태입니다, ~ 라고 믿는.) 단순하게 표본 수만 가지고 묻겠습니다. loving_rabbit님은 그럼 최소 몇 명이 투표를 해야 서명 이상의 의미를 가지는 표본이 되겠습니까?
2015.06.20 16:09
잔인한 오후님의 이 논의를 폄훼할 의도는 없지만 저는 최소 몇 명이 투표를 해야 서명 이상의 의미를 가지는 표본이 되는지 관심도 없고 생업에 바빠서 거기까지 고민할 여유가 없습니다. 아 그것보다 근본적인 문제는 제가 통계학 배경지식이 전혀 없다는 점이 되겠군요. 'ㅅ'; 그래서 쓴 그래서 어쩌라고, 입니다만 다시 생각해보니 좀 무례하다는 느낌이 드네요. 죄송합니다. 다만 제가 하고 싶었던 얘긴 통계적 대표성을 갖지 못해도 이 시도와 의사표시만으로도 충분한 의미가 있다는 겁니다.
2015.06.20 16:17
loving_rabbit_ 이 글의 결론은 통계적 검증이 무의미하기 때문에 다수가 납득 가능하면 투표는 기능한다, 는 뜻입니다. 즉 다수를 납득 가능하게 이야기를 하여 투표에 명분이 부여되면 그 자체가 의미가 있다는 뜻입니다. (즉, loving_rabbit님 댓글의 마지막 문단과 제 글의 본문은 완전히 일치합니다.) 그런 의견취합은 loving_rabbit님이 평소에 쓰시는 글을 미뤄보면 저보다 뛰어날 거라고 생각합니다. 정말로 의미없는 논란을 만들게 된 점 사과드립니다.
2015.06.20 16:19
제가 죄송하게 왜 그러세요. 게시판에서 어떤 문제가 논의되기 시작하면 그걸 전문가분들이 꼼꼼하게 적어주시는 게 이곳의 매력이라고 생각하고 있습니다. 지금 글 올리신 것처럼요. 이 "투표"는 그런 글쓰기를 좀더 서로를 존중하는 방식으로 하자는 문제제기라고 생각하고 있습니다. 잠시 흥분한 것 다시 사과드려요. 결론에 대한 설명도 감사드립니다.
2015.06.20 17:47
투표에 있어 민주적 정당성은 원칙적으로 "모집단 과반수 투표에 투표자 과반수 찬성"
으로 획득된다고 말합니다.
허나 이는 현대 사회에서 굉장히 터프한 조건입니다.
하루 하루가 피곤해 죽겠는 사람들 내지는 삶에 의미를 찾지 못해 방황하는 존재들에게
이러한 조건은 불가능하다고 보는 것이 맞을 것입니다.
그리하여 통상 모집단 전부에게 공지가 되었다면 설령 투표에 참여하지 않더라도
그가 투표에 참여하지 않은 것도 그의 의사로 간주하여, 즉
득표율을 상대적으로 평가하여 민주적 정당성을 부여하는 쪽으로 조건을 완화하고 있습니다.
따라서 회원전체가 볼 수 있도록 공지를 일정기간 하였다면 그것으로 충분하다고 봅니다.
(물론 회원 개개인에게 모두 개인메일을 보내면 좋겠지만
애당초 관심없는 허수회원들에겐 의미 없는 일일테니 게시판 공지로도 족한 것입니다)
2015.06.20 18:08
이런 내용에 대한 논의가 사전에 있었어야 한다고 생각했던겁니다. 투표를 강행한 후 그에 대한 당위성을 부연설명하는 방식이 아니라요.
내용에 대한 의견은, 공지만으로는 충분하지 않다고 생각합니다. 말씀하신 공지도 일반적으로 어떤 내용에 대해 투표가 있다는 것을 숙지할 수 있도록 보통 1주일정도 기간을 두고 공지를 하게 됩니다. 이번처럼 '지금부터 투표합니다'라는 투표게시물과는 다른 성격이죠.
이번 논란은 13일에 처음 시작되었고, 15일에 듀나님이 의견을 밝히셨습니다. 그리고 16~17일 난상토론을 거쳐 18일 연어님의 투표여부를 묻는 투표가 공지되었고, 연이어 19일 욕설제재 찬성여부를 묻는 투표가 공지되었습니다.
무척 급박한 진행이고, 논의가 격렬하긴 했지만 충분히 숙고할 시간이 있었는지 우려하게 되네요.
번호 | 제목 | 글쓴이 | 날짜 | 조회 수 |
---|---|---|---|---|
공지 | 제 트위터 부계입니다. [3] | DJUNA | 2023.04.01 | 24790 |
공지 | [공지] 게시판 관리 원칙. | 엔시블 | 2019.12.31 | 43352 |
공지 | [공지] 게시판 규칙, FAQ, 기타등등 | DJUNA | 2013.01.31 | 351693 |
투표와는 별도로 듀게 여론조사를 한 번 해보는 것도 (실현가능하다면) 흥미로울 것 같긴 해요.
회원들 중 최근 로그인 날짜가 논의가 시작된 6월 16일 이후인 사람들 중에서 랜덤하게 500명쯤 뽑고
쪽지를 보내 제재 조치에 어떻게 생각하는지 찬반으로 답을 해달라고 하는 거죠.
요즘엔 쪽지도 알림창이 떠서 로그인한 상태라면 금방 확인할 수 있으니...
(뭐 여론조사로 투표를 대신하자는 건 아닌데... 좀 궁금하긴 해요. ^^)
그런데 막상 저한테 그런 쪽지가 온다면 뭐라고 답할지 제 맘도 정해지지 않아서 이게 더 문제죠. ^^
부동층이라고 답해야겠어요.