piątek, 14 czerwca 2013

Rzecz o sondażach

Przydałby się nowy post, więc go piszę. Do napisania go zainspirowały mnie wyniki ostatnich sondaży wyborczych. Obserwując je, jednoznacznie w sondażach wygrywa PiS, z różnym poparciem procentowym. Dla jednych to powód do wielkiej radości, a dla innych - do niepokoju. Starając się obiektywnie zachować swój głos (nie chcę, by mój blog był polityczny), postaram się wytłumaczyć, dlaczego do takich wiadomości w każdym przypadku należy podchodzić sceptycznie.

W innym poście pisałam o tym, jak podchodzić sceptycznie do wszelkich takich informacji, które mogą być pseudonaukowe. Tutaj zaś postaram się wyjaśnić na kilku przykładach, jak podchodzić sceptycznie do informacji o sondażach.

Pierwszym przykładem będzie sondaż firmy Millward Brown. Nie pamiętam, gdzie dokładnie natrafiłam na tę informację, ale generalnie można o tym poczytać m.in. na stronie Newsweeka. Przy takich informacjach, pierwszą rzeczą, jaką szukam jest wzmianka o metodzie i próbie. Tu mam krótką wzmiankę na ten temat:

Grafika ze strony Newsweeka, źródło obrazka: http://polska.newsweek.pl/sondaz--newsweeka---przewaga-pis-nad-po-rosnie--ale-polacy-i-tak-nie-maja-na-kogo-glosowac--,zoom,104891.html


I pierwsza rzecz, która już powinna niepokoić - informacja o próbie. "Reprezentatywna grupa 420 Polaków". Przykro mówić, ale to nie jest reprezentatywna grupa, a wynika to z prostej statystycznej zasady rozkładu normalnego. Im większa próba, tym wyniki można bardziej generalizować, bo zbliżają się one do idealnych wzorów matematycznych. Dla Polski za próbę reprezentatywną (czyli na kraj zamieszkujący 38 mln ludzi) przyjmuje się, że próba taka to ponad 1000 osób. Z kolei w Niemczech, które mają 80 mln mieszkańców ta próba to już 2000 ludzi. I tak dalej. Cenię Millward Brown, ale tylko jako firmę prowadzącą badania marketingowe. Innym niepokojącym faktem jest to, że nie ma słowa o metodzie, choć w innym tekście znalazłam wzmiankę, że była to metoda telefoniczna bodajże.

I tu kolejny przykład. Na Wirtualnej Polsce mieliśmy ostatnio przedstawione wyniki sondażu przeprowadzonego przez Instytut Homo Homini. Tu wzmianka o metodzie i próbie jest dłuższa:

Sondaż dla Wirtualnej Polski został przeprowadzony 11 czerwca. Zrealizował go Instytut Badania Opinii Homo Homini. Badanie preferencji politycznych prowadzone jest metodą telefonicznych, standaryzowanych wywiadów kwestionariuszowych wspomaganych komputerowo (CATI - Computer Aided Telephone Interview) na probie losowo-kwotowej stanowiącej liczebną reprezentację cech demograficznych dla ogółu pełnoletnich mieszkańców Polski z zachowaniem rozkładów terytorialnych (dane wg GUS). Wielkość próby to przynajmniej 1067 jednostek w jednym pomiarze. 

I próba wydaje się tu w porządku, lecz dobór metody nie jest zbyt trafny. Sondaż telefoniczny polega na tym, że ankieterzy, podobnie jak telemarketerzy, siedzą sobie w pomieszczeniu i mają listę numerów telefonicznych, do których muszą zadzwonić z pytaniami, na kogo pan/i by zagłosował/a, itd. Nie ma wzmianki o tym, czy chodzi tu o numery telefonów komórkowych czy stacjonarnych. Jednakże chyba każdy miał podobne doświadczenia, że od razu dziękował telemarketerowi, który nawet nie zdążył wypowiedzieć formułki. Tutaj próba może i jest reprezentatywna, ale jaka jest pewność, że wiesz, do kogo tak naprawdę dzwonisz? Ludzie młodzi rzadko dzisiaj posiadają telefony stacjonarne. A z komórkami jest różnie. No i nawet mieliśmy ten przypadek omawiany na zajęciach, że często jest tak, że telefonicznie ludzie mówią na odczepnego, na kogo zagłosują. Tak więc ta metoda nie jest zbyt trafna. Dodatkowym faktem przeciwko temu sondażowi jest to, że Homo Homini jest firmą, o której niewiele wiadomo - nie udostępnia swoich metod badawczych (przy jednym sondażu wyszło dużo błędów) i nie są zrzeszeni w OFBOR (Organizacji Firm Badania Opinii i Rynku). 

Ostatnim przykładem będzie CBOS, a raczej manipulacja informacją, jaką podał. Nie mogłam znaleźć samego komunikatu - pewnie jest dość świeży, więc treść będzie dostępna po jakimś czasie. Ale udostępnili ją mediom, a media, jak to media, przedstawiają wiadomość w zależności od tego, jakie wartości wyznają. Tak więc na niezaleznej czytamy:

Gdyby wybory parlamentarne odbyły się w połowie czerwca, na PiS zagłosowałoby 27 proc. ankietowanych, a na PO - 23 proc. - wynika z najnowszego sondażu CBOS. Do Sejmu weszłyby jeszcze tylko dwie partie: SLD - z 9-proc. poparciem i PSL z 6-proc. wynikiem. (...) Poniżej 5-procentowego progu wyborczego znalazłyby się: Ruch Palikota (3 proc.), Solidarna Polska (2 proc.), Nowa Prawica (2 proc.) i PJN (1 proc.).

I o co chodzi? Na pewno nie o krytykę CBOS, który ma dopracowane metody, a ich próby są reprezentatywne, ale o pominięcie dość istotnego faktu. Wystarczy spojrzeć na procenty i policzyć. Łącznie głos na jakąkolwiek partię oddałoby 73% badanych. A co z pozostałymi 27%? To dość spora suma, więc nie można mówić o błędzie statystycznym czy braku danych. Póki nie znam treści komunikatu, mogę tylko strzelać, że zapewne ci respondenci udzielili odpowiedzi w stylu "Nie mam na kogo zagłosować". Dlaczego więc nie ma o tym wzmianki? To zbyt duża liczba, żeby ją tak sobie pominąć. Zwłaszcza, że jest równa z wygrywającym PiSem. 

Nie mnie oceniać, czy to dobrze, czy źle. Jedynie co mogę powiedzieć, to fakt, że trzeba podchodzić do badania zawsze z dużym dystansem i krytycyzmem. Poza tym opinie zawsze się zmieniają, w zależności od tego, co się dzieje, co podają nam media, itd. Tak więc trzeba pamiętać, że wybory mogą się zawsze liczyć z niespodzianką, a sondaże o niczym nie przesądzają.