Rzecz o sondażach - postscriptum i komentarz

Jeszcze raz napiszę o sondażach, bo dzisiaj, przeglądając stronę Gazety Wyborczej, trafiłam na bardzo ciekawy artykuł. Zabrzmię może dość wrednie, ale artykuł ten bardzo mnie ucieszył, bowiem potwierdził niejako moje poprzednie słowa na temat jednej firmy, a mianowicie firmy Homo Homini.

Chodzi jednak o inne badanie, niż te, które omawiałam ostatnio. Te było zrobione na zamówienie stowarzyszenia Republikanie. Było jednak tak nierzetelne, że niestety firma musiała się wytłumaczyć ze swoich błędów. 

A błędy były, jak czytamy w artykule, dość znaczne, m.in. pytania sugerujące w stylu: czy podatki w Polsce są za wysokie, czy ZUS jest organizacją drogą, nieefektywną, marnującą pieniądze, o pomyśle obniżenia podatków i zmniejszenia liczby urzędników. A zaraz po tym: Czy słyszał(a) Pan(i) o powstaniu nowego stowarzyszenia Republikanie założonego przez posła Przemysława Wiplera, którego programem jest: obniżenie podatków, ograniczenie obciążeń biurokratycznych, zmniejszenie liczby urzędników oraz wsparcie rodzin.

Oczywiście jest to poważny błąd przy robieniu jakiegokolwiek badania, o tym akurat nie wspomniałam w poprzedniej notce. Sugerujemy w ten sposób respondentowi konkretną odpowiedź. Dodatkowo prezes firmy dodaje, że każde pytanie kosztowało 800 zł. Dość mało. Dla porównania: jedno pytanie w CBOSie, które zawiera opcje odpowiedzi tylko "Tak" lub "Nie" kosztuje 1500 zł. 

Oczywiście firma pozostaje bezkarna, bo tak jak wspominałam, nie jest zrzeszona w OFBOR, więc nie ma nad nią kontroli. Dodatkowo ktoś w komentarzu podaje, że często wybierane są konkretne regiony Polski, by zrealizować taki sondaż, co również nie powinno mieć miejsca. 

Jednakże mam nadzieję, że również ten artykuł sprawi, że więcej ludzi zacznie krytycznie przyjmować do wiadomości wszelkie informacje o wynikach sondaży. 

Rzecz o sondażach

Przydałby się nowy post, więc go piszę. Do napisania go zainspirowały mnie wyniki ostatnich sondaży wyborczych. Obserwując je, jednoznacznie w sondażach wygrywa PiS, z różnym poparciem procentowym. Dla jednych to powód do wielkiej radości, a dla innych - do niepokoju. Starając się obiektywnie zachować swój głos (nie chcę, by mój blog był polityczny), postaram się wytłumaczyć, dlaczego do takich wiadomości w każdym przypadku należy podchodzić sceptycznie.

W innym poście pisałam o tym, jak podchodzić sceptycznie do wszelkich takich informacji, które mogą być pseudonaukowe. Tutaj zaś postaram się wyjaśnić na kilku przykładach, jak podchodzić sceptycznie do informacji o sondażach.

Pierwszym przykładem będzie sondaż firmy Millward Brown. Nie pamiętam, gdzie dokładnie natrafiłam na tę informację, ale generalnie można o tym poczytać m.in. na stronie Newsweeka. Przy takich informacjach, pierwszą rzeczą, jaką szukam jest wzmianka o metodzie i próbie. Tu mam krótką wzmiankę na ten temat:

Grafika ze strony Newsweeka, źródło obrazka: http://polska.newsweek.pl/sondaz--newsweeka---przewaga-pis-nad-po-rosnie--ale-polacy-i-tak-nie-maja-na-kogo-glosowac--,zoom,104891.html

I pierwsza rzecz, która już powinna niepokoić - informacja o próbie. "Reprezentatywna grupa 420 Polaków". Przykro mówić, ale to nie jest reprezentatywna grupa, a wynika to z prostej statystycznej zasady rozkładu normalnego. Im większa próba, tym wyniki można bardziej generalizować, bo zbliżają się one do idealnych wzorów matematycznych. Dla Polski za próbę reprezentatywną (czyli na kraj zamieszkujący 38 mln ludzi) przyjmuje się, że próba taka to ponad 1000 osób. Z kolei w Niemczech, które mają 80 mln mieszkańców ta próba to już 2000 ludzi. I tak dalej. Cenię Millward Brown, ale tylko jako firmę prowadzącą badania marketingowe. Innym niepokojącym faktem jest to, że nie ma słowa o metodzie, choć w innym tekście znalazłam wzmiankę, że była to metoda telefoniczna bodajże.

I tu kolejny przykład. Na Wirtualnej Polsce mieliśmy ostatnio przedstawione wyniki sondażu przeprowadzonego przez Instytut Homo Homini. Tu wzmianka o metodzie i próbie jest dłuższa:

Sondaż dla Wirtualnej Polski został przeprowadzony 11 czerwca. Zrealizował go Instytut Badania Opinii Homo Homini. Badanie preferencji politycznych prowadzone jest metodą telefonicznych, standaryzowanych wywiadów kwestionariuszowych wspomaganych komputerowo (CATI - Computer Aided Telephone Interview) na probie losowo-kwotowej stanowiącej liczebną reprezentację cech demograficznych dla ogółu pełnoletnich mieszkańców Polski z zachowaniem rozkładów terytorialnych (dane wg GUS). Wielkość próby to przynajmniej 1067 jednostek w jednym pomiarze. 

I próba wydaje się tu w porządku, lecz dobór metody nie jest zbyt trafny. Sondaż telefoniczny polega na tym, że ankieterzy, podobnie jak telemarketerzy, siedzą sobie w pomieszczeniu i mają listę numerów telefonicznych, do których muszą zadzwonić z pytaniami, na kogo pan/i by zagłosował/a, itd. Nie ma wzmianki o tym, czy chodzi tu o numery telefonów komórkowych czy stacjonarnych. Jednakże chyba każdy miał podobne doświadczenia, że od razu dziękował telemarketerowi, który nawet nie zdążył wypowiedzieć formułki. Tutaj próba może i jest reprezentatywna, ale jaka jest pewność, że wiesz, do kogo tak naprawdę dzwonisz? Ludzie młodzi rzadko dzisiaj posiadają telefony stacjonarne. A z komórkami jest różnie. No i nawet mieliśmy ten przypadek omawiany na zajęciach, że często jest tak, że telefonicznie ludzie mówią na odczepnego, na kogo zagłosują. Tak więc ta metoda nie jest zbyt trafna. Dodatkowym faktem przeciwko temu sondażowi jest to, że Homo Homini jest firmą, o której niewiele wiadomo - nie udostępnia swoich metod badawczych (przy jednym sondażu wyszło dużo błędów) i nie są zrzeszeni w OFBOR (Organizacji Firm Badania Opinii i Rynku). 

Ostatnim przykładem będzie CBOS, a raczej manipulacja informacją, jaką podał. Nie mogłam znaleźć samego komunikatu - pewnie jest dość świeży, więc treść będzie dostępna po jakimś czasie. Ale udostępnili ją mediom, a media, jak to media, przedstawiają wiadomość w zależności od tego, jakie wartości wyznają. Tak więc na niezaleznej czytamy:

Gdyby wybory parlamentarne odbyły się w połowie czerwca, na PiS zagłosowałoby 27 proc. ankietowanych, a na PO - 23 proc. - wynika z najnowszego sondażu CBOS. Do Sejmu weszłyby jeszcze tylko dwie partie: SLD - z 9-proc. poparciem i PSL z 6-proc. wynikiem. (...) Poniżej 5-procentowego progu wyborczego znalazłyby się: Ruch Palikota (3 proc.), Solidarna Polska (2 proc.), Nowa Prawica (2 proc.) i PJN (1 proc.).

I o co chodzi? Na pewno nie o krytykę CBOS, który ma dopracowane metody, a ich próby są reprezentatywne, ale o pominięcie dość istotnego faktu. Wystarczy spojrzeć na procenty i policzyć. Łącznie głos na jakąkolwiek partię oddałoby 73% badanych. A co z pozostałymi 27%? To dość spora suma, więc nie można mówić o błędzie statystycznym czy braku danych. Póki nie znam treści komunikatu, mogę tylko strzelać, że zapewne ci respondenci udzielili odpowiedzi w stylu "Nie mam na kogo zagłosować". Dlaczego więc nie ma o tym wzmianki? To zbyt duża liczba, żeby ją tak sobie pominąć. Zwłaszcza, że jest równa z wygrywającym PiSem. 

Nie mnie oceniać, czy to dobrze, czy źle. Jedynie co mogę powiedzieć, to fakt, że trzeba podchodzić do badania zawsze z dużym dystansem i krytycyzmem. Poza tym opinie zawsze się zmieniają, w zależności od tego, co się dzieje, co podają nam media, itd. Tak więc trzeba pamiętać, że wybory mogą się zawsze liczyć z niespodzianką, a sondaże o niczym nie przesądzają. 

Dlaczego cały czas nie jesteśmy smutni?

Tytuł brzmi zagadkowo, ale już tłumaczę. Otóż... Tak mało świątecznie, ale statystyki są okrutne - mówi się, że co chwila gdzieś na świecie umiera człowiek. Niekoniecznie z przyczyn naturalnych. Dlaczego więc cały czas nie jesteśmy smutni, nie rozpaczamy z tego powodu? Dlaczego nie robią tego nawet najwrażliwsze jednostki na świecie, które walczą o to, aby na świecie było lepiej?

Stalinowi przypisuje się słowa "Jedna śmierć to tragedia, milion - to statystyka." Można się na te słowa bulwersować, można krzyczeć, że skoro powiedział to Stalin, to pewnie to jakieś kłamstwo. Ale niestety, wystarczy się przyjrzeć własnemu zachowaniu, by przekonać się, że to prawda. Bo inaczej - dlaczego rozpaczamy, gdy dowiadujemy się o śmierci bliskiej nam osoby, a gdy w wiadomościach mówią o tym, że zginęło ileś tam osób w jakimś wypadku, czy w jakiejś katastrofie, to potrafimy jednak zjeść spokojnie obiad?

Odpowiedź na to pytanie jest prosta: zachodzi tu zjawisko, zwane jako kompresja czasoprzestrzeni. Jest ono związane z rozwojem mediów i z globalizacją. Dzięki mediom dostajemy bardzo szybko wiadomości z całego świata. Przez to niektórzy mogą mieć nieco mylne wrażenie, że dzisiejszy świat składa się z samego zła, że tylko wojny, przestępstwa, katastrofy, że "wcześniej tego nie było". Było. Było, tylko myśmy o tym nie wiedzieli tak szybko. Albo nie dowiadywaliśmy się o tym wcale. Nie mówiąc o tym, że jest to konsekwencja rozwoju cywilizacyjnego (często zakłóconego w przypadku krajów Trzeciego Świata). Przez to zjawisko mamy wrażenie, że jesteśmy w stanie współczuć ludziom, którzy są daleko od nas i spotkała ich jakaś tragedia. To też mylne wrażenie. Nawet jeśli jesteśmy w stanie się wzruszyć, to jest to tylko na moment. Potem wracamy do normalnego rytmu życia. A to dlatego, że po prostu nas tam nie ma. Siedzimy sobie w bezpiecznym, ciepłym kącie i nie przeżywamy tego. Dlatego też to jest jeden z powodów, dla którego powinniśmy patrzeć krytycznie na wszelkie informacje pochodzące z mediów.

No, dzisiaj notka krótsza, acz mam nadzieję, że wszystko wyjaśniłam dobrze w tym poście. A w następnej (to już zapewne po Nowym Roku, dlatego życzę wszystkim wszystkiego najlepszego) rzecz o "sekciarstwie naukowym".