Pokazywanie postów oznaczonych etykietą metody badawcze. Pokaż wszystkie posty
Pokazywanie postów oznaczonych etykietą metody badawcze. Pokaż wszystkie posty

sobota, 6 lipca 2013

Rzecz o sondażach - postscriptum i komentarz

Jeszcze raz napiszę o sondażach, bo dzisiaj, przeglądając stronę Gazety Wyborczej, trafiłam na bardzo ciekawy artykuł. Zabrzmię może dość wrednie, ale artykuł ten bardzo mnie ucieszył, bowiem potwierdził niejako moje poprzednie słowa na temat jednej firmy, a mianowicie firmy Homo Homini.

Chodzi jednak o inne badanie, niż te, które omawiałam ostatnio. Te było zrobione na zamówienie stowarzyszenia Republikanie. Było jednak tak nierzetelne, że niestety firma musiała się wytłumaczyć ze swoich błędów. 

A błędy były, jak czytamy w artykule, dość znaczne, m.in. pytania sugerujące w stylu: czy podatki w Polsce są za wysokie, czy ZUS jest organizacją drogą, nieefektywną, marnującą pieniądze, o pomyśle obniżenia podatków i zmniejszenia liczby urzędników. A zaraz po tym: Czy słyszał(a) Pan(i) o powstaniu nowego stowarzyszenia Republikanie założonego przez posła Przemysława Wiplera, którego programem jest: obniżenie podatków, ograniczenie obciążeń biurokratycznych, zmniejszenie liczby urzędników oraz wsparcie rodzin.

Oczywiście jest to poważny błąd przy robieniu jakiegokolwiek badania, o tym akurat nie wspomniałam w poprzedniej notce. Sugerujemy w ten sposób respondentowi konkretną odpowiedź. Dodatkowo prezes firmy dodaje, że każde pytanie kosztowało 800 zł. Dość mało. Dla porównania: jedno pytanie w CBOSie, które zawiera opcje odpowiedzi tylko "Tak" lub "Nie" kosztuje 1500 zł. 

Oczywiście firma pozostaje bezkarna, bo tak jak wspominałam, nie jest zrzeszona w OFBOR, więc nie ma nad nią kontroli. Dodatkowo ktoś w komentarzu podaje, że często wybierane są konkretne regiony Polski, by zrealizować taki sondaż, co również nie powinno mieć miejsca. 

Jednakże mam nadzieję, że również ten artykuł sprawi, że więcej ludzi zacznie krytycznie przyjmować do wiadomości wszelkie informacje o wynikach sondaży. 

piątek, 14 czerwca 2013

Rzecz o sondażach

Przydałby się nowy post, więc go piszę. Do napisania go zainspirowały mnie wyniki ostatnich sondaży wyborczych. Obserwując je, jednoznacznie w sondażach wygrywa PiS, z różnym poparciem procentowym. Dla jednych to powód do wielkiej radości, a dla innych - do niepokoju. Starając się obiektywnie zachować swój głos (nie chcę, by mój blog był polityczny), postaram się wytłumaczyć, dlaczego do takich wiadomości w każdym przypadku należy podchodzić sceptycznie.

W innym poście pisałam o tym, jak podchodzić sceptycznie do wszelkich takich informacji, które mogą być pseudonaukowe. Tutaj zaś postaram się wyjaśnić na kilku przykładach, jak podchodzić sceptycznie do informacji o sondażach.

Pierwszym przykładem będzie sondaż firmy Millward Brown. Nie pamiętam, gdzie dokładnie natrafiłam na tę informację, ale generalnie można o tym poczytać m.in. na stronie Newsweeka. Przy takich informacjach, pierwszą rzeczą, jaką szukam jest wzmianka o metodzie i próbie. Tu mam krótką wzmiankę na ten temat:

Grafika ze strony Newsweeka, źródło obrazka: http://polska.newsweek.pl/sondaz--newsweeka---przewaga-pis-nad-po-rosnie--ale-polacy-i-tak-nie-maja-na-kogo-glosowac--,zoom,104891.html


I pierwsza rzecz, która już powinna niepokoić - informacja o próbie. "Reprezentatywna grupa 420 Polaków". Przykro mówić, ale to nie jest reprezentatywna grupa, a wynika to z prostej statystycznej zasady rozkładu normalnego. Im większa próba, tym wyniki można bardziej generalizować, bo zbliżają się one do idealnych wzorów matematycznych. Dla Polski za próbę reprezentatywną (czyli na kraj zamieszkujący 38 mln ludzi) przyjmuje się, że próba taka to ponad 1000 osób. Z kolei w Niemczech, które mają 80 mln mieszkańców ta próba to już 2000 ludzi. I tak dalej. Cenię Millward Brown, ale tylko jako firmę prowadzącą badania marketingowe. Innym niepokojącym faktem jest to, że nie ma słowa o metodzie, choć w innym tekście znalazłam wzmiankę, że była to metoda telefoniczna bodajże.

I tu kolejny przykład. Na Wirtualnej Polsce mieliśmy ostatnio przedstawione wyniki sondażu przeprowadzonego przez Instytut Homo Homini. Tu wzmianka o metodzie i próbie jest dłuższa:

Sondaż dla Wirtualnej Polski został przeprowadzony 11 czerwca. Zrealizował go Instytut Badania Opinii Homo Homini. Badanie preferencji politycznych prowadzone jest metodą telefonicznych, standaryzowanych wywiadów kwestionariuszowych wspomaganych komputerowo (CATI - Computer Aided Telephone Interview) na probie losowo-kwotowej stanowiącej liczebną reprezentację cech demograficznych dla ogółu pełnoletnich mieszkańców Polski z zachowaniem rozkładów terytorialnych (dane wg GUS). Wielkość próby to przynajmniej 1067 jednostek w jednym pomiarze. 

I próba wydaje się tu w porządku, lecz dobór metody nie jest zbyt trafny. Sondaż telefoniczny polega na tym, że ankieterzy, podobnie jak telemarketerzy, siedzą sobie w pomieszczeniu i mają listę numerów telefonicznych, do których muszą zadzwonić z pytaniami, na kogo pan/i by zagłosował/a, itd. Nie ma wzmianki o tym, czy chodzi tu o numery telefonów komórkowych czy stacjonarnych. Jednakże chyba każdy miał podobne doświadczenia, że od razu dziękował telemarketerowi, który nawet nie zdążył wypowiedzieć formułki. Tutaj próba może i jest reprezentatywna, ale jaka jest pewność, że wiesz, do kogo tak naprawdę dzwonisz? Ludzie młodzi rzadko dzisiaj posiadają telefony stacjonarne. A z komórkami jest różnie. No i nawet mieliśmy ten przypadek omawiany na zajęciach, że często jest tak, że telefonicznie ludzie mówią na odczepnego, na kogo zagłosują. Tak więc ta metoda nie jest zbyt trafna. Dodatkowym faktem przeciwko temu sondażowi jest to, że Homo Homini jest firmą, o której niewiele wiadomo - nie udostępnia swoich metod badawczych (przy jednym sondażu wyszło dużo błędów) i nie są zrzeszeni w OFBOR (Organizacji Firm Badania Opinii i Rynku). 

Ostatnim przykładem będzie CBOS, a raczej manipulacja informacją, jaką podał. Nie mogłam znaleźć samego komunikatu - pewnie jest dość świeży, więc treść będzie dostępna po jakimś czasie. Ale udostępnili ją mediom, a media, jak to media, przedstawiają wiadomość w zależności od tego, jakie wartości wyznają. Tak więc na niezaleznej czytamy:

Gdyby wybory parlamentarne odbyły się w połowie czerwca, na PiS zagłosowałoby 27 proc. ankietowanych, a na PO - 23 proc. - wynika z najnowszego sondażu CBOS. Do Sejmu weszłyby jeszcze tylko dwie partie: SLD - z 9-proc. poparciem i PSL z 6-proc. wynikiem. (...) Poniżej 5-procentowego progu wyborczego znalazłyby się: Ruch Palikota (3 proc.), Solidarna Polska (2 proc.), Nowa Prawica (2 proc.) i PJN (1 proc.).

I o co chodzi? Na pewno nie o krytykę CBOS, który ma dopracowane metody, a ich próby są reprezentatywne, ale o pominięcie dość istotnego faktu. Wystarczy spojrzeć na procenty i policzyć. Łącznie głos na jakąkolwiek partię oddałoby 73% badanych. A co z pozostałymi 27%? To dość spora suma, więc nie można mówić o błędzie statystycznym czy braku danych. Póki nie znam treści komunikatu, mogę tylko strzelać, że zapewne ci respondenci udzielili odpowiedzi w stylu "Nie mam na kogo zagłosować". Dlaczego więc nie ma o tym wzmianki? To zbyt duża liczba, żeby ją tak sobie pominąć. Zwłaszcza, że jest równa z wygrywającym PiSem. 

Nie mnie oceniać, czy to dobrze, czy źle. Jedynie co mogę powiedzieć, to fakt, że trzeba podchodzić do badania zawsze z dużym dystansem i krytycyzmem. Poza tym opinie zawsze się zmieniają, w zależności od tego, co się dzieje, co podają nam media, itd. Tak więc trzeba pamiętać, że wybory mogą się zawsze liczyć z niespodzianką, a sondaże o niczym nie przesądzają.