Rzecz o sondażach - postscriptum i komentarz

Jeszcze raz napiszę o sondażach, bo dzisiaj, przeglądając stronę Gazety Wyborczej, trafiłam na bardzo ciekawy artykuł. Zabrzmię może dość wrednie, ale artykuł ten bardzo mnie ucieszył, bowiem potwierdził niejako moje poprzednie słowa na temat jednej firmy, a mianowicie firmy Homo Homini.

Chodzi jednak o inne badanie, niż te, które omawiałam ostatnio. Te było zrobione na zamówienie stowarzyszenia Republikanie. Było jednak tak nierzetelne, że niestety firma musiała się wytłumaczyć ze swoich błędów. 

A błędy były, jak czytamy w artykule, dość znaczne, m.in. pytania sugerujące w stylu: czy podatki w Polsce są za wysokie, czy ZUS jest organizacją drogą, nieefektywną, marnującą pieniądze, o pomyśle obniżenia podatków i zmniejszenia liczby urzędników. A zaraz po tym: Czy słyszał(a) Pan(i) o powstaniu nowego stowarzyszenia Republikanie założonego przez posła Przemysława Wiplera, którego programem jest: obniżenie podatków, ograniczenie obciążeń biurokratycznych, zmniejszenie liczby urzędników oraz wsparcie rodzin.

Oczywiście jest to poważny błąd przy robieniu jakiegokolwiek badania, o tym akurat nie wspomniałam w poprzedniej notce. Sugerujemy w ten sposób respondentowi konkretną odpowiedź. Dodatkowo prezes firmy dodaje, że każde pytanie kosztowało 800 zł. Dość mało. Dla porównania: jedno pytanie w CBOSie, które zawiera opcje odpowiedzi tylko "Tak" lub "Nie" kosztuje 1500 zł. 

Oczywiście firma pozostaje bezkarna, bo tak jak wspominałam, nie jest zrzeszona w OFBOR, więc nie ma nad nią kontroli. Dodatkowo ktoś w komentarzu podaje, że często wybierane są konkretne regiony Polski, by zrealizować taki sondaż, co również nie powinno mieć miejsca. 

Jednakże mam nadzieję, że również ten artykuł sprawi, że więcej ludzi zacznie krytycznie przyjmować do wiadomości wszelkie informacje o wynikach sondaży. 

Rzecz o sondażach

Przydałby się nowy post, więc go piszę. Do napisania go zainspirowały mnie wyniki ostatnich sondaży wyborczych. Obserwując je, jednoznacznie w sondażach wygrywa PiS, z różnym poparciem procentowym. Dla jednych to powód do wielkiej radości, a dla innych - do niepokoju. Starając się obiektywnie zachować swój głos (nie chcę, by mój blog był polityczny), postaram się wytłumaczyć, dlaczego do takich wiadomości w każdym przypadku należy podchodzić sceptycznie.

W innym poście pisałam o tym, jak podchodzić sceptycznie do wszelkich takich informacji, które mogą być pseudonaukowe. Tutaj zaś postaram się wyjaśnić na kilku przykładach, jak podchodzić sceptycznie do informacji o sondażach.

Pierwszym przykładem będzie sondaż firmy Millward Brown. Nie pamiętam, gdzie dokładnie natrafiłam na tę informację, ale generalnie można o tym poczytać m.in. na stronie Newsweeka. Przy takich informacjach, pierwszą rzeczą, jaką szukam jest wzmianka o metodzie i próbie. Tu mam krótką wzmiankę na ten temat:

Grafika ze strony Newsweeka, źródło obrazka: http://polska.newsweek.pl/sondaz--newsweeka---przewaga-pis-nad-po-rosnie--ale-polacy-i-tak-nie-maja-na-kogo-glosowac--,zoom,104891.html

I pierwsza rzecz, która już powinna niepokoić - informacja o próbie. "Reprezentatywna grupa 420 Polaków". Przykro mówić, ale to nie jest reprezentatywna grupa, a wynika to z prostej statystycznej zasady rozkładu normalnego. Im większa próba, tym wyniki można bardziej generalizować, bo zbliżają się one do idealnych wzorów matematycznych. Dla Polski za próbę reprezentatywną (czyli na kraj zamieszkujący 38 mln ludzi) przyjmuje się, że próba taka to ponad 1000 osób. Z kolei w Niemczech, które mają 80 mln mieszkańców ta próba to już 2000 ludzi. I tak dalej. Cenię Millward Brown, ale tylko jako firmę prowadzącą badania marketingowe. Innym niepokojącym faktem jest to, że nie ma słowa o metodzie, choć w innym tekście znalazłam wzmiankę, że była to metoda telefoniczna bodajże.

I tu kolejny przykład. Na Wirtualnej Polsce mieliśmy ostatnio przedstawione wyniki sondażu przeprowadzonego przez Instytut Homo Homini. Tu wzmianka o metodzie i próbie jest dłuższa:

Sondaż dla Wirtualnej Polski został przeprowadzony 11 czerwca. Zrealizował go Instytut Badania Opinii Homo Homini. Badanie preferencji politycznych prowadzone jest metodą telefonicznych, standaryzowanych wywiadów kwestionariuszowych wspomaganych komputerowo (CATI - Computer Aided Telephone Interview) na probie losowo-kwotowej stanowiącej liczebną reprezentację cech demograficznych dla ogółu pełnoletnich mieszkańców Polski z zachowaniem rozkładów terytorialnych (dane wg GUS). Wielkość próby to przynajmniej 1067 jednostek w jednym pomiarze. 

I próba wydaje się tu w porządku, lecz dobór metody nie jest zbyt trafny. Sondaż telefoniczny polega na tym, że ankieterzy, podobnie jak telemarketerzy, siedzą sobie w pomieszczeniu i mają listę numerów telefonicznych, do których muszą zadzwonić z pytaniami, na kogo pan/i by zagłosował/a, itd. Nie ma wzmianki o tym, czy chodzi tu o numery telefonów komórkowych czy stacjonarnych. Jednakże chyba każdy miał podobne doświadczenia, że od razu dziękował telemarketerowi, który nawet nie zdążył wypowiedzieć formułki. Tutaj próba może i jest reprezentatywna, ale jaka jest pewność, że wiesz, do kogo tak naprawdę dzwonisz? Ludzie młodzi rzadko dzisiaj posiadają telefony stacjonarne. A z komórkami jest różnie. No i nawet mieliśmy ten przypadek omawiany na zajęciach, że często jest tak, że telefonicznie ludzie mówią na odczepnego, na kogo zagłosują. Tak więc ta metoda nie jest zbyt trafna. Dodatkowym faktem przeciwko temu sondażowi jest to, że Homo Homini jest firmą, o której niewiele wiadomo - nie udostępnia swoich metod badawczych (przy jednym sondażu wyszło dużo błędów) i nie są zrzeszeni w OFBOR (Organizacji Firm Badania Opinii i Rynku). 

Ostatnim przykładem będzie CBOS, a raczej manipulacja informacją, jaką podał. Nie mogłam znaleźć samego komunikatu - pewnie jest dość świeży, więc treść będzie dostępna po jakimś czasie. Ale udostępnili ją mediom, a media, jak to media, przedstawiają wiadomość w zależności od tego, jakie wartości wyznają. Tak więc na niezaleznej czytamy:

Gdyby wybory parlamentarne odbyły się w połowie czerwca, na PiS zagłosowałoby 27 proc. ankietowanych, a na PO - 23 proc. - wynika z najnowszego sondażu CBOS. Do Sejmu weszłyby jeszcze tylko dwie partie: SLD - z 9-proc. poparciem i PSL z 6-proc. wynikiem. (...) Poniżej 5-procentowego progu wyborczego znalazłyby się: Ruch Palikota (3 proc.), Solidarna Polska (2 proc.), Nowa Prawica (2 proc.) i PJN (1 proc.).

I o co chodzi? Na pewno nie o krytykę CBOS, który ma dopracowane metody, a ich próby są reprezentatywne, ale o pominięcie dość istotnego faktu. Wystarczy spojrzeć na procenty i policzyć. Łącznie głos na jakąkolwiek partię oddałoby 73% badanych. A co z pozostałymi 27%? To dość spora suma, więc nie można mówić o błędzie statystycznym czy braku danych. Póki nie znam treści komunikatu, mogę tylko strzelać, że zapewne ci respondenci udzielili odpowiedzi w stylu "Nie mam na kogo zagłosować". Dlaczego więc nie ma o tym wzmianki? To zbyt duża liczba, żeby ją tak sobie pominąć. Zwłaszcza, że jest równa z wygrywającym PiSem. 

Nie mnie oceniać, czy to dobrze, czy źle. Jedynie co mogę powiedzieć, to fakt, że trzeba podchodzić do badania zawsze z dużym dystansem i krytycyzmem. Poza tym opinie zawsze się zmieniają, w zależności od tego, co się dzieje, co podają nam media, itd. Tak więc trzeba pamiętać, że wybory mogą się zawsze liczyć z niespodzianką, a sondaże o niczym nie przesądzają. 

Powitanie i wyniki eksperymentu

O założeniu bloga na tematy socjologiczne, czy społeczne myślałam już od jakiegoś czasu, ale teraz się zebrałam do kupy i stwierdziłam, że może warto. Od jakiegoś czasu poruszam to i owo w journalach na dA, więc pora się przenieść na coś bardziej profesjonalnego. Nie znaczy to, że sobie olewam dA, ale jednak wolę zachować jednolitość. 

Może na początek coś o sobie - na imię mi Kasia, mam 22 lata (no, prawie 22,5), aktualnie studiuję socjologię, są to już studia magisterskie. Myślę, że tyle wystarczy na początek. Tytuł może jest dziwny, ale mogę wyjaśnić - skoro mówi się, że teoria jest "sucha", to ja tutaj chcę połączyć "suchą" teorię z faktami, z przykładami, który może zrozumieć każdy (a przynajmniej postaram się). Czyli chcę tę teorię niejako "zwilżyć" :) Przybliżyć przeciętnemu Czytelnikowi, któremu zazwyczaj socjologia kojarzy się z czymś niepotrzebnym, czymś, po czym można mieć tylko pracę w McDonaldzie. A dlaczego "krytycznym okiem"? Bo jednak nie mogę się zgodzić ze wszystkimi teoriami, które są poruszane na moich zajęciach. Od razu jednak z góry zastrzegam, że nie wszystko będzie tu miało charakter naukowy, a bardziej popularno-naukowy.

Przejdę teraz do mojego małego eksperymentu, który zrobiłam jakiś czas temu na deviantarcie. Teraz dla tych, którzy się zastanawiali, mogę ujawnić, o co chodziło.

Jakiś czas temu na zajęciach miałam omawiany tekst Ireny Machaj o tym, jak ludzie postrzegają siebie w zależności od miejsca zamieszkania - czy mieszkają w wschodniej, czy w zachodniej Polsce. Po to było mi potrzebne miejsce zamieszkania.

Oczywiście to nie było profesjonalne badanie, bo próba była raczej celowa, odpowiedzi miałam kilkanaście, ale rozkład wygląda następująco:

Czyli można zobaczyć, że większość wypowiadających pochodzi z terenów dawnej II RP (tylko jedna osoba wskazała zachodnią Polskę). Wiadomo, że przy próbie celowej nie mogę generalizować, ale wyszło mi coś całkiem ciekawego. 

Najpierw jednak o tym, co zakładała Irena Machaj i co wyszło z jej badania. Zadała ona dość proste pytanie ludziom - mianowicie, żeby dokończyli zdanie, kim są i kim chcieliby być w przyszłości. I wyniki wyszły... Bardzo zróżnicowane w zależności od regionu, miejsca zamieszkania.

Ludzie z zachodnich terenów bardziej wskazywali na takie cechy "grupowe", czyli przynależności do danej zbiorowości - np. "Jestem Polakiem", "Jestem kobietą", "Jestem pracownikiem", itd., podczas gdy respondenci ze wschodniej Polski wskazywali bardziej na cechy charakteru (atrybutalne), np. "Jestem dobrym człowiekiem", "Jestem mądra", itd. Co do tego, jak ludzie widzą siebie w przyszłości, to respondenci z obu grup byli bardziej zgodni ("Chciałbym być lepszy", "Chciałbym być bogaty"). I wg autorki badania na tym polega różnica w mentalności.

Ja spróbowałam powtórzyć w mniejszej skali to badanie i wyszło mi, że jednak moi "respondenci" podawali częściej cechy atrybutalne, cechy swojego charakteru. Nikt nie wskazał na to, że "jest Polakiem", "jest kobietą", itd. Choć zdaję sobie sprawę, że mogło to wynikać z tego, że może pytanie było źle zadane, może zbyt sugerujące. Po drugie, nie znam arkusza tamtego badania, więc nie wiem, czy było to pytanie otwarte, czy zamknięte, znam jedynie wyniki. 

Po drugie, z racji tego, że "respondenci" pochodzi właściwie tylko z terenów dawnej II RP, nie mam zbyt wielkiego porównania. Może, gdyby odpowiedziały osoby z Wrocławia, Szczecina, Zielonej Góry, miałabym lepsze wyniki. Ale bazuję tylko na tym. I póki co - pokrywa się z tamtym poprawnym, dawnym badaniem. Ludzie ze wschodniej Polski widzą siebie poprzez cechy charakteru, nie przynależności. Choć prawdę powiedziawszy, ciężko to uzasadnić czymkolwiek, jakoś wytłumaczyć. Potrzeba tu głębszych badań.

Za swoistą ciekawostkę mogę uznać jednak fakt, że większość nawet jak wymieniała cechy charakteru, to były one negatywne (najczęściej padało słowo "leniwa"), a respondenci chcieliby się zmienić na lepsze. Z czego to wynika? Może w naszej kulturze jest zakorzenione, by nie mówić o sobie w pozytywny sposób? To już pozostawiam do zastanowienia się Czytelnikom tego bloga.

Następny wpis będzie o czymś, co się zwie "sprawiedliwość społeczna" (ang. "social justice"), co można zaobserwować na tumblru ostatnimi czasy.