Pokazywanie postów oznaczonych etykietą metodologia. Pokaż wszystkie posty
Pokazywanie postów oznaczonych etykietą metodologia. Pokaż wszystkie posty

sobota, 30 stycznia 2016

Raport o blogosferze - co mogło pójść źle? Uwagi krytyczne do raportu "Dwa zero czy zero? Blogi o tematyce kulturalnej a przemiany kultury uczestnictwa”.

Dawno mnie tu nie było i właściwie nie wiedziałam, na jakim blogu miałabym opublikować poniższą notkę. W końcu temat dotyczy popkultury, a mam bloga o tejże tematyce. Jednakże zdecydowałam się opublikować notkę tutaj, ponieważ moje uwagi pochodzą ode mnie - nie blogera amatora, który sobie pisze o filmach czy serialach, jakie obejrzał, a od magistra socjologii, który jest zawiedziony tym, że ludzie z tytułami popełnili wiele błędów przy raporcie, który mógłby być ciekawym źródłem wiedzy, zwłaszcza dla kogoś, kto chciałby napisać pracę dotyczącą blogerów popkulturowych - a tych jest całkiem sporo na naszym podwórku. Czy jednak jest to na tyle spora grupa, że można robić na niej określone badania i wysnuwać wnioski dotyczące wszystkich? Co właściwie poszło nie tak, skąd moje uwagi? 

Źródło: blogerish.com
Raport pod tytułem "Dwa zero czy zero? Blogi o tematyce kulturalnej a przemiany kultury uczestnictwa" to raport opublikowany niedawno przez Instytut Kultury Miejskiej. Raport, o którym będzie mowa i który będzie cytowany, dostępny jest tutaj. Ledwo został opublikowany, a już zdążył wywołać kontrowersje w środowisku blogerskim. I to w tej specyficznej działce - czyli blogi kulturalne (czy kulturowe, jak kto woli). I właściwie słusznie, że wywołał pewien sprzeciw - bo im bardziej się wczytuję (zwłaszcza w aneks metodologiczny), tym bardziej łapię się za głowę i zastanawiam się, dlaczego ludzie z tytułami wyższymi od mojego, czyli ledwie "marnego magistra" popełnili tak rażące błędy. Błędy, które rzucają się w oczy nawet ludziom niezwiązanym z socjologią. 

Z jednej strony można byłoby się cieszyć, że blogerzy kulturalni w końcu zostali dostrzeżeni przez badaczy - bo jak do tej pory większą uwagę poświęcano blogom lifestyle'owym, prowadzonym np. przez Kasię Tusk. Jednakże to, co zobaczyliśmy, to może... Nie woła o pomstę do nieba, a można było zrobić lepiej.

Przede wszystkim moje zarzuty dotyczą celu badania. Autorzy zaznaczają, że "[p]odstawowym celem badania była charakterystyka blogosfery kulturalnej" (s. 119), jednakże w dalszych celach i problemach badawczych dowiadujemy się, że kontekstem była głównie ewentualna współpraca blogerów z instytucjami kultury. Rozumiem, badanie organizowane przez Instytut Kultury Miejskiej, to chcą wiedzieć, czy są jakieś możliwości takowej współpracy, jak mogłaby wyglądać, itd. Pytanie jednak - czy nie jest to za bardzo "pomieszane"? Z jednej strony naprawdę świetnie, że ktoś chce zbadać blogerów kulturowych, ale jeśli jest to "nowa" działka, to czy nie lepiej byłoby najpierw zbadać temat ogólnie, a dopiero potem stawiać pytania o możliwości współpracy? Do tej ewentualnej współpracy z instytucjami kultury mam również kilka zarzutów.
Nie jest tak, że publiczne instytucje kultury nie współpracują z blogerami. Trudno ocenić skalę zjawiska, nie jest ona prawdopodobnie duża, ale można znaleźć przykłady współpracy instytucji kultury i blogerów. (s. 106).
W dalszej części raportu jest mowa o współpracy, która mogłaby polegać na udostępnianiu instytucji kultury jako miejsca spotkań blogerów czy w formie jakichś warsztatów. Wszystko brzmi ładnie, ale pojawiają się inne problemy - jeśli bowiem występuje taki problem nawet w dużych miastach, to co dopiero powiedzieć o mniejszych miejscowościach? Kogo w mojej miejscowości przyciągnęłoby spotkanie ze Zwierzem Popkulturalnym? Obstawiam, że maksymalnie kilka osób. Czy jakieś instytucje kultury chętnie wyłożyłyby na to pieniądze? Już pomijam fakt, że instytucje kultury między innym w moim regionie (a przynajmniej te, które znam bliżej) mają spory problem finansowy nawet na podstawowe cele - w bibliotekach rzadko można dostać nowości, czasami nawet o lektury szkolne ciężko się doprosić. A co dopiero organizować spotkanie z "znanym blogerem" czy warsztaty. Nie każdy bloger też byłby chętny do tego, by takie rzeczy robić charytatywnie - w końcu nawet przyjazd do jakiegoś miasta wiąże się z kosztami. Trzecia rzecz to ta, o której pisała autorka bloga Zwierz Popkulturalny: wiąże się to z pewnego rodzaju ryzykiem. Publiczność nie jest dana raz na zawsze, jest kapryśna, jednego dnia masz milion fanów, drugiego pozostaje już tylko garstka. Nie każdy będzie chciał się angażować w projekt, który być może jest skazany na porażkę. Łatwo też usłyszeć takiemu blogerowi zarzuty o "sprzedaniu się" i przez to stracić jakąś część czytelników. Może też potem wyglądać dość niepoważnie. Dlatego ryzykują obie strony. Stąd być może ta współpraca nie jest taka idealna, jak chcieliby tego autorzy raportu. 

Nie chcę się rozpisywać o błędnych wnioskach dotyczących poszczególnych, cytowanych blogów, ponieważ dobrze dostrzegli to autorzy blogów: Zwierz Popkulturalny, Fangirl's Guide to the Galaxy, czy Mistycyzm Popkulturowy, a moim celem nie jest powielanie ich argumentów, czy też ich cytowanie. Po prostu w linkach odsyłam do poszczególnych wpisów. Wniosek z tych wpisów może być taki, że analiza blogów została przeprowadzona w sposób pobieżny, a momentami przy pewnych wypowiedziach (i przy późniejszej konfrontacji z autorami) można dostrzec "nadinterpretację" pewnych słów czy wpisów.

Najczęściej taki błąd wynika ze źle dobranej metody, o czym starałam się pisać w komentarzach pod notką autora Mistycyzmu Popkulturowego. Przede wszystkim została tu użyta analiza sieciowa, oparta na agregatorze blogów, czyli bloga o nazwie "Blogi Kulturowe"
Gotową bazą, gromadzącą blogi kulturowe okazał się agregator, zbudowany dwa lata temu na platformie Blogger „Blogi Kulturowe. Agregator blogów poświęconych kulturze”. Informacja o projekcie zaprezentowana przez autora była zachęcająca i dawała nadzieję na zebranie sporej liczby odnośników do polskich blogów kulturalnych (...)
W założeniu - bardzo fajna sprawa. Autor gromadził bowiem linki do różnych blogów i dzielił je na różne kategorie. Na blogach zaś często można było spotkać tak zwane "blogrolki", czyli kolejne linki prowadzące do innych blogów. Z tego mogła powstać "chmura" powiązań sieciowych, czyli kto kogo linkuje. Socjometria, tylko na szerszą skalę. Jeśli to słowo nic wam nie mówi (bo zdaję sobie sprawę, że mojego bloga czytają osoby, które niekoniecznie znają się na socjologii), to w skrócie jest to badanie sympatii i antypatii w grupie. Często przeprowadza się takie badanie w klasie w szkole, pytając "z kim usiadłbyś w jednej ławce". Jest to dobre narzędzie dla nauczyciela, który może potem wyciągnąć wnioski i zobaczyć, jak kształtuje się hierarchia w klasie, kto jest "gwiazdą", a kto jest izolowany. I w badaniu autorzy starali się wychwycić coś podobnego, a mianowicie relacje sieci, kto kogo linkuje, poleca, czy te linkowanie jest na zasadzie "blogi to właściwie krewni i znajomi królika", czy może nie. W założeniu - naprawdę świetna rzecz.

Problem polega jednak na tym, że w raporcie nie ma ani słowa o tym, że baza nie była aktualizowana od końca 2013 roku. W przypadku badań Internetu dwa lata to jest już wręcz historia. Rozumiem, że analizowane blogi, pochodzące z tamtej listy, były analizowane w 2015 roku, ale też pytanie - jak było z aktualizacją tamtych blogów? Nie każdy blog to Zwierz Popkulturalny, który notki ma codziennie. Są notki raz na tydzień, raz na miesiąc, są wpisy bardzo nieregularne. Ile z tych blogów było "porzuconych"? Wpisali się na listę (bowiem trzeba zaznaczyć, że autor publikował blogi, które same się do niego zgłaszały!), a jakiś czas potem stwierdzili, że dają sobie spokój, ale bloga już nie skasowali? Z tabeli (s. 18) wynika, że trochę ich było - 35 blogów na 400 badanych było nieaktywnych, 46 zaś miało aktualizację między styczniem 2014 a marcem 2015. Pojawia się właśnie też sprzeczność - w tabeli liczba blogów badanych to 400, a pod spodem mamy zapis:
35 blogów nie przeanalizowano z uwagi na to, że były nieaktywne, oferowały dostęp dla zaproszonych gości lub zostały przeniesione. (s. 18)
 Jeśli więc metodą była analiza treści i analiza danych zastanych, to dlaczego w tabeli pojawia się liczba 400, a dalej jednak wychodzi, że to 400 blogów nie było? Inna sprawa to taka, co z tymi 46 blogami, których ostatnia aktualizacja była nawet półtora roku przed badaniem? Obraz może być bardzo zachwiany. Ktoś mógł sobie bowiem w 2014 roku pisać, że nie współpracuje z instytucjami kultury, a skąd autorzy mogą wiedzieć, czy tak się nie stało rok później, a autor po prostu nie miał potrzeby informowania o tym na blogu, na facebooku, czy na innych mediach społecznościowych? Takich rzeczy nie dowiemy się z badań ilościowych, które nie są w dodatku badaniami typowymi (czyli klasyczny kwestionariusz ankiety). Poza tym, tak jak wspomniał autor Mistycyzmu Popkulturowego, blogrolka może być nieco przestarzałym narzędziem. Często bywa tak (o czym też sama zapominam), że autor rzadko ją aktualizuje - ja sama miałam tak, że dopiero ktoś musiał mi zwrócić uwagę, że link do mojego profilu na filmwebie jest błędnie zapisany. Tym samym - może być też tak, że sporo linków może być nieaktywnych. Blogerzy nie muszą też linkować siebie wzajemnie. Czy to, że na moim blogu jest odnośnik do Zwierza Popkulturalnego, oznacza, że Zwierz musi mnie też linkować? Oczywiście, że nie. 

W raporcie pojawia się również inna rzecz, która niepokoi, gdy autorzy piszą o tym, w jaki sposób chcieli klasyfikować blogi i tworzyć definicję, uzasadniając tym wybór metody analizy danych zastanych:
(...) (nasza ocena nie miała charakteru ścisłego i ilościowego, a jedynie szacunkowy i bazowaliśmy w niej także na wynikach raportów). Analiza danych zastanych pozwoliła także na pokazanie powiązań pomiędzy polskimi blogami kulturalnymi oraz wstępną charakterystykę poszerzania blogów kulturalnych do tzw. chmury blogowej (...)
Analiza danych zastanych jest metodą, która klasyfikuje się gdzieś pomiędzy metodami ilościowymi, a jakościowymi. Można w ten sposób analizować czasopisma w jakimś konkretnym okresie (np. czasopisma z jednego, konkretnego roku). Tworzenie jakichś klasyfikacji jest arbitralne (np. badanie reklam. Przykładowo oceniamy, ile razy pojawia się wizerunek "kobiety - matki i żony", oceniając w ten sposób, kto jest na zdjęciach, jak jest taka osoba przedstawiona, ubrana, itd.), ale już z konkretnych liczb można tworzyć diagramy i statystyki. Analiza sieciowa opiera się na teoriach statystycznych i matematycznych, a więc będzie bardziej szła w metodę ilościowa, a nie jakościową. 

I mój główny zarzut jest taki, że badania ilościowe w przypadku blogosfery nie są dobrym pomysłem. Z całą pewnością nie była analizowana cała populacja. Nie była to też grupa reprezentacyjna, ze względu chociażby na to, na co wskazali autorzy - czyli na fakt trudnej do określenia definicji "bloga kulturowego". Druga sprawa to słowo "szacunkowy". Jeśli te badania to tylko szacunki, to skąd pomysł wyciągania często pochopnych wniosków na temat całej blogosfery? 

Postanowiłam się udzielić, ponieważ ten raport zainteresował mnie ze względu na moje własne badania, jakie prowadziłam na temat fandomu w Polsce. Badania te były mi potrzebne do mojej pracy magisterskiej, nawet korzystałam z podobnych źródeł, z których korzystali autorzy, lecz wiedziałam, że zadanie nie będzie łatwe. Ze względu na ograniczenia, jakie mamy dzisiaj, musiałam się ograniczyć do badań jakościowych, czyli do wywiadów z wybranymi przeze mnie osobami. Być może ktoś kiedyś stworzy narzędzie, które umożliwi ilościową analizę fandomu. Lecz czy to będzie teraz, czy za dziesięć lat? Tego nie wiemy. Dlatego też w pracy zaznaczyłam, że moich wniosków nie można wysuwać z pewnością na cały fandom, że badałam być może specyficzną grupę, że może ktoś miałby jeszcze coś do dodania, jakieś uwagi? Jeśli tak, to zapraszam do przejrzenia mojej pracy tutaj. Zaznaczam, że badania robiłam w 2013 roku. Sama jestem ciekawa, ile od tego czasu mogło się zmienić. Moim zdaniem autorzy mogli pozostać przy wywiadach i samej analizy treści - raport nie straciłby, a może by nawet zyskał. Po prostu badacze mogli się wgłębić, mogli zaznaczyć, że część z tych badanych notek jest stara, że nie wiemy, jak może to wyglądać obecnie. 

I ostatnia moja uwaga to taka, że z przykrością i pewnym niesmakiem widzę, że autorom nie podobają się uwagi krytyczne. Cóż, blogerzy mają do nich pełne prawo. Nie można zakładać, że bloger jest tylko niekompetentnym amatorem, bo często są to ludzie w trakcie studiów lub z konkretnym tytułem, a więc mający kompetencje także i do krytycznej oceny. Nie znam do końca autorów, więc nie wiem, czy któryś z nich nie prowadzi bloga o popkulturze. Ale jeśli nie, to czy nie można było wziąć do zespołu badaczy kogoś, kto zna bliżej blogosferę? Myślę, że badanie nie straciłoby na obiektywności, a raczej coś by zyskało. Przypominają mi się słowa prof. Mariusza Kwiatkowskiego na temat badania religii i religijności - otóż pan profesor na zajęciach stwierdził, że osoba taka nie powinna być ani skrajnym ateistą, ani fanatykiem konkretnej religii. Myślę, że tak samo jest ze specyficzną grupą, jaką jest fandom, czy blogosfera kulturowa - gdy ktoś zna bliżej temat, to myślę, że jest go w stanie też lepiej ocenić. I nie trzeba się martwić, czy ktoś nie zachowa obiektywności - jeśli zna się na badaniach, to z całą pewnością będzie starał się to robić.

Podsumowując, raport o blogosferze kulturalnej mógł być ciekawym badaniem, które w jakiś sposób analizowałoby polską blogosferę. Niestety, otrzymaliśmy tekst, który jest po prostu bardzo powierzchowną analizą i ciężko się dziwić temu, że cytowani autorzy mają jakieś zastrzeżenia. Ja sama nie publikuję tych uwag z powodu jakiejś zazdrości, że nie znalazłam się w tym zaszczytnym gronie (mój blog nie figuruje ani nie figurował na liście z "Blogów Kulturowych", poza tym powstał mniej więcej wtedy, kiedy właśnie autor przestał aktualizować notki, więc ciężko się dziwić), a raczej dlatego, że temat jest mi w jakiś sposób bliski i przykro jest po prostu czytać jednoznaczną, dość negatywną opinię o blogosferze. A przecież może ona mieć naprawdę duży potencjał. Wystarczy tylko odrobina dobrej woli.

Mgr Katarzyna Nieć

sobota, 6 lipca 2013

Rzecz o sondażach - postscriptum i komentarz

Jeszcze raz napiszę o sondażach, bo dzisiaj, przeglądając stronę Gazety Wyborczej, trafiłam na bardzo ciekawy artykuł. Zabrzmię może dość wrednie, ale artykuł ten bardzo mnie ucieszył, bowiem potwierdził niejako moje poprzednie słowa na temat jednej firmy, a mianowicie firmy Homo Homini.

Chodzi jednak o inne badanie, niż te, które omawiałam ostatnio. Te było zrobione na zamówienie stowarzyszenia Republikanie. Było jednak tak nierzetelne, że niestety firma musiała się wytłumaczyć ze swoich błędów. 

A błędy były, jak czytamy w artykule, dość znaczne, m.in. pytania sugerujące w stylu: czy podatki w Polsce są za wysokie, czy ZUS jest organizacją drogą, nieefektywną, marnującą pieniądze, o pomyśle obniżenia podatków i zmniejszenia liczby urzędników. A zaraz po tym: Czy słyszał(a) Pan(i) o powstaniu nowego stowarzyszenia Republikanie założonego przez posła Przemysława Wiplera, którego programem jest: obniżenie podatków, ograniczenie obciążeń biurokratycznych, zmniejszenie liczby urzędników oraz wsparcie rodzin.

Oczywiście jest to poważny błąd przy robieniu jakiegokolwiek badania, o tym akurat nie wspomniałam w poprzedniej notce. Sugerujemy w ten sposób respondentowi konkretną odpowiedź. Dodatkowo prezes firmy dodaje, że każde pytanie kosztowało 800 zł. Dość mało. Dla porównania: jedno pytanie w CBOSie, które zawiera opcje odpowiedzi tylko "Tak" lub "Nie" kosztuje 1500 zł. 

Oczywiście firma pozostaje bezkarna, bo tak jak wspominałam, nie jest zrzeszona w OFBOR, więc nie ma nad nią kontroli. Dodatkowo ktoś w komentarzu podaje, że często wybierane są konkretne regiony Polski, by zrealizować taki sondaż, co również nie powinno mieć miejsca. 

Jednakże mam nadzieję, że również ten artykuł sprawi, że więcej ludzi zacznie krytycznie przyjmować do wiadomości wszelkie informacje o wynikach sondaży. 

piątek, 14 czerwca 2013

Rzecz o sondażach

Przydałby się nowy post, więc go piszę. Do napisania go zainspirowały mnie wyniki ostatnich sondaży wyborczych. Obserwując je, jednoznacznie w sondażach wygrywa PiS, z różnym poparciem procentowym. Dla jednych to powód do wielkiej radości, a dla innych - do niepokoju. Starając się obiektywnie zachować swój głos (nie chcę, by mój blog był polityczny), postaram się wytłumaczyć, dlaczego do takich wiadomości w każdym przypadku należy podchodzić sceptycznie.

W innym poście pisałam o tym, jak podchodzić sceptycznie do wszelkich takich informacji, które mogą być pseudonaukowe. Tutaj zaś postaram się wyjaśnić na kilku przykładach, jak podchodzić sceptycznie do informacji o sondażach.

Pierwszym przykładem będzie sondaż firmy Millward Brown. Nie pamiętam, gdzie dokładnie natrafiłam na tę informację, ale generalnie można o tym poczytać m.in. na stronie Newsweeka. Przy takich informacjach, pierwszą rzeczą, jaką szukam jest wzmianka o metodzie i próbie. Tu mam krótką wzmiankę na ten temat:

Grafika ze strony Newsweeka, źródło obrazka: http://polska.newsweek.pl/sondaz--newsweeka---przewaga-pis-nad-po-rosnie--ale-polacy-i-tak-nie-maja-na-kogo-glosowac--,zoom,104891.html


I pierwsza rzecz, która już powinna niepokoić - informacja o próbie. "Reprezentatywna grupa 420 Polaków". Przykro mówić, ale to nie jest reprezentatywna grupa, a wynika to z prostej statystycznej zasady rozkładu normalnego. Im większa próba, tym wyniki można bardziej generalizować, bo zbliżają się one do idealnych wzorów matematycznych. Dla Polski za próbę reprezentatywną (czyli na kraj zamieszkujący 38 mln ludzi) przyjmuje się, że próba taka to ponad 1000 osób. Z kolei w Niemczech, które mają 80 mln mieszkańców ta próba to już 2000 ludzi. I tak dalej. Cenię Millward Brown, ale tylko jako firmę prowadzącą badania marketingowe. Innym niepokojącym faktem jest to, że nie ma słowa o metodzie, choć w innym tekście znalazłam wzmiankę, że była to metoda telefoniczna bodajże.

I tu kolejny przykład. Na Wirtualnej Polsce mieliśmy ostatnio przedstawione wyniki sondażu przeprowadzonego przez Instytut Homo Homini. Tu wzmianka o metodzie i próbie jest dłuższa:

Sondaż dla Wirtualnej Polski został przeprowadzony 11 czerwca. Zrealizował go Instytut Badania Opinii Homo Homini. Badanie preferencji politycznych prowadzone jest metodą telefonicznych, standaryzowanych wywiadów kwestionariuszowych wspomaganych komputerowo (CATI - Computer Aided Telephone Interview) na probie losowo-kwotowej stanowiącej liczebną reprezentację cech demograficznych dla ogółu pełnoletnich mieszkańców Polski z zachowaniem rozkładów terytorialnych (dane wg GUS). Wielkość próby to przynajmniej 1067 jednostek w jednym pomiarze. 

I próba wydaje się tu w porządku, lecz dobór metody nie jest zbyt trafny. Sondaż telefoniczny polega na tym, że ankieterzy, podobnie jak telemarketerzy, siedzą sobie w pomieszczeniu i mają listę numerów telefonicznych, do których muszą zadzwonić z pytaniami, na kogo pan/i by zagłosował/a, itd. Nie ma wzmianki o tym, czy chodzi tu o numery telefonów komórkowych czy stacjonarnych. Jednakże chyba każdy miał podobne doświadczenia, że od razu dziękował telemarketerowi, który nawet nie zdążył wypowiedzieć formułki. Tutaj próba może i jest reprezentatywna, ale jaka jest pewność, że wiesz, do kogo tak naprawdę dzwonisz? Ludzie młodzi rzadko dzisiaj posiadają telefony stacjonarne. A z komórkami jest różnie. No i nawet mieliśmy ten przypadek omawiany na zajęciach, że często jest tak, że telefonicznie ludzie mówią na odczepnego, na kogo zagłosują. Tak więc ta metoda nie jest zbyt trafna. Dodatkowym faktem przeciwko temu sondażowi jest to, że Homo Homini jest firmą, o której niewiele wiadomo - nie udostępnia swoich metod badawczych (przy jednym sondażu wyszło dużo błędów) i nie są zrzeszeni w OFBOR (Organizacji Firm Badania Opinii i Rynku). 

Ostatnim przykładem będzie CBOS, a raczej manipulacja informacją, jaką podał. Nie mogłam znaleźć samego komunikatu - pewnie jest dość świeży, więc treść będzie dostępna po jakimś czasie. Ale udostępnili ją mediom, a media, jak to media, przedstawiają wiadomość w zależności od tego, jakie wartości wyznają. Tak więc na niezaleznej czytamy:

Gdyby wybory parlamentarne odbyły się w połowie czerwca, na PiS zagłosowałoby 27 proc. ankietowanych, a na PO - 23 proc. - wynika z najnowszego sondażu CBOS. Do Sejmu weszłyby jeszcze tylko dwie partie: SLD - z 9-proc. poparciem i PSL z 6-proc. wynikiem. (...) Poniżej 5-procentowego progu wyborczego znalazłyby się: Ruch Palikota (3 proc.), Solidarna Polska (2 proc.), Nowa Prawica (2 proc.) i PJN (1 proc.).

I o co chodzi? Na pewno nie o krytykę CBOS, który ma dopracowane metody, a ich próby są reprezentatywne, ale o pominięcie dość istotnego faktu. Wystarczy spojrzeć na procenty i policzyć. Łącznie głos na jakąkolwiek partię oddałoby 73% badanych. A co z pozostałymi 27%? To dość spora suma, więc nie można mówić o błędzie statystycznym czy braku danych. Póki nie znam treści komunikatu, mogę tylko strzelać, że zapewne ci respondenci udzielili odpowiedzi w stylu "Nie mam na kogo zagłosować". Dlaczego więc nie ma o tym wzmianki? To zbyt duża liczba, żeby ją tak sobie pominąć. Zwłaszcza, że jest równa z wygrywającym PiSem. 

Nie mnie oceniać, czy to dobrze, czy źle. Jedynie co mogę powiedzieć, to fakt, że trzeba podchodzić do badania zawsze z dużym dystansem i krytycyzmem. Poza tym opinie zawsze się zmieniają, w zależności od tego, co się dzieje, co podają nam media, itd. Tak więc trzeba pamiętać, że wybory mogą się zawsze liczyć z niespodzianką, a sondaże o niczym nie przesądzają. 

niedziela, 10 lutego 2013

O sekciarstwie i pseudonauce

Z racji, że sesja przebiegła pomyślnie i bezboleśnie - czas na kolejną notkę. Obiecałam ją wcześniej, tak więc pora się za to wziąć.

Jedną z moich ulubionych teorii (a przynajmniej takich, które mnie przekonują) jest teoria postmodernistyczna, wskazująca na pewne braki ery Oświecenia, która po dzień dzisiejszy obowiązuje w nauce, a przynajmniej pewne zasady wywodzące się z niej (m.in. empiryzm, badamy tylko to, co widoczne i mierzalne). Postmodernizm skłania jednak do myślenia. Zadaje przede wszystkim podstawowe pytanie: czy zawsze możemy ufać nauce? Czy nauka doprowadzi nas do "zbawienia", sprawi, że staniemy się lepsi? I tu właśnie zaczynają się pierwsze wątpliwości. 
Doświadczenia II wojny światowej pokazują przecież kompletnie co innego (w ogóle to tragiczne wydarzenie wywróciło pewien sposób myślenia do góry nogami, ale też stało się motorem do szczegółowych badań m.in. w psychologii społecznej - o takich przykładowych eksperymentach opowiem innym razem). Przecież nauka w nazistowskich Niemczech, czy nawet w USA stała na bardzo wysokim poziomie. A mimo to wykorzystano ją w złych celach. A i skąd też w popkulturze archetyp "złego/szalonego naukowca", którego można spotkać w prawie każdej kreskówce i który często jest nawet wyśmiewany?

Czy wszystko jest mierzalne i policzalne? Hmm, to jak zmierzyć poziom miłości czy sympatii? Jak sprawdzić, czy ktoś jest prawdziwym przyjacielem, a ktoś inny nie? Jak dowieść, że danym człowiekiem rządzi nienawiść? Nie jesteśmy przecież maszynami, które działają zawsze tylko zgodnie z danym schematem. To jest też ogólny problem nauk społecznych - jak ująć to, co niewidoczne? Można próbować, ale moim zdaniem nie będzie obiektywnego sposobu na to - a przynajmniej nie za naszego życia. 

A mimo tego jest spora część ludzi, która wierzy bezgranicznie we wszystko, co ma do zaoferowania nauka - przy tym deklarując ateizm. Dlaczego o tym mówię? Ano dlatego, że być może kogoś tym urażę, ale mam tezę, która głosi, że taki prawdziwy ateizm nie istnieje. Można odrzucić Boga chrześcijańskiego, Jahwe, Allaha, Buddę, duchy, kogokolwiek. Ale to nie jest jeszcze jednoznaczne z ateizmem. Łączę to przede wszystkim z podstawową potrzebą człowieka - potrzebą bezpieczeństwa. Potrzebą tego, że być może jest coś po śmierci, albo potrzebą tego, że jest ktoś/coś mądrzejszy/mądrzejszego ode mnie, jakiś autorytet, którego warto słuchać, za którym warto podążać. Może to być jakaś osoba, instytucja, grupa, cokolwiek, a może to być też nauka. W każdym razie nazywam to "bożkiem". Jeśli nie wierzy się w konkretnego, takiego "mainstreamowego" Boga, to zawsze (może często nawet nieświadomie) znajdujemy coś, co nam to zastępuje. Taką bezgraniczną wiarę w rolę nauki nazywam sekciarstwem. Łączy się z nim właśnie po części pseudonauka

Podstawową cechą nauki jest to, że musi się rozwijać. Trzeba powątpiewać, szukać czegoś nowego, nierzadko odrzucać to, co obowiązywało do tej pory (przykładem niech będzie to, że jeszcze do niedawna w podręcznikach było napisane, że Pluton jest planetą, dzisiaj mówią o tym, że tak nie jest). Jeżeli więc ktoś bezgranicznie słucha się "mistrza", czy stosuje metody, które były stosowane 100 lat temu i ani myśli o tym, żeby spróbować coś innego, to czy można powiedzieć, że to jest nauka?

W naukach społecznych dodatkowo dochodzi problem łatwej manipulacji informacją, zwłaszcza ma to miejsce w raportach badawczych - i potem śmiać mi się chce, kiedy widzę przeróżne interpretacje wyników badań lub pseudo-badań, zwłaszcza w komentarzach internautów. Mogę tutaj na koniec zawrzeć parę wskazówek, które pomogą odróżnić pseudo-badanie, pseudo-raport od prawdziwego raportu. Oczywiście nie wszystko musi się zgadzać, wskazywać jednoznacznie, że to na pewno jest pseudo-badanie, ale mogą być przesłanki, że trzeba się odnieść krytycznie.


  • czy badanie zostało zrobione na zlecenie. Nie mówię tu o zleceniach firm, bo badania marketingowe to inna działka, ale np. badanie, które zostało zrobione dla partii politycznej. Z natury nauka powinna być neutralna. Jeśli robi się badanie "pod kogoś", można je wyrzucić od razu do kosza.
  • czy jest zawarta metodologia, próba, itp. Nie mówię tu o krótkich raportach CBOSu, bo te publiczne są bezpłatne i są zazwyczaj tylko streszczeniem całości. Ale jeśli raport mówi "wykonany na próbie reprezentatywnej" (a dzisiaj miałam okazję na taki trafić) i nic więcej, ani słowa o tym, jaka to próba, jak dobrana, jak wykonano badanie, jakiej techniki użyto - również można wywalić to do kosza i nawet się nie przejmować czymś takim. A jeśli w ogóle próba jest źle dobrana i pominięto to w opisie - to tym bardziej.
  • należy uważać na interpretacje słowne i komentarze. Często ma to w miejsce w gazetach. Przykładowo: używanie słówek "aż" albo "tylko", które już sugerują czytelnikowi, że coś jest złe, albo dobre. Np. "Tylko 30% Polaków czyta regularnie książki". I dalej rozwinięcie, że jak to źle, itd. Ok, ale... co z 70%? I tu należy się zastanowić, czy coś jest dobrze napisane. Choć może to być już wina dziennikarza, a niekoniecznie badacza - można przecież zawsze odwrócić kota ogonem ;)


Może następna notka będzie jakoś bardziej "na czasie"? Hmmm...