Dzień dobry, poprosiliśmy państwa o stworzenie kompletu narzędzi do badania poziomu bezpieczeństwa w szkole i super! Zrobiliśmy ankietę dla uczniów, rodziców i nauczycieli… i zaczął się problem … Proszę o informację jak interpretować wyniki badań. Chodzi konkretnie o stwierdzenie: Czuję, że nauczyciele mnie szanują. Odpowiedź tak dało 46 % uczniów, odpowiedź raczej tak 32%, trudno powiedzieć 15%, raczej nie 2%, nie 0%. Bardzo proszę o interpretację dotyczącą "czytania" tego wyniku oraz jeśli to możliwe podanie zasad postępowania w przypadku realizacji badań w szkole. Nauczyciel uparcie twierdzą, że powinno być odpowiedzi na zasadzie Tak lub Nie. Z góry dziękuję za pomoc w tej sprawie.

[1] Przypisujemy wartości liczbowe poszczególnym możliwościom odpowiedzi (stopień oceny danego stwierdzenia jest liczbą. Musimy postanowić, czy wynik wysoki ma oznaczać odczucie pozytywne, czy negatywne. Trzeba być konsekwentnym).

[2] Obliczamy łączną liczbę punktów uzyskanych przez respondentów poprzez zsumowanie wartości punktowych ich odpowiedzi na każde ze stwierdzeń.

Średnia z odpowiedzi jest łatwa do policzenia i sporo mówi o badanej grupie.
Przedstawione wyniki dla stwierdzenia: „Czuję, że nauczyciele mnie szanują” (odpowiedź „tak” dało 46 % uczniów, odpowiedź „raczej tak” - 32%, „ trudno powiedzieć” – 15 %, „raczej nie” - 2%, „nie”- 0%) wskazują, iż procenty nie sumują się do 100 (po zliczeniu otrzymujemy 95%). Nie wiemy też, ilu uczniów ( w liczbach bezwzględnych) zostało poddanych badaniu, a to są dane, bez których nie wyliczymy średniej z odpowiedzi.
Średnia ( dla przypomnienia) to suma wyników podzielona przez liczbę ankietowanych. Średnią wylicza się w Excelu za pomocą funkcji ŚREDNIA, którą można znaleźć po kliknięciu na znak równości w kategorii „statystyczne”. Wystarczy podać tej funkcji jako parametr zakres danych ( czyli na przykład B2:B100, jeśli chcemy policzyć średnią z danych z drugiej kolumny do miejsca drugiego do setnego).

Jeśli wyjdzie nam średnia na przykład 4,5 to możemy powiedzieć, że średnio uczniowie mają odczucie, iż są szanowani przez nauczycieli.
Można także obliczyć medianę z danych, czyli wartość środkową, przeciętną. Wzór na pozycję mediany: poz.Me = (n+1)/2, gdzie n to liczba elementów w zbiorze. W naszym przypadku mediana wynosi 3.

Zalety i ograniczenia skali Likerta:
1) rzetelnie porządkuje zróżnicowanie postawach, odczuciach, przekonaniach;
2) ze względu na szerszy zakres odpowiedzi dostępnych respondentom przewyższa pod względem rzetelności skalę Thurstonea; jest też relatywnie mniej czasochłonna;
3) skala ta nie posiada subiektywnie równych interwałów, dzięki stosowaniu kryteriów wewnętrznej zgodności do selekcji stwierdzeń osiąga się jednowymiarowość;
4) układ odpowiedzi jest ciekawszy w tej skali, niż wynik ogólny;
5) trudności z jednoznaczną interpretacją punktu neutralnego – nie wiemy dokładnie, gdzie przebiega granica miedzy ocenami lekko negatywnymi, lekko pozytywnymi i ambiwalentnymi oraz brakiem wiedzy czy niezdecydowaniem badanych.

Istnieje kilka sposób prezentowania wyników:
1. Wersja podstawowa: przedstawianie tylko suchych danych na zasadzie: pytanie z ankiety, wielkość próby badawczej, wyniki w formie tabelarycznej i wykresów.
2. Wersja poszerzona: powyższe dane uzupełnione są dodatkowo o opisy słowne, które z kolei przybierają jedną z dwóch form:
▪ powtarzają informacje zaprezentowane w tabeli lub na wykresie (np. „46% respondentów odpowiedziało „tak”, 32% wybrało odpowiedź „raczej tak”, 15% odpowiedziało, że „trudno powiedzieć”, a 2% udzieliło odpowiedzi „nie”);
▪ rozszerzają prezentowane informacje o dodatkowe informacje o dodatkowe spostrzeżenia, którymi dzieją się autorzy raportu, np. „powyższe dane wskazują na …”, „ z danych na wykresie wynika, że …”.

W miarę możliwości prezentujemy dane szczegółowo. Oznacza to między innymi, że w momencie, gdy struktura odpowiedzi na dane pytanie różni się między grupami respondentów ( w naszym przypadku uczniów, nauczycieli, rodziców, którym zadano taki sam rodzaj pytania), wtedy należy przedstawić wyniki łącznie, a także wyniki cząstkowe dla każdej z badanych grup.
Przy zaawansowanej analizie, bazującej na większej próbie badawczej, można zastosować narzędzia statystyki opisowej, a także pokusić się o wyliczenie istotności statystycznej uzyskanych wyników.

Jeśli chodzi o zasady postępowania w przypadku realizacji badań w szkole, to zostały one przedstawione poniżej.

Po zebraniu odpowiednich danych dotyczących badanego problemu, zagadnienia, obszaru zespół ewaluacyjny przystępuje do ich analizy i interpretacji. Analiza danych jest procesem złożonym i
skomplikowanym, wymagającym od dokonującej jej osoby znajomości odpowiednich
technik, zwłaszcza wiedzy z zakresu statystyki i obsługi komputerów.

Analizując i interpretując dane zebrane podczas realizacji projektu ewaluacyjnego, trzeba zastanowić się, które z nich mają znaczenie – i jakie – dla badanego zagadnienia oraz pytań ewaluacyjnych
(egzemplaryczne – ilustrujące konkretnym przykładem, reprezentatywne – ważne dla rozumienia całości).
Warto tu stosować metodę triangulacji danych, polegającą na porównywaniu wyników uzyskanych różnymi metodami z wielorakich źródeł. Poszczególne dane analizowane razem wzajemnie się weryfikują oraz dają lepszy – głębszy i wielowątkowy – obraz badanego problemu. Jeżeli okazują się być wzajemnie sprzeczne, naprowadzają na nowe pytania i pomysły.
Rozstrzyganie o spełnianiu kryterium w ewaluacji opiera się na analizie kilku źródeł (narzędzi). Aby decydować o spełnianiu lub niespełnianiu kryterium, należy najpierw przeanalizować każde ze źródeł dostępne przy danym kryterium. W tym celu najlepiej podzielić narzędzia na ilościowe
( badania kwestionariuszowe) i jakościowe ( wywiad, obserwacja, analiza dokumentów) i przeprowadzić analizę każdego z nich osobno.

Czym jest analiza danych ilościowych?

Dane o charakterze ilościowym dotyczą informacji liczbowych, również informacji, które można zakodować w formie liczb (np. opinii – badania sondażowe). Wykorzystywane są do
poznania rozkładów częstości występowania badanego zjawiska oraz określania poziomu
zależności, jakie występują pomiędzy różnymi zmiennymi. Dane ilościowe podlegają analizie statystycznej i regułom w niej obowiązującym. Umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji. Zasadniczym pytaniem jest: ile?
Charakter i zakres dokonywanych analiz zależy od skali, na jakiej dokonany został pomiar (skala nominalna, przedziałowa i ilorazowa). Wnioskowanie statystyczne umożliwia weryfikowanie stawianych hipotez w oparciu o posiadane dane. Błędem często popełnianym w analizie statystycznej jest utożsamianie zależności pomiędzy zmiennymi z ich wzajemną przyczynowością. Przyczynowość nigdy nie może zostać udowodniona statystycznie, choć może być bardzo silnie sugerowana.

Analiza ilościowa – statystyka opisowa

Sposób prezentacji danych może być różny, w zależności od tego, z jakim pytaniem mamy do czynienia. Zasadniczo stosujemy trzy rodzaje pytań kwestionariuszowych: pytanie jednokrotnego wyboru, pytanie wielokrotnego wyboru oraz pytanie otwarte.
Pytanie jednokrotnego wyboru daje respondentowi możliwość zaznaczenia tylko jednej odpowiedzi. Dane zebrane za pomocą takich pytań przedstawiamy w formie tabelarycznej, gdyż jest ona jedną z lepszych form prezentacji danych. Tabela zawiera następujące informacje: opisy wartości (czyli możliwych odpowiedzi w kafeterii), częstości, udział, udział ważnych odpowiedzi.
Przykładowy rozkład częstości dla pytania jednokrotnego wyboru:
 

III kolumna pokazuje, ilu respondentów wzięło udział w badaniu, ilu wybrało konkretne odpowiedzi, a ilu odmówiło udzielenia odpowiedzi na to pytanie. IV kolumna zawiera udziały ( procenty) dla całej próby, łącznie z brakiem danych. V kolumna to procenty wyciągnięte z głosów ważnych ( z pominięciem braków danych).
W opisie statystycznym procentów używa się do prób liczących co najmniej 100 jednostek. W przypadku niewielkich prób do opisu wyników ankiety najlepiej jest posłużyć się językiem ułamków (np. „nieco ponad jedna trzecia respondentów ( 12 z 30) wskazuje, że…”). Dane można też przedstawić w postaci graficznej ( na wykresie), co znacznie ułatwia np. identyfikację dominanty lub charakterystyki rozkładu.

Pytanie wielokrotnego wyboru daje respondentowi możliwość zaznaczenia dowolnej liczby odpowiedzi. Jeśli respondent zaznaczył daną wartość, to traktujemy to jako odpowiedź „Tak”, jeśli pozostawił puste pole – „Nie”.
Przykładowy rozkład częstości dla pytania wielokrotnego wyboru:
 

Poszczególne odpowiedzi sumowane są w wersach, a nie w kolumnach. W I kolumnie znajdują się opisy odpowiedzi, w II - liczebność wskazań na „Tak”, w III - liczebność wskazań na „Nie”, w IV – brak odpowiedzi, w V – suma wskazań. Kolejne kolumny zawierają informacje o udziałach – najpierw z wszystkich odpowiedzi (łącznie z brakami danych), następnie tylko z ważnych odpowiedzi. Liczba braków odpowiedzi i łączna suma wskazań będą stałe w całej tabeli – poszczególne odpowiedzi będą się różniły proporcja wskazań „Tak” i „Nie”.
Pytanie jednokrotnego i wielokrotnego wyboru może zawierać jedną wartość bez określonej z góry treści (kafeteria otwarta). To miejsce można oznaczyć jako „Inne”, w którym respondent wpisuje coś, czego nie ma w pozostałych wartościach. Odpowiedzi wpisane przez respondentów zamieszcza się pod danymi liczbowymi.

Etapy analizy danych ilościowych:
I.Analiza braków danych.
Na braki danych warto zwrócić uwagę w sytuacji, gdy w pojedynczych pytaniach jest ich wyraźnie więcej niż w innych lub są one często wybieraną wartością. O czym mówią braki danych? Mogą oznaczać błędy w realizacji badania, postawienie zbyt trudnych pytań lub poruszenie jakiś kontrowersyjnych kwestii.
II. Analiza tendencji centralnych.
W oknach tabeli łatwo dostrzec, gdzie znajduje się najczęściej występująca wartość (dominanta). Jeżeli przypada ona na jedną ze skrajnych wartości („Tak”/ „Nie”), to oznacza, że w opinii respondentów coś ogólnie jest w porządku lub coś jest nie tak.
Kiedy nie mamy wyraźnej dominanty lub respondenci nie wskazują wartości skrajnych, wówczas przydatne są przekształcenia rozkładu częstości. Przy mniejszym zróżnicowaniu opinii dowiemy się o wiele więcej, patrząc na to, jak grupowały się odpowiedzi.
III. Analiza minimów.
W trakcie analizy warto przyjrzeć się również temu, co kryje się na krańcach. Rola tej analizy zależeć będzie od ciężaru gatunkowego pytania. Ułatwieniem w analizie najczęściej występujących odpowiedzi i marginesów jest znajomość modelowych rozkładów(wykresów).
Wykres symetryczny oznacza, że dominują wartości przeciętne, nie ma silnie zarysowanych ekstremów. Lepto- i platykurtyczność pozwala na łatwe porównanie wykresów o podobnej symetrii. Im bardziej stromy (leptokurtyczny) wykres, tym więcej wskazań skupia się na środku, przy - zazwyczaj neutralnych – wartościach. Im bardziej plaski (platykurtyczny), tym bardziej rozproszone są wypowiedzi, a zatem respondenci nie są zgodni w ocenach.
Rozkład prostokątny występuje przy równomiernym rozproszeniu odpowiedzi ( każda z wartości została wybrana przez taką samą liczbę respondentów). Oznacza, że w poddanej badaniu próbie nie występuje żadna wyraźna tendencja. Z punktu widzenia spełniania kryterium taki rozkład nie przybliża do rozstrzygnięcia, jest bezużyteczny. Odpowiedzi zatem należy poszukiwać w innych źródłach.
Rozkład dwumodalny oznacza, że wypowiedzi respondentów skupiły się w dwóch miejscach ( zw. modami, inaczej dominantami). Może to wskazywać na wyraźny podział w grupie. Wykres U-kształtny ( przypomina literę „u”) oznacza, że wiele wskazań skupia się przy skrajnych wartościach zmiennej
(skrajne opinie świadczą o mocnym podziale).

Rozkład J- kształtny oznacza osiągniecie skrajnej skośności. Dominanta przypada na którąś z wartości zmiennej. Interpretacja takiego wykresu jest stosunkowo prosta (wystarczy wskazać dominantę i opisać minimum). Rozkład, w którym badani wybierają ekstremum jest dość rzadki. Kiedy się na niego trafi, warto to podkreślić.

Opracowanie i wnioskowanie na podstawie pytań otwartych to najbardziej pracochłonna część analizy.

Opracowanie tych pytań wymaga stworzenia klucza do analizy, a następnie opracowania każdej wypowiedzi.

Klucz do analizy to zestaw możliwych wariantów ( tzw. kodów), przy czym – co bardzo istotne - kody muszą być rozdzielne i wyczerpywać wszystkie możliwości. Żeby stworzyć pierwszą wersję kodów, należy przejrzeć część wypowiedzi respondentów. Najwygodniej jest przekopiować wypowiedzi do arkusza kalkulacyjnego (np. Excel) i przejrzeć 5-10% wypowiedzi ( czytając na przykład co n –tą wypowiedź). Pojawiające się kategorie należy odnotowywać, nie ignorując żadnych wskazań w materiale. Notatki poddaje się następnie szczegółowej analizie, zwracając szczególną uwagę na następujące kwestie: czy stworzone kategorie są zrozumiałe?, czy nie nakładają się na siebie?, czy są zgodne z celem analizy? ( rozstrzygają bądź nie o spełnianiu kryterium), czy liczba kategorii nie zbyt duża ani zbyt mała?

Kody przenosimy do tabeli, w której znajdują się kopie wszystkich wypowiedzi respondentów. Wypowiedzi powinny być umieszczone w wersach, kody tworzą kolejne kolumny.

Przykładowa tabela kodowa:

W odpowiedniej kolumnie zaznaczamy, że pojawiło się wskazanie na dany kod, np. cyfrą arabską 1. Jeżeli pojawi się coś, czego nie byliśmy w stanie przyporządkować do istniejących kodów, to wystarczy dopisać kolejną kolumnę. Warto przy tym zwrócić uwagę, by nowy kod nie mnożył nadmiernie łącznej liczby kodów. Wyjściem z tej sytuacji może być stworzenie dodatkowego kodu (np. „Pozostałe”) i przejrzenie jego zawartości na koniec analizy.
Może też wystąpić sytuacja wielokrotnych wskazań, co oznacza, że część wypowiedzi pasuje do różnych kodów. Wówczas należy rozważyć przyjęcie jednego z możliwych rozwiązań:
1)stworzenie dodatkowej kategorii dla wypowiedzi łączących różne kody;
2) połączenie kategorii w jedną ( redukcja dokładności pomiaru);
3) potraktowaniu wypowiedzi jak pytań wielokrotnego wyboru i zaznaczenie wszystkich odpowiednich kolumn ( niemożność zaprocentowania ze wszystkich wskazań). Można wówczas budować hierarchię częstości i układać poszczególne kody od najczęściej wybieranych do wybieranych najrzadziej. Można także procentować w kolumnach. Oznacza to, że wypowiedzi zaznaczone w danej kategorii traktujemy „Tak”, a nie zaznaczone jako „Nie” ( przy takim rozwiązaniu powinno się zaznaczyć, że z uwagi na możliwość wielokrotnych wskazań procenty nie sumują się do 100).
Po zakończeniu kodowania trzeba opisać uzyskany rozkład. Jeżeli wybraliśmy dwa pierwsze rozwiązania lub nie pojawiły się wielokrotne wskazania, możemy procentować z całości ( suma udziałów zawsze wyniesie 100), jeżeli zdecydowaliśmy się na trzecie rozwiązanie, opisujemy dane zgodnie z zastrzeżeniami wskazanymi wyżej.
Struktura opisu całkowicie zależy od ewaluatora. Może podążyć za hierarchią częstości wyborów, choć nie zawsze jest to dobre rozwiązanie. Z punktu widzenia rozstrzygnięcia kryterium o wiele łatwiej będzie podzielić kody na te świadczące o spełnianiu i niespełnianiu, a następnie przedstawić je w takiej sekwencji. Dopiero w obrębie grup ( spełnianie/niespełnianie) można opisywać hierarchię częstości lub zbudować inny, logiczny podział.

Czym jest analiza danych jakościowych?

Dane jakościowe nie są wyrażone w liczbach i dotyczą opisu, poznania i zrozumienia
badanych zjawisk. Najczęściej są one niezbędne dla właściwej interpretacji informacji liczbowych. Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w znaczeniu ilościowym. Pozwalają na sformułowanie odpowiedzi na pytania: co?, jak?, dlaczego? Są wieloznaczne i wielowymiarowe, trudno na ich podstawie formułować uogólnienia.
Analiza jakościowa jest bardziej złożona, gdyż ewaluator otrzymuje materiał, który najczęściej jest słabo strukturalizowany. Zadaniem badacza jest jego uporządkowanie w celu znalezienia prawidłowości.

Analiza jakościowa
Analiza jakościowa nie wymaga złożonych procedur. Nie jest trudna do przeprowadzenia, jeśli został zebrany dobry materiał empiryczny, a ewaluatorzy w pełni zrozumieli to, co zaobserwowali w trakcie badania.
Analiza jakościowa składa się z kilku etapów:
I. Wyodrębnienie danych nieadekwatnych do badanego kryterium.
Nie wszystkie informacje podane przez respondentów są przydatne przy rozstrzyganiu o spełnianiu kryterium. Odznacza się zatem zbędne informacje, pamiętając, że nieadekwatne dane do badanego kryterium mogą okazać się przydatne przy innym.

II. Podział danych adekwatnych na świadczące o spełnianiu kryterium i wskazujące na niespełnianie kryterium. Informacje wskazujące na spełnianie lub niespełnianie kryterium należy oznaczyć , na przykład przez podkreślenie odpowiednim kolorem.

III. Redukcja materiału – stworzenie kategoryzacji, uogólnień.
Zaznaczone wypowiedzi należy podzielić na kategorie. Ważne, aby odnosiły się one do treści kryterium. Pozwala to na określenie merytorycznej zawartości argumentów. W raporcie nie prezentuje się przytoczonej argumentacj