JUBILEUSZ 425-LECIA ISTNIENIA SZKOŁY 1588-2013

EDUKACYJNA WARTOŚĆ DODANA

Mając świadomość problemów, na które może napotkać zastosowanie metody EWD przedstawiam poniżej tekst, który może być pomocny przy interpretacji wyników oraz prowadzenia analiz w ramach ewaluacji wewnątrzszkolnej. Dla każdej szkoły ponadgimnazjalnej zostały opracowane trzyletnie wskaźniki przez Instytut Badań Edukacyjnych, które w syntetyczny, graficzny sposób charakteryzują szkołę ze względu na wyniki egzaminacyjne oraz efektywność nauczania. Wskaźniki te obliczane są dla czterech obszarów nauczania. Pierwszy, humanistyczny, obejmuje język polski, historię i wiedzę o społeczeństwie. Drugi obszar obejmuje wyniki egzaminu z języka polskiego. Trzeci zakres treściowy, matematyczno-przyrodniczy, obejmuje matematykę, informatykę, fizykę, chemię, biologię i geografię. Czwarty obszar to wydzielona do osobnego wskaźnika matematyka. W szacowaniu wskaźników egzaminacyjnych wykorzystuje się informację o wykonaniu zadań egzaminacyjnych zarówno na poziomie podstawowym jak i rozszerzonym. Załącznikiem do poniższego tekstu są właśnie graficzne interpretacje ilustrujące pozycję Naszego Liceum a obejmujące okresy 2010-2012 oraz 2011-2013.
Uwaga! Główne osie układu współrzędnych wyznaczają pozycję szkoły w stosunku do wyników ogólnopolskich, zaś „osie przerywane” w stosunku do wyników województwa małopolskiego.

                                                                             Życzę miłej lektury
                                                               Dyrektor Liceum -Tomasz Malicki


Czym jest EWD?

Jednolite testy pozwalają spojrzeć dyrektorom szkół, nauczycielom, wizytatorom oraz samorządom na wyniki nauczania w szerokiej perspektywie. Jednak obraz nauczania szkolnego widziany tylko przez pryzmat wyników końcowych nauczania jest dalece niepełny. Równie ważny jest postęp jaki robią uczniowie przez kilka lat nauki w danej placówce. Wyniki egzaminacyjne uczniów zależą od wielu czynników niezależnych od szkoły, w której uczyli się na danym etapie edukacyjnym, przede wszystkim od uprzednich osiągnięć. Potrzebujemy zatem dobrej miary postępu poczynionego przez uczniów podczas nauki w danej szkole. Postęp ten pozwala wyznaczać metoda edukacyjnej wartości dodanej, która w sposób poprawny statystycznie pozwala wymierzyć wkład szkoły w ten postęp, dzięki temu staje się ważnym narzędziem analizy wyników nauczania. Inaczej - metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. By można ją zastosować, potrzebujemy wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie. Polski system egzaminacyjny dostarcza danych do wyliczania EWD dla gimnazjów oraz szkół maturalnych (egzamin gimnazjalny jako miara na wejściu, egzamin maturalny jako miara na wyjściu). Już od kilku lat dostępne są on-line wskaźniki egzaminacyjne dla około 6 tysięcy gimnazjów i niemal 4 tysięcy liceów ogólnokształcących i techników. Od 2012 roku możemy opublikować obejmujące okres 2010-2012 oraz 2011-2013 miary trzyletnie. Są to kolejno wskaźnik: humanistyczny, z języka polskiego, matematyczno-przyrodniczy i matematyczny.
 
Jak odczytywać wykresy?

Położenie szkoły przedstawiane jest za pomocą elipsy. Elipsa dla szkoły jest mniejsza, im więcej wyników maturalnych uwzględniono w wyliczeniach i im mniej były one zróżnicowane. Jeżeli „elipsa” znajduje się blisko punktu środkowego układu współrzędnych, oznacza to, że jest to placówka w skali kraju statystycznie przeciętna (neutralna). Szkoły ulokowane blisko środka układu współrzędnych, to w skali kraju najliczniejsza kategoria liceów (techników). Dzieje się tak dlatego, że  zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmują wartości bliskie lub niezbyt odległe od średniej. By ułatwić statystyczną interpretację pozycji szkoły, w układzie współrzędnych stanowiącym krajowy układ odniesienia, wyrysowano dwie szare elipsy (warstwice). Mniejsza z nich, ciemnoszara, wskazuje obszar, w którym mieści się 50% LO lub techników w całym kraju. Druga elipsa, jasno szara, wyznacza obszar, w którym mieści się 90% szkół danego typu w skali Polski. Środkiem symetrii tych elips jest punkt (100;0).
Wskaźnik EWD dla liceum ogólnokształcącego mówi o tym, na ile wysokie/niskie wyniki matury uzyskali jego absolwenci w porównaniu do uczniów o analogicznych wynikach na egzaminie gimnazjalnym. Wskaźniki EWD służą do porównywania szkół, pod warunkiem, że szkoły te są tego samego typu, maja zbliżoną liczbę uczniów przystępujących do matury oraz podobny kontekst środowiskowy. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Przeciętna, w sensie statystycznym, szkoła ponadgimnazjalna ma zatem EWD równą 0 oraz uzyskuje średni wynik egzaminacyjny około 100. Wartość dodatnia EWD wskazuje na ponadprzeciętną w skali kraju efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność.
Zarówno średni wynik egzaminu maturalnego jak i EWD w danym obszarze przedstawiany jest na znormalizowanej dla kraju - oddzielnie dla LO i techników – skali standardowej o średniej 100 i odchyleniu 15. Uzyskane dla każdego z czterech wyróżnionych obszarów nauczania wskaźniki poziomu umiejętności maturzystów są przeliczane na skalę standaryzowaną o średniej krajowej 100 i  odchyleniu standardowym 15. Procedura standaryzacji przeprowadzana jest oddzielnie dla uczniów liceów ogólnokształcących i techników w każdym z czterech opisywanych wskaźnikami obszarów nauczania.
Poniższy wykres przedstawia zakładany procentowy rozkład wyników.

Wykres
Dzięki własnościom rozkładu normalnego wynik przedstawiony na standaryzowanej skali ma ustaloną interpretację ilościową, czyli można powiedzieć, jak dany wynik wygląda na tle populacji odniesienia. Na wykresie przedstawiono wartości procentowe dla wybranych punktów skali. I tak wynik 130 oznacza, że  tylko trochę ponad 2% zdających w danej populacji uzyskało wynik wyższy, natomiast rezultat 85 wskazuje, że  blisko 16% uzyskało wynik niższy.

Dlaczego należy uwzględniać zarówno wynik maturalny jak i wskaźnik EWD?

Średni wynik egzaminacyjny i EWD, czyli wskaźnik efektywności nauczania, to miary komplementarne. Łącznie dają pełniejszą informację o szkole, niż każdy z nich z osobna. Konsekwencją tego, że  uwzględniamy zarówno wynik maturalny jak i wskaźnik EWD, jest prezentacja wyniku szkoły w dwuwymiarowym układzie współrzędnych. Ze względu na niepewność statystyczną szacowania wskaźników położenie szkoły przedstawiane jest za pomocą elipsy. Wielkość elipsy graficznie przedstawia stopień tej niepewności. Im więcej wyników egzaminacyjnych uwzględnia się w obliczeniach, tym mniejsza niepewność i mniejsza tym samym elipsa.
Opis położenia szkoły (elipsy) w układzie współrzędnych (wynik egzaminu, EWD) może ułatwić wyróżnienie kilku punktów odniesienia.

1.Szkoły neutralne. Licea ogólnokształcące, w których notujemy zarówno średni w skali kraju poziom wyników maturalnych, jak i przeciętną efektywność.

2.Szkoły o wysokich wynikach maturalnych i wysokiej efektywności mierzonej EWD (prawa górna ćwiartka).

3.Szkoły o wysokich wynikach maturalnych i niskiej efektywności mierzonej EWD (prawa dolna ćwiartka).

4.Szkoły o niskich wynikach maturalnych i wysokiej efektywności mierzonej EWD (lewa górna ćwiartka).

5.Szkoły o niskich wynikach maturalnych i niskiej efektywności mierzonej EWD (lewa dolna ćwiartka).

Jak prowadzić porównania wskaźników EWD?

1.Należy pamiętać, że  sens ma jedynie porównywanie między sobą szkół tego samego typu: licea ogólnokształcące porównujemy tylko z liceami ogólnokształcącymi, a technika – z technikami.

2.Jeśli dysponujemy dodatkową kontekstową informacją o szkole (np. jakie rozszerzenia programowe szkoła realizuje, jaki odsetek absolwentów kontynuuje naukę na wyższych uczelniach) lepiej jest porównywać ze sobą szkoły podobne, niż szkoły pracujące w całkowicie odmiennych warunkach.

3.Należy porównywać ze sobą szkoły o podobnej liczbie uczniów – w przypadku małoliczebnych szkół obszar ufności dla łącznego wyniku maturalnego i EWD (elipsa) będzie tak duży, że  porównanie straci sens.


Kraków, styczeń 2014                                                           Tomasz Malicki

/ opracowano na podstawie informacji dostępnych na www.ewd.edu.pl /


EWD  OBSZAR HUMANISTYCZNY

alt


EWD I LO hum 2011-13



EWD – JĘZYK POLSKI

EWD I LO j pol 2010-12


EWD I LO j pol 2011-13


EWD – OBSZAR MATEMATYCZNO-PRZYRODNICZY

EWD I LO mat przyr 2010-12



EWD I LO mat przyr 2011-13


EWD – MATEMATYKA

EWD I LO mat 2010-12

EWD I LO mat 2011-13