Prijeđi na sadržaj
HR

Crna Gora u PISA 2022

Što podaci PISA 2022 govore o sjeveru Crne Gore, i što se iz njih ne smije zaključiti

Dekompozicija regionalnih razlika na temelju javno dostupnih mikropodataka PISA 2022, uz provjeru mjerne usporedivosti indeksa iz upitnika koji se uz njih navodi

Dr. sc. Miloš Kankaraš | ORCID | Google Scholar | LinkedIn
Centar za psihologiju, Podgorica | PISA 2022 državne bilješke | kolovoz 2026.

Preuzmite cijelu analizu (PDF) Preuzmite cijelu analizu (PDF, na engleskom)

Sažetak

Petnaestogodišnjaci u Crnoj Gori postigli su u PISA 2022 prosječno 405,6 boda iz matematike. Taj jedan broj je ono što međunarodno izvješće po svojoj prirodi daje, i tu najčešće počinje i završava domaća rasprava o rezultatima PISA-e. Ovaj tekst istim podacima postavlja drugo pitanje, na koje međunarodne publikacije strukturno ne mogu odgovoriti: koliko je velika razlika među crnogorskim regijama i od čega se ona zapravo sastoji.

Četiri nalaza.

  • Učenici sa sjevera postigli su 25,0 boda manje od učenika iz središnje regije (standardna pogreška 2,5). Otprilike polovina te razlike je socioekonomski sastav populacije. Kada se kontrolira PISA-in indeks ekonomskog, socijalnog i kulturnog statusa, razlika iznosi 13,2 boda (standardna pogreška 2,6) i još uvijek je jasno različita od nule.
  • Preostala razlika ne objašnjava se ni time koje obrazovne programe učenici sa sjevera pohađaju. Kada se uz socioekonomski status kontrolira i program, ostaje 16,0 boda (standardna pogreška 2,5). Zaostatak sjevera nije artefakt strukture populacije.
  • Najveća strukturna podjela u podacima uopće nije regionalna. Učenici gimnazija postigli su 79,0 boda više od učenika strukovnih škola (standardna pogreška 2,3), odnosno 67,4 boda više kada je socioekonomski status izjednačen. To je oko 0,8 nacionalne standardne devijacije, a odnosi se na 53,5% generacije.
  • Indeks matematičke anksioznosti, koji se rutinski navodi uz ovakve razlike, prethodno je provjeren na mjernu invarijantnost među istim skupinama. Provjeru je prošao na striktnoj razini, i to s dva različita postupka procjene. Usporedba je dakle obranjiva, što je nalaz za sebe, a ne formalnost.

Ovaj tekst je neovisan doprinos uz rad nacionalnog PISA centra Crne Gore, a ne komentar na taj rad. Koristi isključivo podatke koje je OECD učinio javnima i pisan je tako da se svaka procjena u njemu može ponoviti. Komentari i ispravci nacionalnog centra su dobrodošli.

Pitanje za Crnu Goru

Svaka zemlja u PISA istraživanju na dan objave dobiva rang, naslov u medijima i međunarodno izvješće pisano za osamdeset obrazovnih sustava odjednom. Ono što gotovo nijedna zemlja ne dobije jest analiza vlastitih podataka na razini na kojoj se vodi njezina obrazovna politika. Crnogorska rasprava nije o tome gdje se zemlja nalazi između Srbije i Hrvatske. Ona je o sjeveru, o strukovnom obrazovanju i o tome jesu li razlike koje svi navode stvarne.

Na ta se pitanja može odgovoriti podacima koji već postoje. Javno dostupne datoteke PISA 2022 slobodno se preuzimaju od svibnja 2024. godine, sadrže zapise svih crnogorskih učenika, a Crna Gora je platila njihovo prikupljanje. Ono što je potrebno jest analitički aparat koji njima ispravno rukuje: plauzibilne vrijednosti, replikacijski ponderi i spremnost da se prije usporedbe provjeri podržava li je mjerenje uopće. Ova analiza primjenjuje upravo taj aparat.

Izvješće namjerno odgovara na jedno pitanje, a ne na pet. Također izričito navodi što ne tvrdi. Sedmi odjeljak je taj popis i nije formalnost.

Podaci i način obrade

5.793 crnogorskih učenika u 63 škole, koji predstavljaju ponderiranu populaciju od 6.340 petnaestogodišnjaka, iz OECD-ovih javno dostupnih datoteka PISA 2022 za učenike i škole. OECD navodi da su u Crnoj Gori svi podaci ispunili standarde kvalitete postavljene u PISA istraživanju i da su ocijenjeni kao prikladni za izvješćivanje.

Dvije osobine ovih podataka onemogućuju naivnu analizu, i obje su ovdje uzete u obzir.

  • Postignuće nije izmjereno, nego imputirano. Svaki učenik nosi deset plauzibilnih vrijednosti. Korištenje samo prve ili njihova prosjeka odbacuje varijancu među imputacijama i daje standardne pogreške koje su premale. Ovdje su procjene objedinjene prema Rubinovim pravilima preko svih deset vrijednosti.
  • Uzorak je klasteriran po školama. Standardna pogreška za jednostavan slučajni uzorak zato je pogrešna, najčešće dva i više puta. Ovdje se koristi 80 replikacijskih pondera prema metodi uravnoteženih ponovljenih replika s Fayevom korekcijom, koje OECD upravo u tu svrhu isporučuje, uz Fayev faktor 0,5.

Metoda koja daje uvjerljive brojeve nije ista kao metoda koja daje točne, pa je aparat najprije usmjeren na tri podatka koje je OECD za Crnu Goru već objavio. Tablica 1 prikazuje ishod. To je provjera koja sve što slijedi čini vrijednim čitanja.

Podatak koji je objavio OECD Objavljeno Ova analiza Standardna pogreška
Razlika između najpovlaštenije i najmanje povlaštene četvrtine, matematika 67 66,56 3,68
Udio varijance iz matematike objašnjen indeksom ESCS 9% 9,5% 0,009
Djevojčice minus dječaci, čitalačka pismenost 36 35,70 2,22

Tablica 1. Reprodukcija objavljenih OECD-ovih podataka. Izvor objavljenog stupca: OECD, PISA 2022 Results (Volume I and II) Country Note: Montenegro, 5. prosinca 2023. Sve tri vrijednosti reproducirane su u okviru zaokruživanja.

Regije su preuzete iz eksplicitnih uzoračkih slojeva koje OECD objavljuje za Crnu Goru, a koji križaju obrazovni program sa sjeverom, središnjom regijom i jugom. To je važno: riječ je o varijabli iz nacrta uzorka samog nacionalnog centra, a ne o grupiranju koje je izmislio vanjski analitičar, i znači da su regionalni poduzorci namjerno građeni da budu reprezentativni. Treba ih čitati kao analitičku razradu, a ne kao službenu regionalnu statistiku, jer Crna Gora u PISA istraživanju nije regionalno adjudicirana i OECD ne objavljuje posebne regionalne procjene.

Regionalna razlika i ono što od nje ostaje

Tri regije su daleko jedna od druge. Sjever je 25,0 boda ispod središta i 35,6 boda ispod juga, na ljestvici na kojoj nacionalna standardna devijacija iznosi 81,6 boda.

Regija Učenika Udio generacije Prosjek iz matematike St. pogreška Prosječni ESCS
sjever 1.453 25,5% 384,6 1,8 -0,54
središnja regija 2.995 52,0% 409,6 1,7 -0,10
jug 1.345 22,6% 420,1 2,6 -0,07

Tablica 2. Postignuće iz matematike i socioekonomski status po regijama. ESCS je PISA-in indeks ekonomskog, socijalnog i kulturnog statusa, standardiziran preko svih sustava sudionika, pa negativna vrijednost znači ispod međunarodnog prosjeka.

Grafikon 1. Prosječan rezultat iz matematike po regijama, s intervalima pouzdanosti od 95%. Isprekidana linija je nacionalni prosjek. Oznake na grafikonima su na engleskom.
Grafikon 1. Prosječan rezultat iz matematike po regijama, s intervalima pouzdanosti od 95%. Isprekidana linija je nacionalni prosjek. Oznake na grafikonima su na engleskom.

Očekivano objašnjenje je novac i obrazovanje roditelja, i djelomično je točno. Sjever je izrazito nepovoljniji: prosječni ESCS -0,54 naspram -0,10 u središtu. Svaki porast ESCS-a za jednu jedinicu vrijedi 29,3 boda (standardna pogreška 1,4) na nacionalnoj razini.

Kontrola tog čimbenika uklanja otprilike polovinu razlike, a ostatak ostaje.

Usporedba Bez kontrole St. pogreška Uz kontrolu ESCS-a St. pogreška
Sjever minus središte -25,0 2,5 -13,2 2,6
Jug minus središte 10,5 3,2 9,5 3,0

Tablica 3. Regionalne razlike iz matematike, prije i poslije kontrole socioekonomskog statusa.

Jug je iznenađujuća polovina te tablice. Njegov socioekonomski profil blizak je središnjem (-0,07 naspram -0,10), pa kontrola jedva pomiče njegovu prednost: 10,5 boda bez kontrole, 9,5 boda uz kontrolu ESCS-a. Ono što se događa na jugu nije socioekonomska priča.

Drugo moguće objašnjenje jest da sjever jednostavno ima drukčiju strukturu obrazovnih programa. Ima je, ali ne u smjeru koji bi razliku objasnio. Tablica 4 prikazuje strukturu programa po regijama.

Regija Osnovna škola Gimnazija Strukovne škole Mješovite
sjever 4,0% 22,4% 54,4% 19,2%
središnja regija 5,7% 26,6% 63,1% 4,7%
jug 3,0% 8,8% 30,7% 57,5%

Tablica 4. Ponderirani udio petnaestogodišnjaka po obrazovnom programu unutar svake regije. “Osnovna škola” su učenici koji su još u završnom razredu devetogodišnjeg osnovnog obrazovanja; “mješovite” škole izvode više od jednog tipa programa.

Kontrola programa uz socioekonomski status ne smanjuje zaostatak sjevera. Blago ga povećava, na 16,0 boda ispod središta (standardna pogreška 2,5), a prednost juga raste na 14,0 boda (standardna pogreška 3,7). Grafikon 2 prikazuje sve tri verzije svake usporedbe zajedno.

Grafikon 2. Regionalne razlike iz matematike u odnosu na središnju regiju, bez kontrole i nakon dvije kontrole, s intervalima pouzdanosti od 95%.
Grafikon 2. Regionalne razlike iz matematike u odnosu na središnju regiju, bez kontrole i nakon dvije kontrole, s intervalima pouzdanosti od 95%.

Zaključak za politiku je uzak i obranjiv. Oko polovine izmjerenog zaostatka sjevera jest socioekonomski sastav regija. Druga polovina, nekih 13,2 do 16,0 boda, ne objašnjava se ni time tko su učenici ni time koji tip škole pohađaju. To je razlika u onome što se događa usporedivim učenicima u usporedivim programima, i to je dio na koji regionalna mjera načelno može utjecati.

Podjela koja je veća od regionalne

Regionalna rasprava je glasna, ali podaci veću razliku nalaze drugdje. Razmak između gimnazija i strukovnih škola tri je puta veći od razlike sjever-središte.

Program Učenika Udio generacije Prosjek iz matematike St. pogreška Prosječni ESCS
Gimnazija 1.293 21,5% 461,1 2,1 0,24
Strukovne škole 3.208 53,5% 382,1 1,1 -0,34
Mješovite 1.226 20,3% 408,0 2,2 -0,27
Osnovna škola 66 4,6% 408,7 16,7 -0,43

Tablica 5. Postignuće iz matematike po obrazovnom programu. Skupina “osnovna škola” je mala (n = 66) i njezina je procjena razmjerno neprecizna; navodi se radi cjelovitosti, a ne radi tumačenja.

Grafikon 3. Prosječan rezultat iz matematike po obrazovnom programu, s intervalima pouzdanosti od 95%.
Grafikon 3. Prosječan rezultat iz matematike po obrazovnom programu, s intervalima pouzdanosti od 95%.

Učenici strukovnih škola postižu 79,0 boda manje od gimnazijalaca (standardna pogreška 2,3). Socioekonomska selekcija u dva smjera je stvarna i objašnjava dio te razlike, ali samo dio: uz kontrolu ESCS-a razlika je i dalje 67,4 boda (standardna pogreška 2,6), oko 0,8 nacionalne standardne devijacije.

Dvije ograde prije nego što netko izvuče zaključak. Prvo, ovo je koliko razlika u učinku škole toliko i razlika u selekciji, a PISA to dvoje ne može razdvojiti: učenici se u programe ne raspoređuju slučajno, a raniji uspjeh nije mjeren. Drugo, mjereno je s 15 godina, kada je usmjeravanje u Crnoj Gori tek stupilo na snagu, pa ništa izravno ne govori o tome što dva tipa programa daju tijekom cijelog trajanja. Ono što se utvrđuje jest veličina razlike koja postoji s 15 godina, i to da njezin veći dio nije socioekonomski sastav.

Veza s regionalnim nalazom zaslužuje jednu rečenicu. Prednost juga postoji uz najmanji udio gimnazijalaca od svih regija (8,8%) i najveći udio mješovitih škola (57,5%). Upravo zato kontrola programa prednost juga povećava umjesto da je smanji, i to je obrazac vrijedan pozornosti nacionalnog centra.

Može li se ovim usporedbama vjerovati? Provjera mjerenja

Sve navedeno uspoređuje rezultate testa, koji su po konstrukciji smješteni na zajedničku ljestvicu. Čim izvješće pređe na indekse iz upitnika, to jamstvo prestaje važiti, i tu domaći komentari rezultata PISA-e najčešće griješe. Indeksi poput osjećaja pripadnosti školi, podrške nastavnika ili matematičke anksioznosti grade se od nekoliko tvrdnji s kojima se učenik slaže ili ne slaže. Usporedba njihovih prosjeka među skupinama pretpostavlja da tvrdnje u svakoj skupini znače isto i da se na isti način odnose prema latentnoj varijabli. Ta je pretpostavka provjerljiva, a najčešće se ne provjerava.

Indeks koji se prirodno veže uz gornje nalaze jest matematička anksioznost, koju PISA 2022 mjeri sa šest tvrdnji i koja je najcitiranija objašnjavajuća varijabla u ciklusu posvećenom matematici. Prije usporedbe po regijama i programima, indeks je prošao kroz postupnu analizu mjerne invarijantnosti.

Jednu tehničku prepreku trebalo je prethodno ukloniti, i vrijedi je imenovati jer neprimjetno ruši uobičajeni postupak.

Od 2022. PISA rotira sadržaj upitnika: učenik po nacrtu odgovara na dio bloka, a ne zato što odbija odgovoriti. Od šest tvrdnji o anksioznosti, 4.602 od 5.793 učenika odgovorilo je na točno pet, uz rotaciju izostavljene tvrdnje, a 963 nije odgovorilo ni na jednu. Broj učenika sa sva šest odgovora iznosi 0. Svaka analiza koja briše nepotpune slučajeve, a to je zadano ponašanje većine programa, zato ne vraća ništa, pa analitičar koji to ne primijeti može zaključiti da je blok neupotrebljiv. Ipak, svaki je par tvrdnji zajednički opažen kod najmanje 3.109 učenika, što je sasvim dovoljno za procjenu punom informacijom. Analiza u nastavku koristi svih 4.787 učenika koji su odgovorili na bar dvije od šest tvrdnji.

Analiza provjerava četiri sve snažnije tvrdnje. Konfiguralna invarijantnost pita vrijedi li ista jednofaktorska struktura u svakoj skupini. Metrička dodaje jednaka faktorska opterećenja, čime se omogućuje usporedba odnosa među varijablama. Skalarna dodaje jednake odsječke, čime se omogućuje usporedba prosjeka. Striktna dodaje jednake rezidualne varijance. Svaki se korak ocjenjuje time pogoršava li se podudarnost modela preko uobičajenih pragova od pada CFI-ja za 0,010 ili porasta RMSEA za 0,015.

Model Hi-kvadrat df CFI RMSEA SRMR Ocjena
Konfiguralni 306,76 27 0,951 0,144 0,036 referentni
Metrički 365,11 37 0,951 0,123 0,037 podržan
Skalarni 412,41 47 0,950 0,110 0,039 podržan
Striktni 407,10 59 0,950 0,099 0,039 podržan

Tablica 6. Mjerna invarijantnost bloka od šest tvrdnji o matematičkoj anksioznosti među regijama. N = 4.787 (središte 2.466, sjever 1.143, jug 1.178). Metoda maksimalne vjerodostojnosti s robusnim standardnim pogreškama i procjenom punom informacijom za rotirani nacrt. Pravilo odlučivanja prema Chen (2007).

Striktna invarijantnost je zadovoljena među regijama, a zasebni postupak dao je istu ocjenu i među obrazovnim programima. Budući da postupak za neprekidne varijable na tvrdnjama s četiri kategorije načelno može iskriviti tu ocjenu, cijela je analiza ponovljena postupkom za ordinalne varijable na parovima opažanja. I tada je u obje podjele dostignuta striktna invarijantnost. Zaključak ne ovisi o izboru postupka.

Usporedba je dakle dopuštena, i evo je.

Regija Anksioznost St. pogreška Program Anksioznost St. pogreška
sjever 0,215 0,035 Strukovne škole 0,245 0,023
središnja regija 0,149 0,025 Mješovite 0,082 0,032
jug 0,133 0,036 Gimnazija 0,039 0,032

Tablica 7. Prosječna matematička anksioznost po regiji i po programu, na standardiziranom OECD-ovu indeksu gdje je nula prosjek zemalja OECD-a, a više znači anksiozniji. Skupina iz osnovne škole je ovdje izostavljena iz istog razloga kao i ranije.

Regionalne razlike u anksioznosti su male i njihovi se intervali pouzdanosti preklapaju. Razlika po programu nije mala: učenici strukovnih škola prijavljuju anksioznost za 0,21 indeksnog boda iznad gimnazijalaca, a dva su intervala daleko jedan od drugoga. Anksioznost prati program, ne regiju.

Uz taj nalaz ide jedna poštena ograda, iz vrste koju sama analiza invarijantnosti neće otkriti. Apsolutna podudarnost jednofaktorskog modela osrednja je u svakoj skupini: RMSEA oko 0,14 u konfiguralnom koraku, uz CFI 0,95 i SRMR 0,04. Invarijantnost znači da je model jednako nesavršen posvuda, i upravo to omogućuje usporedbu. Ne znači da je indeks čista jednodimenzionalna mjera jedne stvari, pa bi izvješće koje se oslanja na fino tumačenje njegove razine, a ne na razlike među skupinama, tražilo od podataka više nego što oni daju.

Što iz ovoga slijedi za politiku

Tri su tvrdnje potkrijepljene gornjom analizom i dovoljno su uske da se brane pod pitanjima.

  • Zaostatak sjevera je stvaran i samo je otprilike polovinom posljedica sastava populacije. Mjera usmjerena isključivo na socioekonomsku ugroženost pokrila bi otprilike polovinu izmjerene razlike, a ostatak ne bi dotaknula.
  • Razlika između strukovnih škola i gimnazija najveća je pojedinačna struktura u raspodjeli postignuća crnogorskih petnaestogodišnjaka, ne objašnjava se pretežno time tko u koji program ulazi i odnosi se na više od polovine generacije.
  • Matematička anksioznost razlikuje se po programu, a ne po regiji, i pokazano je da je ta usporedba potkrijepljena mjerenjem, a ne pretpostavljena.

Prirodno sljedeće pitanje, na koje ovaj tekst ne odgovara, jest što se događa sa zaostatkom sjevera unutar programa i unutar škola i je li koncentriran u pojedinim slojevima. To zahtijeva datoteku na razini škole i višerazinsku dekompoziciju, što premašuje opseg ove analize.

Što ovaj tekst ne tvrdi

  • Nema tvrdnji o trendu. Usporedba 2022. s ranijim ciklusom zahtijeva da se u varijancu unese objavljena pogreška povezivanja za taj par ciklusa, uz pogreške uzorkovanja i imputacije. Bez nje promjena može biti prikazana kao značajna, a da nije. Takva usporedba ovdje nije napravljena.
  • Nema uzročnih tvrdnji. Svaka navedena razlika je povezanost izmjerena u jednoj vremenskoj točki, bez slučajnog raspoređivanja i bez kontrole ranijeg postignuća. “Uz kontrolu ESCS-a” znači da je jedan izmjereni indeks izjednačen, a ne da su ostale okolnosti jednake.
  • Nema službene regionalne statistike. Crna Gora u PISA istraživanju nije regionalno adjudicirana. Regionalna razrada koristi OECD-ove objavljene uzoračke slojeve, što je valjana analitička osnova, ali OECD za Crnu Goru ne objavljuje regionalne procjene i ovo nisu one.
  • Ograničena preciznost u malim ćelijama. Regionalni uzorci počivaju na ukupno 63 škole, a najmanja programska skupina ima 66 učenika. Standardne pogreške to odražavaju; treba čitati intervale pouzdanosti, a ne točkaste procjene.
  • Tvrdnja o mjernom modelu, a ne testiranje zasnovano na nacrtu uzorka. Analiza invarijantnosti izvedena je bez replikacijskih pondera, što je uobičajena praksa i ovdje se navodi umjesto da se prešuti.

Metoda i ponovljivost

Podaci: OECD-ove javno dostupne datoteke PISA 2022, upitnici za učenike i škole u SPSS formatu, preuzeti s webfs.oecd.org 6. kolovoza 2026. godine (obje datoteke na izvoru nose datum 28. svibnja 2024).

Procjena: točkaste procjene objedinjene preko deset plauzibilnih vrijednosti prema Rubinovim pravilima. Varijanca uzorkovanja iz 80 replikacijskih pondera prema metodi uravnoteženih ponovljenih replika s Fayevom korekcijom i faktorom 0,5, računata zasebno za svaku plauzibilnu vrijednost pa usrednjena. Varijanca imputacije iz rasipanja među plauzibilnim vrijednostima, uvećana za (1 + 1/M). Prikazane standardne pogreške su korijen njihova zbroja. Nedostajući podaci obrađuju se po slučaju unutar svake statistike, pa se broj valjanih slučajeva razlikuje među procjenama; ESCS je prisutan kod 98,5% učenika, a indeks anksioznosti kod 82,3%.

Razlike uz kontrolu dobivene su ponderiranom regresijom najmanjih kvadrata s dummy kodiranjem regija odnosno programa, provedenom kroz isti aparat plauzibilnih vrijednosti i replikacijskih pondera, pa njihove standardne pogreške nose obje komponente pogreške.

Invarijantnost: postupna konfiguralna, metrička, skalarna i striktna analiza u paketu lavaan, metodom maksimalne vjerodostojnosti s robusnim standardnim pogreškama i procjenom punom informacijom za rotirani nacrt upitnika, prema pragovima iz Chen (2007). Provjera osjetljivosti ponovljena je dijagonalno ponderiranim najmanjim kvadratima uz tretiranje tvrdnji kao ordinalnih, na parovima opažanja.

Provjera aparata: analitički kôd nosi testove čiji očekivani rezultati potječu iz teorije, a ne iz ranijeg izvršavanja, uključujući Hadamardov replikacijski nacrt u kojem replikacijska varijanca ponderiranog zbroja s Fayevom korekcijom mora točno biti jednaka analitičkoj varijanci uparenog odabira. Osim toga, izvršavanje reproducira tri objavljena OECD-ova podatka iz Tablice 1.

Analitički je kôd parametriziran po zemlji, pa se isti postupak može primijeniti na bilo koji sustav sudionik. Upiti o ponavljanju ove analize i o naručivanju iste analize za drugu zemlju su dobrodošli, na adresi info@psihologija.me.

O autoru

Dr. sc. Miloš Kankaraš je psihometričar i analitičar javnih politika s više od dvadeset godina rada na velikim istraživanjima postignuća, uključujući rad s OECD-om, UNESCO-om i Eurofoundom. Njegova objavljena specijalnost je mjerna ekvivalentnost i međukulturalna usporedivost, što je dio ovog teksta koji je najteže nabaviti na drugom mjestu. Doktorirao je društvene znanosti na Sveučilištu u Tilburgu.

Ovo izvješće objavljuje Centar za psihologiju, Podgorica. Upiti za naručivanje analize šalju se na info@psihologija.me.

dr. sc. Miloš Kankaraš | milos@centerforpsychology.me | miloskankaras.com | centerforpsychology.me | ORCID | LinkedIn | Google Scholar | Academia.edu