Šta podaci PISA 2022 govore o sjeveru Crne Gore, i šta iz njih ne smije da se zaključi

Dekompozicija regionalnih razlika na osnovu javno dostupnih mikropodataka PISA 2022, uz provjeru mjerne uporedivosti indeksa iz upitnika koji se uz njih navodi

Dr Miloš Kankaraš | ORCID | Google Scholar | LinkedIn
Centar za psihologiju, Podgorica | PISA 2022 državne bilješke | avgust 2026.

Preuzmite cijelu analizu (PDF) Download the full note (PDF, English)

Sažetak

Petnaestogodišnjaci u Crnoj Gori postigli su u PISA 2022 prosječno 405,6 bodova iz matematike. Taj jedan broj je ono što međunarodni izvještaj po svojoj prirodi daje, i tu najčešće počinje i završava domaća rasprava o PISA rezultatima. Ovaj tekst istim podacima postavlja drugo pitanje, koje međunarodne publikacije strukturno ne mogu da odgovore: kolika je razlika između crnogorskih regiona i od čega je ona zapravo sastavljena.

Četiri nalaza.

• Učenici sa sjevera postigli su 25,0 bodova manje od učenika iz centralnog regiona (standardna greška 2,5). Otprilike polovina te razlike je socioekonomski sastav populacije. Kada se kontroliše PISA indeks ekonomskog, socijalnog i kulturnog statusa, razlika iznosi 13,2 bodova (standardna greška 2,6) i i dalje je jasno različita od nule.
• Preostala razlika se ne objašnjava ni time koje obrazovne programe učenici sa sjevera pohađaju. Kada se uz socioekonomski status kontroliše i program, ostaje 16,0 bodova (standardna greška 2,5). Zaostatak sjevera nije artefakt strukture populacije.
• Najveća strukturna podjela u podacima uopšte nije regionalna. Učenici gimnazija postigli su 79,0 bodova više od učenika stručnih škola (standardna greška 2,3), odnosno 67,4 bodova više kada je socioekonomski status izjednačen. To je oko 0,8 nacionalne standardne devijacije, a odnosi se na 53,5% generacije.
• Indeks matematičke anksioznosti, koji se rutinski navodi uz ovakve razlike, prethodno je provjeren na mjernu invarijantnost između istih grupa. Provjeru je prošao na striktnom nivou, i to sa dva različita postupka procjene. Poređenje je dakle odbranjivo, što je nalaz za sebe a ne formalnost.

Ovaj tekst je nezavisan doprinos uz rad nacionalnog PISA centra Crne Gore, a ne komentar na taj rad. Koristi isključivo podatke koje je OECD učinio javnim i pisan je tako da svaka procjena u njemu može da se ponovi. Komentari i ispravke nacionalnog centra su dobrodošli.

Zašto ovaj tekst postoji

Svaka zemlja u PISA istraživanju na dan objavljivanja dobija rang, naslov u medijima i međunarodni izvještaj pisan za osamdeset obrazovnih sistema odjednom. Ono što gotovo nijedna zemlja ne dobije jeste analiza sopstvenih podataka na nivou na kojem se vodi njena obrazovna politika. Crnogorska rasprava nije o tome gdje se zemlja nalazi između Srbije i Hrvatske. Ona je o sjeveru, o stručnom obrazovanju, i o tome da li su razlike koje svi navode stvarne.

Na ta pitanja može da se odgovori podacima koji već postoje. Javno dostupne datoteke PISA 2022 slobodno se preuzimaju od maja 2024. godine, sadrže zapise svih crnogorskih učenika, a Crna Gora je platila njihovo prikupljanje. Ono što je potrebno jeste analitički aparat koji njima ispravno rukuje: plauzibilne vrijednosti, replikacioni ponderi, i spremnost da se prije poređenja provjeri da li ga mjerenje uopšte podržava. Taj aparat je smisao ove vježbe.

Izvještaj namjerno odgovara na jedno pitanje, a ne na pet. Takođe izričito navodi šta ne tvrdi. Sedmi odjeljak je ta lista, i nije formalnost.

Podaci i način obrade

5.793 crnogorskih učenika u 63 škole, koji predstavljaju ponderisanu populaciju od 6.340 petnaestogodišnjaka, iz OECD-ovih javno dostupnih datoteka PISA 2022 za učenike i škole. OECD navodi da su u Crnoj Gori svi podaci ispunili standarde kvaliteta postavljene u PISA istraživanju i da su ocijenjeni kao podobni za izvještavanje.

Dvije osobine ovih podataka onemogućavaju naivnu analizu, i obje su ovdje uzete u obzir.

• Postignuće nije izmjereno nego imputirano. Svaki učenik nosi deset plauzibilnih vrijednosti. Korišćenje samo prve, ili njihovog prosjeka, odbacuje varijansu između imputacija i daje standardne greške koje su premale. Ovdje su procjene objedinjene po Rubinovim pravilima preko svih deset vrijednosti.
• Uzorak je klasterovan po školama. Standardna greška za prost slučajni uzorak zato je pogrešna, najčešće dva i više puta. Ovdje se koristi 80 replikacionih pondera po metodi balansiranog ponovljenog repliciranja sa Fejovom korekcijom, koje OECD upravo za tu svrhu isporučuje, uz Fejov faktor 0,5.

Metod koji daje uvjerljive brojeve nije isti kao metod koji daje tačne, pa je aparat prvo usmjeren na tri podatka koje je OECD za Crnu Goru već objavio. Tabela 1 prikazuje ishod. To je provjera koja sve što slijedi čini vrijednim čitanja.

Tabela 1. Reprodukcija objavljenih OECD podataka. Izvor objavljene kolone: OECD, PISA 2022 Results (Volume I and II) Country Note: Montenegro, 5. decembar 2023. Sve tri vrijednosti reprodukovane su u okviru zaokruživanja.

Regioni su preuzeti iz eksplicitnih uzoračkih stratuma koje OECD objavljuje za Crnu Goru, a koji ukrštaju obrazovni program sa sjeverom, centralnim regionom i jugom. To je važno: riječ je o promjenljivoj iz nacrta uzorka samog nacionalnog centra, a ne o grupisanju koje je izmislio spoljni analitičar, i znači da su regionalni poduzorci namjerno građeni da budu reprezentativni. Treba ih čitati kao analitičku razradu, a ne kao zvaničnu regionalnu statistiku, jer Crna Gora u PISA istraživanju nije regionalno adjudicirana i OECD ne objavljuje posebne regionalne procjene.

Regionalna razlika i ono što od nje ostaje

Tri regiona su daleko jedan od drugoga. Sjever je 25,0 bodova ispod centra i 35,6 bodova ispod juga, na skali na kojoj nacionalna standardna devijacija iznosi 81,6 bodova.

Tabela 2. Postignuće iz matematike i socioekonomski status po regionima. ESCS je PISA indeks ekonomskog, socijalnog i kulturnog statusa, standardizovan preko svih sistema učesnika, pa negativna vrijednost znači ispod međunarodnog prosjeka.

Očekivano objašnjenje je novac i obrazovanje roditelja, i djelimično je tačno. Sjever je izrazito nepovoljniji: prosječni ESCS -0,54 naspram -0,10 u centru. Svaki porast ESCS za jednu jedinicu vrijedi 29,3 bodova (standardna greška 1,4) na nacionalnom nivou.

Kontrola tog faktora uklanja otprilike polovinu razlike, a ostatak ostaje.

Tabela 3. Regionalne razlike iz matematike, prije i poslije kontrole socioekonomskog statusa.

Jug je iznenađujuća polovina te tabele. Njegov socioekonomski profil blizak je centralnom (-0,07 naspram -0,10), pa kontrola jedva pomjera njegovu prednost: 10,5 bodova bez kontrole, 9,5 uz kontrolu ESCS. Ono što se dešava na jugu nije socioekonomska priča.

Drugo moguće objašnjenje jeste da sjever jednostavno ima drugačiju strukturu obrazovnih programa. Ima je, ali ne u pravcu koji bi razliku objasnio. Tabela 4 prikazuje strukturu programa po regionima.

Tabela 4. Ponderisani udio petnaestogodišnjaka po obrazovnom programu unutar svakog regiona. "Osnovna škola" su učenici koji su još u završnom razredu devetogodišnjeg osnovnog obrazovanja; "mješovite" škole izvode više od jednog tipa programa.

Kontrola programa uz socioekonomski status ne smanjuje zaostatak sjevera. Blago ga povećava, na 16,0 bodova ispod centra (standardna greška 2,5), a prednost juga raste na 14,0 bodova (standardna greška 3,7). Grafikon 2 prikazuje sve tri verzije svakog poređenja zajedno.

Zaključak za politiku je uzak i odbranjiv. Oko polovine izmjerenog zaostatka sjevera jeste socioekonomski sastav regiona. Druga polovina, nekih 13,2 do 16,0 bodova, ne objašnjava se ni time ko su učenici ni time koji tip škole pohađaju. To je razlika u onome što se dešava uporedivim učenicima u uporedivim programima, i to je dio na koji regionalna mjera načelno može da utiče.

Podjela koja je veća od regionalne

Regionalna rasprava je glasna, ali podaci veći broj smještaju na drugo mjesto. Razmak između gimnazija i stručnih škola tri je puta veći od razlike sjever-centar.

Tabela 5. Postignuće iz matematike po obrazovnom programu. Grupa "osnovna škola" je mala (n = 66) i njena procjena je srazmjerno neprecizna; navodi se radi potpunosti, a ne radi tumačenja.

Učenici stručnih škola postižu 79,0 bodova manje od gimnazijalaca (standardna greška 2,3). Socioekonomska selekcija u dva smjera je stvarna i objašnjava dio te razlike, ali samo dio: uz kontrolu ESCS razlika je i dalje 67,4 bodova (standardna greška 2,6), oko 0,8 nacionalne standardne devijacije.

Dvije ograde prije nego što neko izvuče zaključak. Prvo, ovo je koliko razlika u efektu škole toliko i razlika u selekciji, a PISA to dvoje ne može da razdvoji: učenici se u programe ne raspoređuju slučajno, a ranije postignuće nije mjereno. Drugo, mjereno je sa 15 godina, kada je usmjeravanje u Crnoj Gori tek stupilo na snagu, pa ništa neposredno ne govori o tome šta dva tipa programa daju tokom cijelog trajanja. Ono što se utvrđuje jeste veličina razlike koja postoji sa 15 godina, i to da njen veći dio nije socioekonomski sastav.

Veza sa regionalnim nalazom zaslužuje jednu rečenicu. Prednost juga postoji uporedo sa najmanjim udjelom gimnazijalaca od svih regiona (8,8%) i najvećim udjelom mješovitih škola (57,5%). Upravo zato kontrola programa prednost juga povećava umjesto da je smanji, i to je obrazac vrijedan pažnje nacionalnog centra.

Da li se ovim poređenjima može vjerovati? Provjera mjerenja

Sve navedeno poredi rezultate testa, koji su po konstrukciji smješteni na zajedničku skalu. Čim izvještaj pređe na indekse iz upitnika, ta garancija prestaje da važi, i tu domaći komentari PISA rezultata najčešće griješe. Indeksi poput osjećaja pripadnosti školi, podrške nastavnika ili matematičke anksioznosti grade se od nekoliko tvrdnji sa kojima se učenik slaže ili ne slaže. Poređenje njihovih prosjeka između grupa pretpostavlja da tvrdnje u svakoj grupi znače isto i da se na isti način odnose prema latentnoj varijabli. Ta pretpostavka je provjerljiva, a najčešće se ne provjerava.

Indeks koji se prirodno vezuje uz gornje nalaze jeste matematička anksioznost, koju PISA 2022 mjeri sa šest tvrdnji i koja je najcitiranija objašnjavajuća varijabla u ciklusu posvećenom matematici. Prije poređenja po regionima i programima, indeks je prošao kroz stepenastu analizu mjerne invarijantnosti.

Jednu tehničku prepreku je prethodno trebalo ukloniti, i vrijedi je imenovati jer neprimjetno ruši uobičajeni postupak.

Od 2022. PISA rotira sadržaj upitnika: učenik po nacrtu odgovara na dio bloka, a ne zato što odbija da odgovori. Od šest tvrdnji o anksioznosti, 4.602 od 5.793 učenika odgovorilo je na tačno pet, uz rotaciju izostavljene tvrdnje, a 963 nije odgovorilo ni na jednu. Broj učenika sa svih šest odgovora iznosi 0. Svaka analiza koja briše nepotpune slučajeve, a to je podrazumijevano ponašanje većine programa, zato ne vraća ništa, pa analitičar koji to ne primijeti može zaključiti da je blok neupotrebljiv. Ipak, svaki par tvrdnji zajednički je opažen kod najmanje 3.109 učenika, što je sasvim dovoljno za procjenu punom informacijom. Analiza ispod koristi svih 4.787 učenika koji su odgovorili na bar dvije od šest tvrdnji.

Analiza provjerava četiri sve jače tvrdnje. Konfiguralna invarijantnost pita da li ista jednofaktorska struktura važi u svakoj grupi. Metrička dodaje jednaka faktorska zasićenja, čime se dozvoljava poređenje odnosa među varijablama. Skalarna dodaje jednake odsječke, čime se dozvoljava poređenje prosjeka. Striktna dodaje jednake rezidualne varijanse. Svaki korak se ocjenjuje time da li se podudarnost modela pogoršava preko uobičajenih pragova od pada CFI za 0,010 ili porasta RMSEA za 0,015.

Tabela 6. Mjerna invarijantnost bloka od šest tvrdnji o matematičkoj anksioznosti između regiona. N = 4.787 (centar 2.466, sjever 1.143, jug 1.178). Metod maksimalne vjerodostojnosti sa robusnim standardnim greškama i procjenom punom informacijom za rotirani nacrt. Pravilo odlučivanja prema Chen (2007).

Striktna invarijantnost je zadovoljena između regiona, a zaseban postupak dao je istu ocjenu i između obrazovnih programa. Pošto postupak za neprekidne varijable na tvrdnjama sa četiri kategorije načelno može da iskrivi tu ocjenu, cijela analiza je ponovljena postupkom za ordinalne varijable na parovima opažanja. I tada je u obje podjele dostignuta striktna invarijantnost. Zaključak ne zavisi od izbora postupka.

Poređenje je dakle dozvoljeno, i evo ga.

Tabela 7. Prosječna matematička anksioznost po regionu i po programu, na standardizovanom OECD indeksu gdje je nula prosjek OECD zemalja a više znači anksiozniji. Grupa iz osnovne škole je ovdje izostavljena iz istog razloga kao i ranije.

Regionalne razlike u anksioznosti su male i njihovi intervali povjerenja se preklapaju. Razlika po programu nije mala: učenici stručnih škola prijavljuju anksioznost 0,21 indeksnih poena iznad gimnazijalaca, a dva intervala su daleko jedan od drugoga. Anksioznost prati program, ne region.

Uz taj nalaz ide jedna poštena ograda, iz vrste koju sama analiza invarijantnosti neće otkriti. Apsolutna podudarnost jednofaktorskog modela osrednja je u svakoj grupi: RMSEA oko 0,14 u konfiguralnom koraku, uz CFI 0,95 i SRMR 0,04. Invarijantnost znači da je model jednako nesavršen svuda, i upravo to dozvoljava poređenje. Ne znači da je indeks čista jednodimenzionalna mjera jedne stvari, pa bi izvještaj koji se oslanja na fino tumačenje njegovog nivoa, a ne na razlike među grupama, tražio od podataka više nego što oni daju.

Šta iz ovoga slijedi za politiku

Tri tvrdnje su potkrijepljene gornjom analizom i dovoljno su uske da se brane pod pitanjima.

• Zaostatak sjevera je stvaran i samo je otprilike polovinom posljedica sastava populacije. Mjera usmjerena isključivo na socioekonomsku ugroženost pokrila bi otprilike polovinu izmjerene razlike, a ostatak ne bi dotakla.
• Razlika između stručnih škola i gimnazija najveća je pojedinačna struktura u raspodjeli postignuća crnogorskih petnaestogodišnjaka, ne objašnjava se pretežno time ko u koji program ulazi, i odnosi se na više od polovine generacije.
• Matematička anksioznost razlikuje se po programu a ne po regionu, i pokazano je da je to poređenje potkrijepljeno mjerenjem a ne pretpostavljeno.

Prirodno sljedeće pitanje, na koje ovaj tekst ne odgovara, jeste šta se dešava sa zaostatkom sjevera unutar programa i unutar škola, i da li je koncentrisan u pojedinim stratumima. To zahtijeva datoteku na nivou škole i višenivovsku dekompoziciju, što je veći posao od demonstracije.

Šta ovaj tekst ne tvrdi

• Nema tvrdnji o trendu. Poređenje 2022. sa ranijim ciklusom zahtijeva da se u varijansu unese objavljena greška povezivanja za taj par ciklusa, uz greške uzorkovanja i imputacije. Bez nje promjena može da bude prikazana kao značajna a da nije. Takvo poređenje ovdje nije napravljeno.
• Nema uzročnih tvrdnji. Svaka navedena razlika je povezanost izmjerena u jednoj vremenskoj tački, bez slučajnog raspoređivanja i bez kontrole ranijeg postignuća. "Uz kontrolu ESCS" znači da je jedan izmjereni indeks izjednačen, a ne da su ostale okolnosti jednake.
• Nema zvanične regionalne statistike. Crna Gora u PISA istraživanju nije regionalno adjudicirana. Regionalna razrada koristi OECD-ove objavljene uzoračke stratume, što je valjana analitička osnova, ali OECD za Crnu Goru ne objavljuje regionalne procjene i ovo nisu one.
• Ograničena preciznost u malim ćelijama. Regionalni uzorci počivaju na ukupno 63 škole, a najmanja programska grupa ima 66 učenika. Standardne greške to odražavaju; treba čitati intervale povjerenja, a ne tačkaste procjene.
• Tvrdnja o mjernom modelu, a ne testiranje zasnovano na nacrtu uzorka. Analiza invarijantnosti izvedena je bez replikacionih pondera, što je uobičajena praksa i ovdje se navodi umjesto da se prećuti.

Metod i ponovljivost

Podaci: OECD-ove javno dostupne datoteke PISA 2022, upitnici za učenike i škole u SPSS formatu, preuzeti sa webfs.oecd.org 6. avgusta 2026. godine (obje datoteke na izvoru nose datum 28. maj 2024).

Procjena: tačkaste procjene objedinjene preko deset plauzibilnih vrijednosti po Rubinovim pravilima. Varijansa uzorkovanja iz 80 replikacionih pondera po metodi balansiranog ponovljenog repliciranja sa Fejovom korekcijom i faktorom 0,5, računata posebno za svaku plauzibilnu vrijednost pa usrednjena. Varijansa imputacije iz rasipanja među plauzibilnim vrijednostima, uvećana za (1 + 1/M). Prikazane standardne greške su korijen njihovog zbira. Nedostajući podaci obrađuju se po slučaju unutar svake statistike, pa se broj validnih slučajeva razlikuje između procjena; ESCS je prisutan kod 98,5% učenika, a indeks anksioznosti kod 82,3%.

Razlike uz kontrolu dobijene su ponderisanom regresijom najmanjih kvadrata sa dummy kodiranjem regiona odnosno programa, provedenom kroz isti aparat plauzibilnih vrijednosti i replikacionih pondera, pa njihove standardne greške nose obje komponente greške.

Invarijantnost: stepenasta konfiguralna, metrička, skalarna i striktna analiza u paketu lavaan, metodom maksimalne vjerodostojnosti sa robusnim standardnim greškama i procjenom punom informacijom za rotirani nacrt upitnika, prema pragovima iz Chen (2007). Provjera osjetljivosti ponovljena je dijagonalno ponderisanim najmanjim kvadratima uz tretiranje tvrdnji kao ordinalnih, na parovima opažanja.

Provjera aparata: analitički kod nosi testove čiji očekivani rezultati potiču iz teorije a ne iz ranijeg izvršavanja, uključujući Hadamardov replikacioni nacrt u kojem replikaciona varijansa ponderisanog zbira sa Fejovom korekcijom mora tačno da bude jednaka analitičkoj varijansi uparenog izbora. Pored toga, izvršavanje reprodukuje tri objavljena OECD podatka iz Tabele 1.

Analitički kod je parametrizovan po zemlji: isti postupak se izvršava za bilo koji sistem učesnik promjenom jedne konfiguracione datoteke. Upiti o ponavljanju ove analize su dobrodošli. Naručivanje iste analize za drugu zemlju je konsultantski posao koji obavlja AdriaMont Consulting DOO, na adresi milos@adriamont.me.