Studija
Koji je model vještačke inteligencije zaista najbolji: koliko su pouzdani javni testovi vodećih AI modela?
Većina prednosti o kojima se govori na javnim rang-listama AI modela manja je od onoga što testovi mogu da izmjere. Studija provjerava 61 javnu rang-listu na osnovu rezultata koje objavljuju sami autori testova.
Kada se pojavi novi AI model, prati ga tabela rezultata na testovima (benchmarkovima), a rasprava se vodi o tome ko vodi za poen ili dva. Svaki test mjeri s greškom, pa ova studija postavlja jednostavno pitanje: koliko je tih prednosti veće od greške mjerenja?
Na testu GPQA Gemini 3 Pro i GPT-5 su statistički izjednačeni, a među najnovijim modelima na testu tau2-bench nijedno od testiranih poređenja nije stvarna razlika. Od 58 rang-lista, čak 55 ne može u potpunosti da razdvoji svojih pet najboljih modela.
Cijela studija sa grafikonima dostupna je na engleskom: Which AI model is truly the best: how reliable are public benchmarks of frontier AI models?
Rad (preprint): doi:10.5281/zenodo.23036392. Podaci i kod: doi:10.5281/zenodo.22998207.
Dio programa Mjerna ekvivalentnost
Srodne studije
Crna Gora u PISA 2025
Crna Gora je u PISA 2025 postigla najbolji rezultat u prirodnim naukama od svih ciklusa, dok je razlika između gimnazija i stručnih škola porasla za oko 20 bodova. Dva analitička izvještaja postavljaju taj rezultat u kontekst dvadeset godina podataka i ispituju gdje se razlika nalazi.
Moje dijete je najbolje: kako roditeljska naklonost izobličava skale procjene
Roditelji svoju djecu ocjenjuju darežljivo, a to savija skalu, ne samo što je pomjera.
PISA 2025: pad rezultata i granice tumačenja
Niži prosječni rezultati sami po sebi ne otkrivaju zašto su postignuća opala. Ova studija razmatra poređenja ciklusa PISA 2018, 2022. i 2025. godine i dokaze koji se koriste za objašnjenje njihovih razlika.
Objavljeno kao
- 2026Which AI model is truly the best: how reliable are public benchmarks of frontier AI models?Kankaraš, M.doi:10.5281/zenodo.23036392Zenodo (preprint)Preprint