Aktindsigter viser store karakterspænd mellem bedømmere på Jura

De fleste studerende kender følelsen: Man går ud fra eksamenslokalet med en klar fornemmelse af, hvordan det er gået. Måske var man sikker på et 10-tal, men endte med 4. Eller også gik man tvivlende derfra – og blev overrasket af et 12-tal.

Karaktergivning kan nogle gange føles lidt som et lotteri, hvor man enten trækker vinderkuponen eller ender med nitten. Den følelse kender tidligere jurastuderende på Københavns Universitet Morten Kromann også. Han oplevede sommetider under sin studietid, at en karakter i højere grad afhang af, hvilken bedømmer, han fik, end af hans præstation til eksamen.

»Det giver ikke mening, at du i samme fag og samme termin kan være heldig med én eksaminator og uheldig med en anden – og at forskellen kan være flere karaktertrin,« siger Morten Kromann.

Derfor satte han sig for at undersøge alle karakterer, der blev givet på Det Juridiske Fakultet på KU fra vintersemesteret 2021 til sommeren 2024.

Store udsving

Gennem aktindsigter har han fået adgang til data fra 734 eksaminatorer på obligatoriske fag og analyseret forskellene i karaktergivningen. Uniavisen har set materialet.

Det er altså voldsomme udsving, som kan betyde forskellen på, om man får en god karakter eller dumper

Morten Kromann, tidligere jurastuderende

Resultaterne viser markante udsving: I flere fag varierer gennemsnitskarakteren mellem eksaminatorerne med mere end fire point – nok til at afgøre forskellen mellem at dumpe og få en topkarakter.

»På Erstatning og kontrakt i sommeren 2022 gav én eksaminator, der bedømte 51 studerende, et gennemsnit på 1,57 og ingen karakterer over 4 – mens faglederens gennemsnit lå på 5,9,« siger Morten Kromann og fortsætter:

»I International Law i vinteren 2022/23 kunne man bedømmes af en eksaminator, som gav et snit på 3,9, eller af en anden, hvis snit i stedet var 8,76 – de havde henholdsvis 52 og 53 opgaver til bedømmelse. Det er et karakterspænd på 4,86, og det er altså voldsomme udsving, som kan betyde forskellen på, om man får en god karakter eller dumper.«

De store udsving i karaktergennemsnit bliver endnu mere bemærkelsesværdige, idet opgaver og studerende fordeles tilfældigt mellem bedømmerne.

Også blandt de seneste eksamener ses der store variationer i gennemsnitskaraktererne fra forskellige bedømmere.

I den skriftlige eksamen EU-ret i vinteren 2023/24 ses et spænd i gennemsnitskarakterer fra 3,69 til 7,34 mellem den strengeste og mildeste bedømmer. Begge har bedømt opgaver fra 32 studerende.

For de studerende kan karakterforskellene ifølge Morten Kromann få afgørende konsekvenser.

»Studiejob hos de store advokathuse bliver ofte søgt på tredje semester. De kigger på bestemte førsteårsfag. Så hvis du rammer en streng eksaminator dér, kan det forfølge dig,« siger Morten Kromann.

En streng bedømmer kan med andre ord ikke kun resultere i en reeksamen, men også koste både studiejob, netværk og udvekslingsplads.

Statistikprofessor vurderer tallene

Uniavisen har fået Helle Sørensen, professor i statistik på Københavns Universitet, til at kigge nærmere på tallene.

Med en såkaldt lineær mixed model har hun undersøgt datasættet og adskilt variationen, der stammer fra studerende, kurser og eksaminatorer.

Hun finder, at forskellene mellem eksaminatorerne ganske vist er til stede, men at de i det store billede er mindre end variationen mellem de enkelte studerende og mellem fagene.

Det er klart, at man gerne vil have så lidt variation mellem bedømmere som muligt, når det gælder karakterer

Helle Sørensen, professor i statistik, Københavns Universitet

Ifølge Helle Sørensen er spredningen estimeret til 0,34 karakterpoint mellem eksaminatorer, omkring 1 mellem kurser og 3,7 mellem studerende.

»Dermed kommer jeg frem til, at variationen mellem bedømmere er væsentlig mindre end forskellen mellem kurser – og langt mindre end forskellen mellem studerende, som jo er den, vi er interesserede i, når vi afholder eksamener,« siger hun.

Helle Sørensen understreger, at hun bevidst ikke har kigget på enkelte fag eller specifikke eksamener, men alene har vurderet mønstrene i det samlede materiale.

»Når man kigger efter ekstremer, finder man også noget ekstremt. Jeg synes, det er vigtigere at se på det generelle mønster,« forklarer hun.

På trods af at variationen mellem studerende og kurser statistisk fylder mere end forskellen på bedømmerne, er sidstnævnte ikke helt negligerbar ifølge Helle Sørensen.

»Det er klart, at man gerne vil have så lidt variation mellem bedømmere som muligt, når det gælder karakterer. Man skal jo som studerende kunne stole på, at man bliver vurderet fair,« lyder det.

Fakultetet er obs på sagen

Uniavisen har forsøgt at få et interview med lederne på Det Juridiske Fakultet for at få dem til at forholde sig til resultaterne og kritikken fra Morten Kromann. Det har de afvist.

I stedet har Uniavisen fået skriftlige svar fra prodekan for uddannelse på Jura, Liselotte Madsen.

Hun skriver, at fakultetet allerede bruger mange ressourcer på at kvalitetssikre karaktergivningen, men at karakterer altid vil indeholde en vis grad af skøn.

Det er en kritik, som vi tager meget seriøst

Liselotte Madsen, prodekan for uddannelse på Juridisk Fakultet

Opgaver og rettevejledninger kvalitetssikres af en kommission med fagleder og censorer, og efter eksamen mødes bedømmerne til forcensur for at sikre fælles niveau. Erfaringerne drøftes derefter med underviserne.

Prodekanen understreger dog, at fakultetet er opmærksom på den kritik, der er blevet rejst til karaktergivningen på nogle fag.

»Det er en kritik, som vi tager meget seriøst. Derfor vil vi også undersøge problemstillingen nærmere i dialog med studienævnet og fagledelserne på Det Juridiske Fakultet,« skriver hun.

Det er også blevet besluttet, at fagledelsen på hvert fag fremover vil modtage karaktergennemsnit per eksaminator for hver eksamen.

»Skulle det vise sig, at der er et strukturelt problem med karaktergivningen, er vi selvfølgelig meget interesserede i at løse det. Jeg har dog ikke mulighed for at udtale mig på baggrund af analyser, vi ikke selv har foretaget, da vi ikke har haft mulighed for at verificere beregningerne,« lyder det i det skriftlige svar.

Ikke en objektiv sandhed

For Morten Kromann er konklusionen ikke, at karakterer nogensinde kan gøres fuldstændig objektive, men at systemet bør indrettes, så variationen bliver så lille som muligt.

Han peger på en række konkrete tiltag, der kan fremme dette: færre eksaminatorer pr. fag, tættere monitorering af karaktermønstre, obligatorisk kalibrering mellem bedømmere og dobbeltbedømmelse i grænsetilfælde, som hvis karakteren står mellem 00 og 02 eller 10 og 12.

»Man kunne forholdsvis enkelt indføre systemer, hvor man holder øje, hvis en eksaminator konsekvent ligger helt ude i den ene ende. Det ville give mere ensartede og retfærdige karakterer,« siger Morten Kromann.

Selvom han anerkender, at variationen blandt bedømmerne i det store billede er mindre end mellem studerende, mener han fortsat, at der skal være mere fokus på ekstremerne.

»Ekstremerne er ikke udtryk for tilfældig statistik: Det er helt konkrete tilfælde, hvor en eksaminator kan ødelægge en studerendes muligheder. Hvis vi vil værne om de studerende, må vi fokusere på de enkelte ekstreme bedømmelser og ikke kun på gennemsnit. Selvfølgeligt vil der være forskelle studerende imellem. Det, der skal sikres, er, at lige præstationer bedømmes ens,« siger Morten Kromann.

Samtidig anerkender han, at karaktergivning aldrig kan blive en eksakt videnskab, uanset hvor mange tiltag der etableres.

»Der vil altid være en vis usikkerhed i bedømmelser, men jeg synes, man skylder de studerende at begrænse tilfældighederne mest muligt,« siger han.

Ifølge ham er problemet ikke kun teknisk, men også kulturelt: Karakterer bliver ofte behandlet som et objektivt og urokkeligt mål for faglig kunnen, selvom de i høj grad afspejler tilfældigheder.

»Det er en illusion at tro, at karakteren er en objektiv sandhed. Så længe vi fastholder den forestilling, sker der ikke forandring,« siger Morten Kromann.