Bakgrunn

NOKUT gjennomførte på oppdrag fra Kunnskapsdepartementet nasjonale deleksamener på tre bachelorutdanninger. Innen økonomisk-administrative fag valgte NOKUT og NRØA*Universitets- og Høgskolerådet Nasjonalt Råd For Økonomisk-Administrativ Utdanning, nå endret navn til UHR-økonomi og administrasjon eksamen i faget «Årsregnskap og god regnskapsskikk» på bachelorstudiet i regnskap og revisjon (BRR). Det ble avholdt nasjonal eksamen og felles sensur i regi av NOKUT for årene 2015–2019.

Et av formålene var å gi de forskjellige fagmiljøene mulighet til å sammenligne seg med tilsvarende fagmiljøer ved andre institusjoner (Kunnskapsdepartementet 2014).*Oppdragsbrev fra KD til NOKUT, datert 08.09.14 Oppdragsbrevet påpeker at dette kunne gi miljøene grunnlag for utvikling og bidra til økt tillit til utdanningene i samfunnet. Det var også et mål at en gitt karakter skal reflektere samme kunnskapsnivå, uavhengig av hvilken institusjon eksamenen er avlagt ved.

Et annet interessant forhold for ovennevnte sensurresultater er å undersøke om det er en sammenheng mellom eksamensresultater og vanskelighetsgrad/omfang ved eksamensoppgavene. Eller med andre ord om en gitt karakter reflekterer samme kunnskapsnivå uavhengig av eksamensår eller vanskelighetsgrad/omfang til eksamen.

At karakter er uavhengig av institusjon og eksamensår, er grunnleggende for studentenes rettssikkerhet. Effekten av ulike resultater fra år til år er til en viss grad kompensert gjennom at årskullets eksamensresultater i samme emne på samme institusjon fremkommer av studentenes vitnemål.

De svake eksamensresultatene i 2015 førte til oppslag i Dagens Næringsliv. Året etter var det betydelig bedre resultater. Dette vekket nysgjerrigheten for å få svar på spørsmålet i tittelen. Lett tilgjengelige eksamensresultater for årene 2015–19 for årlig rundt 500 studenter gjorde det mulig å foreta en enkel analyse med begrensede ressurser.

Om eksamen og sensurering

Eksamen i «Årsregnskap og god regnskapsskikk» er avsluttende eksamen i Finansregnskap på BRR. Eksamen er på seks timer bestående av fire–fem oppgaver, der det er oppgitt anslått tid for hver av oppgavene. Et eksamenssett består i hovedsak av oppgaver basert på regnskapstall og -opplysninger, men også av en del rene teorioppgaver. Store deler av eksamen er kvantitativ, og sensorer baserer seg ofte på en matematisk tilnærming ved at eksamenssettet tildeles 100 %. Karakterbeskrivelsene fra UHR angir en helhetlig tilnærming og vår erfaring er at sensorene i tillegg til eller som en oppsummering foretar en helhetsbedømmelse ved karakterfastsettelsen. I praksis vil vi som erfarne undervisere i høyere utdanning tro at den enkelt sensor bevisst eller ubevisst foretar en nivåjustering av karakternivå, ut fra en vurdering av samlet prestasjon på alle besvarelsene.

Eksamensoppgavene ble utarbeidet av en komité på tre faglærere fra de universitetene eller høyskolene som tilbyr kurset. Til forskjell fra nasjonale prøver i grunnskolen ble oppgavesettet ikke pilotert eller på annen måte prøvet ut mot studenter eller vurdert av andre enn de tre i oppgavekomiteen. De årlig rundt 500 besvarelsene ble sendt inn til NOKUT, som videresendte dem til seks–sju sensorer. Alle besvarelser ble sensurert av to sensorer slik at hver sensor sensurerte sammen med alle de andre i sensorpar.

Selv med et så stort antall som 500 årlige besvarelser var meldingen fra NOKUT klar på at det ikke skulle skje en nivåvurdering av karakterfordeling. Sensorene ble delt i sensorpar, og hvert par skulle rapportere fastsatt karakter til NOKUT uten samordning med andre par (Hamberg og Tokstad 2015 pkt.1.3.3). I NOKUTs oppsummering fra de nasjonale deleksamenene (Hamberg og Tokstad 2017 pkt.2.1 og 2.3)*NOKUTs oppsummeringer: Nasjonal deleksamen – et pilotprosjekt og en mulighetsstudie. Oppsummering av erfaringene med å gjennomføre nasjonal deleksamen i tre profesjonsutdanninger. Mars 2017. er problemstillingen om nivåvurdering løftet frem, men i liten grad berørt.

Det er et særtrekk ved denne eksamenen at karakteren C eller bedre må oppnås som et av kravene til tittelen registrert revisor. Det samme gjelder tre andre fag som inngår i BRR (revisjon, rettslære og skatterett).*Karakterkravet må være oppfylt, sammen med blant annet praksiskrav når kandidaten søker Finanstilsynet. Karakterkravet medfører at flere studenter enn normalt kontinuerer i disse emnene innen høyere utdanning. Kontinuasjon og ordinær eksamen gjennomføres samtidig, slik at det ikke er mulig å skille den ene kategorien studenter fra den andre.

Fra litteraturen er det kjent at det er et spenningsfelt mellom læringsutbyttebeskrivelsene og eksamensvurdering. Vi har i denne undersøkelsen valgt å ikke fokusere på det spørsmålet.

Eksamensresultatene

Det foreligger omfattende rapporter utgitt av NOKUT for de fem eksamensårene.*NOKUTs rapporter for det enkelte år er tilgjengelig på NOKUT.no Vi begrenser oss her til følgende tall, der gjennomsnittskarakteren er beregnet på en skala fra 1 til 5, der A=5, B=4, C=3, D=2, E=1 og F=0:

Vi ser at gjennomsnittskarakteren varierte mye fra 2015–17, men var stabil de tre siste årene. Andel bestått var lav det første året, men holdt seg meget stabil siden. Andelen som fikk C eller bedre viser samme utvikling. Som vi skal komme tilbake til, er fem år kort tid som grunnlag for statiske beregninger, men korrelasjonskoeffisienten mellom gjennomsnittskarakteren og andelen som fikk C eller bedre var på hele 0,95.

Vurdering av vanskelighetsgrad/arbeidsmengde

De årlige eksamenssettene er i overveiende grad basert på caseoppgaver og i mindre utstrekning åpne teorioppgaver. Caseoppgavene gjør det mer krevende å vurdere studentenes opplevelse av vanskelighetsgrad og arbeidsmengde.

Vurderingene ble foretatt av fem fagpersoner inkludert forfatterne som alle har undervist i kurset i en årrekke.*En stor takk til våre tre kolleger fra andre institusjoner for at de bidro med sine vurderinger. Fire var med i sensorkorpset, varierende fra ett til alle årene. En var med i eksamenskomiteen alle årene. Det kan selvsagt stilles spørsmål ved habiliteten til de som vurderte oppgavene, men fagmiljøet er lite, så det var ikke så mange å velge blant. Fordelen med dem som ble valgt ut, er at de kjenner kurset og dets innhold og nivå godt. Det er også vanskelig å finne grunner til at de ikke skulle kunne foreta en uavhengig og faglig basert vurdering.

Undersøkelsen ble gjort i form av et spørreskjema der de fem ble bedt om å vurdere vanskelighetsgrad på hver oppgave og for eksamenssettet samlet sett og oppgavesettets arbeidsmengde.

Eksamensresultatene forventes å bli dårligere ved økt vanskelighetsgrad og arbeidsmengde. For at vurderingene skal ha samme retning som eksamensresultatene, presenteres resultatet av vurderingene slik:

Sammenheng mellom eksamensresultater og vanskelighetsgrad/arbeidsmengde

Resultatene foran kan fremstilles slik når andel bestått og andel karakteren C eller bedre er skilt ut fra de øvrige grunnet ulike skalaer:

NB! For at vurderingene skal ha samme retning som eksamensresultatene, viser høye tall lav vanskelighetsgrad/liten arbeidsmengde og lave tall høy vanskelighetsgrad/stor arbeidsmengde i fremstillingen nedenfor.

Grafene indikerer sammenhenger mellom eksamensresultat og vanskelighetsgrad/ arbeidsmengde. Figuren viser at oppgavesettet for 2015 ble vurdert å være både vanskeligere og ha høyere arbeidsmengde enn oppgavesettet for 2016. Samtidig var karakterene lavere i 2015 enn i 2016 både målt i form av gjennomsnittskarakter og andel kandidater med C eller bedre. Fem år er kort tid som grunnlag for statistiske beregninger. De kan derfor ikke tillegges særlig vekt. Det er likevel interessant å merke seg at vi fikk en såpass høy korrelasjonskoeffisient som 0,88 og 0,81 for sammenhengen mellom «bedre enn C» og henholdsvis veid og samlet vanskelighetsgrad. Det betyr at i oppgavesett som ble ansett som vanskelig, var det færre som oppnådde C eller bedre, og ved oppgavesett som ble ansett som lettere, var karakterene bedre.

Konklusjoner

Undersøkelsen viste at det er vanskelig å vurdere vanskelighetsgrad og arbeidsmengde for eksamensoppgaver. Det var stor spredning ved vurdering av eksamensoppgavene enkeltvis, men bedre samling for hele eksamenssettenes vanskelighetsgrad og arbeidsmengde. Metodisk kunne vi som grunnlag for denne artikkelen ha anvendt andre og mer ressurskrevende måter å vurdere på.

Grafisk fremstilling gir klare indikasjoner på sammenheng mellom eksamensresultater og vanskelighetsgrad/arbeidsmengde. Selv med en nasjonal eksamen arrangert av NOKUT, kan den enkelte student være heldig eller uheldig med oppgavesettets vanskelighet.

Fem års tidshorisont er også en relativt kort periode til å konkludere noe utover de indikasjoner som en grafisk fremstilling gir.

Sensur er en viktig, men komplisert prosess. Andre forhold enn dem vi har nevnt foran, som for eksempel offentlig omtale, kan ha spilt inn. Hvor grensen for de ulike karakterene skal settes, både kvantitativ på en skala fra 0–100 % og kvalitativt ved en helhetlig tilnærming, vil bestandig være der. Vi mener som et utgangspunkt at en overordnet nivåjustering burde vært foretatt.

Vi konstaterer at det selv med nasjonale eksamener arrangert av NOKUT er mulig å stille spørsmål ved om studentenes rettssikkerhet er ivaretatt og metodisk robust nok.

Metodisk mener vi avviklingen av de nasjonale eksamenene kunne vært gjennomført på en bedre og mer robust måte, men det hadde krevd et annet og mer omfattende apparat. En nærmere analyse ville vært nyttig ved praktisering av nasjonale eksamener fremover.