«Forskning viser at» … KI reviderer nå bedre enn revisorene
Noen av oss husker første gang en datamaskin slo en verdensmester i sjakk (da superdatamaskinen Deep Blue fra IBM slo Garry Kasparov i 1996 og 1997) – og det var en sensasjon. Nå viser en helt ny, upublisert studie* Christensen, Emett, Eulerich, Wood (2026): «Using Artificial Intelligence for Fraud Risk Assessment: Evidence from Novice and Experienced Auditors», utkast, upublisert. at KI slår revisorer når regnskapsjuks skal avdekkes, og at revisorenes redigering av AI-konklusjonen faktisk forverrer resultatet.
Uten KI |
Med KI-hjelp |
|
|---|---|---|
Erfarne revisorer |
3,00 |
6,24 |
Nybegynner-revisorer |
2,06 |
5,08 |
Gjennomsnittlig antall identifiserte, relevante risiki for å avdekke regnskapsjuks funnet av hhv. erfarne og nybegynner-revisorer uten og med KI-hjelp.
Vi hadde nylig besøk på NHH av en fremadstormende, topp internasjonal revisjonsforsker; Brant Christensen. Han redegjorde for sin siste forskning på bruk av kunstig intelligens (KI).
De utførte et eksperiment på 72 erfarne (intern) revisorer og 420 nyansatte (ekstern) revisorer. De fikk seg forelagt et case der utestående kundefordringer hadde økt vesentlig før nyttår, samtidig som kunden hadde fått ny distributør. Caset er klassisk indikasjon på manipulering av inntekter* Se f.eks. Intellego Technologies AB 2024-regnskap; som nylig ble gitt på min eksamen på NHH.; varer pumpes ut til distributører før nyttår der det hoper seg opp, men registreres som salg – selv om salget juridisk/egentlig først skjer når distributøren har solgt varen videre, eventuelt at det foreligger returrett. Caset inneholdt mye informasjon, og deltakerne ble bedt om å plukke ulike former for risiki-identifikasjon. Man målte antall risiki som ble identifisert, hvilke som var relevante, og hvilke som var irrelevante.
Deltakerne ble delt i ulike grupper; noen fikk hjelp av KI til å løse caset (ved å stille spørsmål/prompte, fikk svar, men måtte konkludere selv) – andre ikke. Og SÅ lot man selvsagt KI løse caset på egen hånd…
Først ser vi (figur) – ikke overraskende – at erfarne revisorer identifiserte i gjennomsnitt tre relevante risiki mot to for nybegynnerne uten KI-hjelp. Men forbedringen var markant da man hadde KI som medhjelper; da fant de erfarne revisorene over seks identifiserte, relevante risiki, og nybegynnerne fant over fem relevante risiki. Som man ser, fikk (selvsagt) nybegynnerne mest fremgang og lukket gapet vesentlig vs. de erfarne. I parantes kan nevnes at de som promptet flere ganger (på ulike måter og/eller med oppfølgingsspørsmål), fikk bedre resultater, så det er noe å ta med seg.
Andelen av revisorer som fant den sentrale risikoen, var 71 % for de erfarne, og 50 % for nybegynnerne uten hjelp fra KI, og 94 % for erfarne og 71 % for nybegynnere med hjelp av KI; så fremgangen er markant for begge grupper når de får hjelp av KI.
Hallusinering fra KI er jo et velkjent problem; men det var ingen økning i antall irrelevante identifiserte risiki da KI ble tatt i bruk; så brukt riktig er KI nyttig.
Tidsbruken ble også redusert vesentlig da KI var medhjelper: 30 % mindre tid for de erfarne og 45 % for nybegynnerne!
Så trente man opp en KI til å finne regnskapsjuks helt generelt ved å trene den på kjente saker, samt ved at et erfarent revisjonsteam fortalte KI hva man burde se etter. Revisjonsteamet eller KI visste selvsagt ingenting om caset som faktisk ville bli gitt da KI skulle prøve seg på egen hånd. KI ble kjørt 30 ganger uavhengig av hverandre (uten å vite om sine tidligere svar). Og resultatet: KI slo både erfarne og nybegynnere ned i støvlene:
KI fant i gjennomsnitt 7,7 relevante, signifikante risiki vs. altså hhv. 3,0 og 2,0 for erfarne og nybegynnerne uten hjelp.
KI fant den sentrale risikoen i 99 % av kjøringene… vs. 71 % og 50 % for erfarne og nybegynnere.
KI brukte sekunder på selve jobben, mens revisorene brukte fra 10 til 30 minutter.
Så kanskje det mer bekymringsfulle: I revisjon tenker vi gjerne at KI kan og bør brukes som et hjelpemiddel, men der revisor gjør den endelige vurderingen. En tilleggstest med nybegynner-revisorene (tenk det gjerne som nye medarbeidere) i eksperimentet viste imidlertid følgende: Medarbeideren kunne velge bare å videresende det den trente KI-en ga som svar, eller bearbeide svaret før det ble sendt videre. Svaret er nedslående:
For dem som redigerte og kuttet tekst som ble brukt til konklusjonen, ble svaret signifikant dårligere: dvs. færre relevante risikoer (fra 5,94 til 4,23).
Samtidig mente de som hadde gjort redigering, at lederne deres ville mene at de var mer kompetente, grundigere og mindre slappe enn de som ikke hadde redigert…Så får vi bare håpe at en kvalitetssikrer på revisjonsteamet i det virkelige liv ville ha plukket opp det beste resultatet.
KI springer stadig fortere og bedre…noen som kjenner pusten i nakken?
