Hvem svarer, når den tager fejl

Direktionen kommer med en demonstration. Noget bliver opsummeret, noget bliver skrevet, et tal dukker op på få sekunder, hvor det før tog en uge. Lokalet er imponeret, for det er imponerende. Så spørger nogen, hvad det koster. Direktionen nævner et beløb. Bestyrelsen godkender det.

Det er ikke en beslutning. Det er en reaktion på en demonstration. Sådan har de fleste danske bestyrelser godkendt kunstig intelligens i to år.

Problemet er ikke, at bestyrelserne er skødesløse. Problemet er, at en demonstration besvarer netop det spørgsmål, bestyrelsen ikke behøver svar på. Om teknikken virker, er direktionens ansvar at afklare. Når den når frem til bestyrelseslokalet, virker den som regel — i hvert fald i det ene tilfælde, der blev valgt til lejligheden. De spørgsmål, bestyrelsen rent faktisk står på mål for, er aldrig dem, en demonstration svarer på.

Der er tre af dem.

1 · Hvad har den lov til?

Ikke hvad den kan. Hvad den har lov til — skrevet ned, før den bliver sat i drift.

Ethvert system i en virksomhed ligger et sted mellem at foreslå og at beslutte. Et regneark foreslår. Et betalingssystem beslutter. Det meste af det, der er købt ind under overskriften AI de sidste to år, er stille og roligt rykket tættere på at beslutte, end nogen på bestyrelsesniveau fik at vide — fordi ingen trak grænsen eksplicit, og fordi software som udgangspunkt gerne vil hjælpe.

Bestyrelsens spørgsmål er ikke teknisk. Det er det samme spørgsmål, som den stiller om enhver prokura: hvad er det største, det her kan gøre, uden at et menneske siger ja først? Kan direktionen ikke svare på det med én sætning pr. system, er svaret, at ingen ved det. Det er i sig selv konklusionen.

Jeg beder om det som en nedskrevet grænse, formuleret i forretningens sprog og ikke i leverandørens. Den skriver udkastet; en navngiven medarbejder sender det. Den markerer sagen; sagsbehandleren afgør den. Den afstemmer kontoen; intet bogføres uden godkendelse. Det er sætninger, en bestyrelse kan holde direktionen fast på tolv måneder senere. "Vi bruger AI i kundeservice" er det ikke.

2 · Hvad forbliver en menneskelig beslutning — permanent?

Det første spørgsmål handler om grænsen i dag. Det her handler om den grænse, der ikke flytter sig.

Ethvert automatiseringsprojekt presser på for at brede sig. Presset er legitimt: det virker, besparelsen er reel, og den næste sag ligner den forrige. Det, en bestyrelse skylder virksomheden, er en kort liste over beslutninger, der ikke bliver automatiseret, uanset hvor godt det går. Hvem der bliver ansat, og hvem der bliver afskediget. Hvad en kunde får at vide, når noget er gået galt. Alt, der afslutter et kundeforhold. Alt, hvor en myndighed vil forvente, at et navngivent menneske har taget stilling til det.

Skriv listen, mens konsekvenserne stadig er små. Det koster ingenting nu og er næsten umuligt at få igennem senere, når den undtagelse, man vil beskytte, er præcis den, der står mellem virksomheden og et tal, direktionen allerede har lovet.

Det er ikke forsigtighed over for teknologien. Jeg har brugt tre år på at arbejde med den, jeg har været formand i en AI-virksomhed, og jeg har penge i to mere. Det er helt almindelig disciplin: at beslutte, hvad virksomheden er, før en driftsbeslutning gør det for dig.

3 · Hvem svarer, når den tager fejl?

Den kommer til at tage fejl. Ikke ofte, hvis den er bygget ordentligt, og fejlen bliver som regel lille. Spørgsmålet er, hvad der sker i det kvarter, der følger, efter at nogen har opdaget den.

En bestyrelse skal kunne navngive, for hvert system med reel handlefrihed:

• den person, der står på mål for resultatet — ikke leverandøren, ikke platformsteamet, men en person
• hvordan et forkert svar bliver opdaget, og om den opdagelse sker automatisk eller først, når kunden klager
• hvad der kan rulles tilbage, og hvad der ikke kan
• hvad der bliver logget, godt nok til at man bagefter kan rekonstruere, hvad systemet fik at vide, og hvad det svarede

Det sidste afgør, om de tre første overhovedet kan besvares. Et system, der ikke kan vise sine kilder og ikke kan vise sine input, kan ikke undersøges — kun undskyldes. Når jeg selv udvikler på det her område, er det den egenskab, jeg insisterer på først: den svarer med sine kilder, og den siger til, når den ikke ved det. Ikke fordi det er elegant, men fordi alternativet er en virksomhed, der ikke kan fortælle en myndighed, en kunde eller sin egen bestyrelse, hvad der skete.

Hvordan det ser ud i et bestyrelsesmateriale

Tre spørgsmål, én side pr. system med reel handlefrihed. Grænse, permanente undtagelser, ansvarlig person. Den tages op igen, når grænsen flytter sig — og det gør den.

Kan direktionen ikke lave den side, er konklusionen ikke, at de er dårlige til AI. Konklusionen er, at ingen endnu har besluttet, hvad virksomheden vil lade den gøre — og det er et hul i styringen, ikke i teknikken. Det er bestyrelsens ansvar.

Den del, der intet har med AI at gøre

Jeg har siddet på den anden side af det bord. Jeg har drevet tre virksomheder med en bestyrelse og en formand over mig, og jeg ved præcis, hvordan det er at komme med noget, man tror på, og blive stillet et spørgsmål, man ikke kan svare på. Det er ubehageligt. Det er i det øjeblik, hvor bestyrelsen tjener sit honorar.

Den fejl, jeg holder øje med, er ikke en bestyrelse, der siger nej. Det er en bestyrelse, der modtager en rapport, som er behagelig frem for sand, accepterer et tal, den ikke kan efterprøve, og atten måneder senere opdager, at den grænse, den troede fandtes, aldrig blev skrevet ned.

Teknologien er ny. Det er fejlen ikke.