Sådan får du en AI-agent til at rette sit eget arbejde

Du beder ChatGPT om at opdatere et tilbud, og der kommer noget tilbage, der ligner et færdigt dokument. Alligevel bruger du en halv time på at rette det til. Ofte ligger forklaringen i selve opgaven. Den blev aldrig beskrevet ud fra det, afleveringen skulle kunne for den, der skal bruge den.

To greb hjælper: en beskrivelse af det færdige resultat, som kan efterprøves, og feedback, der er præcis nok til, at AI-agenten selv kan rette sit arbejde.

Beskriv, hvad afleveringen skal kunne

Tænk dig en sælger, der beder Claude om at opdatere et tilbud fra sidste år til en ny kunde. Agenten skifter kundenavn, dato og indledning, og dokumentet ser ordentligt ud. På linje tre står der stadig en timepris fra den gamle prisliste. Den fejl opdager du kun, hvis du selv slår efter.

Havde opgaven lydt, at tilbuddet er færdigt, når alle priser stemmer med prislisten fra marts, og en kollega kan sende det uden at tjekke noget, havde agenten haft noget at holde sit arbejde op imod. Så kunne den selv have sammenlignet linjerne med regnearket, før den afleverede.

Eksemplet er tænkt, men mønstret gælder de fleste opgaver. Mange bliver formuleret som aktiviteter: kig på tilbuddet, lav et udkast. Det kan betyde næsten hvad som helst. Beskriv i stedet afleveringen fra modtagerens stol. Et svar til en borger er færdigt, når det henviser til den rigtige regel og kan læses uden fagsprog. En månedsopgørelse er færdig, når lederen kan se de vigtigste tal på første side.

Anthropics offentlige vejledning i at evaluere AI-agenter anbefaler at definere succes konkret, inden arbejdet går i gang, og at tage udgangspunkt i de kontroller, man allerede udfører i hånden. Den peger også på, at et forløb kan vurderes på både resultatet og vejen derhen. Skriv ned, hvad du selv ville tjekke, før du sagde god for resultatet. Det er dine afleveringskriterier.

Feedback med adresse på

Når afleveringen rammer forbi, er den hurtigste vej at beskrive fejlen, så den kan rettes uden dig. Tilbage til tilbuddet. En besked til Claude om, at tilbuddet virker forkert, tvinger dig til selv at finde fejlen bagefter. En besked om, at prisen på linje tre stammer fra den gamle prisliste, og at den gældende står i regnearket fra marts, kan agenten handle på med det samme. Bed samtidig om at få vist, hvad der blev ændret, før du godkender rettelsen.

Microsoft Researchs retningslinjer for samspillet mellem mennesker og kunstig intelligens peger samme vej. De anbefaler, at det skal være let at rette systemet, at feedback kan gives konkret, og at brugeren kan se, hvad handlingerne ændrer. Peg på stedet, beskriv problemet, og skriv, hvad der skulle have stået.

Sådan så det ud på phugl.dk

I juli beskrev jeg, hvordan en AI-agent byggede en ny version af phugl.dk. Hele forløbet ligger i casen på min blog. Agenten fik en hel opgave og en beskrivelse af resultatet: Forsiden skulle hurtigt forklare, hvad phugl kan hjælpe med, og arbejdsmåden skulle have sin egen side. Agenten fandt selv de berørte sider og den kode, der holdt den gamle forklaring på plads. En anden model læste planen igennem og pegede på logiske huller. Den lokale version blev åbnet på mobil og computer, knapper og links blev prøvet af, og der blev taget skærmbilleder. Hver fejl gik tilbage til agenten, som rettede og kørte de samme tests igen.

Den vigtigste rettelse handlede om sproget. Teksten på siden var intetsigende. Jeg gav kritikken og konkrete eksempler tilbage, agenten rettede siden, og testene blev kørt igen.

Gem rettelserne, og behold beslutningen

Samtalen trænede ikke modellen på ny. Min kritik blev gemt som en regel i skriveguiden, som en test, der opdager, hvis de gamle formuleringer vender tilbage, og som kode, der kan genbruges. Næste lignende opgave begynder derfor et bedre sted, selv om modellen er den samme.

Det kan du gøre uden at skrive kode. Gem det færdige tilbud sammen med opgavebeskrivelsen som et eksempel. Skriv kontrollen ned: Sammenlign alle priser med den nyeste prisliste, før du afleverer. Læg den ind i instruktionen, hver gang Claude eller ChatGPT får et tilbud. Over tid får I en lille samling af eksempler og kontroller, der viser, hvordan færdigt arbejde ser ud hos jer.

I casen beholdt jeg de beslutninger, der har en reel konsekvens. Hjemmesiden kunne bygges, testes og lægges i en testversion uden at vente på mig, mens beslutningen om at lægge den live var min. Det samme gjaldt mail, opslag og betalinger: Agenten kunne gøre arbejdet klar, mens beslutningen om at sende, offentliggøre og godkende var min. Bedre instrukser gør ikke arbejdet sikkert i sig selv. De løfter kvaliteten undervejs, og du sætter selv rammen for, hvad der forlader huset.

Begynd med en opgave, der ligger på bordet

Tag den næste opgave, du alligevel skal have lavet, for eksempel et tilbud, der skal opdateres. Skriv, hvad den færdige aflevering skal kunne for den, der modtager den. Lad agenten aflevere et udkast, og send hver fejl tilbage med sted, problem og det rigtige svar. Gem til sidst det gode eksempel og den kontrol, der fangede fejlen, så den næste opgave begynder der.