Microsoft frigiver open source-værktøj til at styre AI-agenter i drift

Når en AI-agent får adgang til API'er, cloud-lagre og CI-pipelines, kan den handle uden at et menneske godkender hver enkelt handling. Det giver fart, men også risiko. Microsoft har nu frigivet et open source-toolkit, der adresserer præcis det problem.

Toolkitet lægger en policy engine mellem modellen og de eksterne værktøjer, den forsøger at kalde. Hver gang agenten vil udføre en handling, bliver forespørgslen kontrolleret mod et sæt centrale governance-regler. Hvis handlingen bryder politikken, bliver API-kaldet blokeret og logget til menneskelig gennemgang bagefter.

Ideen bag er, at statisk kodeanalyse og scanning inden deployment ikke er nok, når man arbejder med store sprogmodeller. Modellerne er ikke-deterministiske. Det betyder, at den samme agent kan opføre sig forskelligt fra gang til gang, og at problemer først viser sig i det øjeblik, handlingen forsøges. Derfor flyttes kontrollen til runtime.

Ud over sikkerhedsregler dækker toolkitet også økonomisk styring. Det kan sætte grænser for tokenforbrug og API-kaldsfrekvens, så en løbsk agent ikke sprænger budgettet.

Microsoft har valgt at frigive projektet som open source. Argumentet er, at sikkerhedskontrollerne skal kunne bruges på tværs af teknologi-stakke, uanset om man kører Azure, AWS eller noget helt tredje. Det reducerer vendor lock-in og giver virksomheder mulighed for at tilpasse reglerne til deres egen kontekst.

For virksomheder, der er begyndt at give AI-agenter adgang til interne systemer, er det her værd at kigge på. Ikke fordi man nødvendigvis skal bruge Microsofts toolkit, men fordi det sætter en standard: hvis en agent kan handle autonomt, skal der være et auditspor og en mekanisme til at stoppe den, før skaden sker.