Amazons nye chiptryk kan flytte jeres AI-budget

AI bliver stadig solgt som software, men regningen bliver i høj grad styret af chips. Derfor er dagens nyhed fra AWS værd at følge, også fra Danmark. TechCrunch har været på rundtur i Amazons Trainium-lab i Austin, og historien er enkel: Amazon vil gøre inference billigere, gøre det lettere at skifte væk fra Nvidia og binde flere kunder tættere til AWS på samme tid.

💡 Tallene i kort form AWS siger, at der nu er 1,4 millioner Trainium-chips i drift på tværs af tre generationer. Over 1 million af de udrullede Trainium2-chips kører Claude, og AWS siger, at Trn3 UltraServers kan koste op til 50 procent mindre at drive ved sammenlignelig ydelse.

Det er ikke bare en hardwarehistorie. Trainium2 håndterer ifølge AWS allerede størstedelen af inference-trafikken på Bedrock, og OpenAI skal efter aftalen med Amazon have adgang til 2 gigawatt Trainium-kapacitet. Samtidig siger AWS, at mange PyTorch-projekter nu kan flyttes med en meget lille kodeændring. Hvis det holder i praksis, er det et direkte angreb på den antagelse, at seriøs AI næsten altid betyder Nvidia først.

For danske virksomheder betyder det især noget to steder. Det ene er pris. Hvis flere leverandører kan levere brugbar inference billigere, kan regnestykket for interne AI-værktøjer, søgning, sagsstøtte og kundeservice ændre sig hurtigere, end mange budgetter regner med. Det andet er forhandling. Når cloududbydere får flere realistiske chipspor, bliver det sværere for dem at forklare høje priser med mangel alene.

Offentlig sektor bør også følge med. Ikke fordi regioner og kommuner skal vælge chips direkte, men fordi deres platformvalg bliver mere følsomme over for underliggende arkitektur. Hvis en leverandør bygger en løsning tæt op mod én cloud og én bestemt chiptype, kan skifteomkostningen senere blive unødigt høj. Det gælder især, hvis AI bliver en fast del af journalnotater, selvbetjening, triagering eller dokumentgennemgang.

Det kloge træk lige nu er ikke at gætte på en vinder. Det er at presse leverandørerne lidt hårdere. Spørg, hvilken infrastruktur deres prismodel bygger på. Spørg, hvad der sker, hvis GPU-priser falder eller nye chiptyper bliver standard. Spørg, hvor flytbar jeres workload er. AI-økonomi handler ikke kun om modelvalg længere. Den handler også om, hvor dyrt det er at køre de samme prompts mandag morgen.