AI bliver ikke kun bremset af chips, men også af netværket

Når danske virksomheder taler om AI-infrastruktur, ender samtalen næsten altid ved chips. TechCrunch peger på, at det billede er for smalt. Nvidias netværksforretning er nu selskabets næststørste indtægtskilde efter compute. I seneste kvartal omsatte den for 11 milliarder dollar, op 267 procent fra året før, og for hele året passerede den 31 milliarder dollar. Det er ikke bare en sideforretning. Det er et tegn på, at forbindelserne mellem maskinerne er blevet næsten lige så vigtige som selve regnekraften.

🌐 Kort fortalt Nvidia sælger ikke kun flere GPU'er. Selskabet tjener nu stort på at få GPU'er, servere og datacentre til at tale hurtigt nok sammen til, at AI faktisk virker i stor skala.

Ifølge TechCrunch består området blandt andet af NVLink, InfiniBand-switches, Spectrum-X og optiske løsninger, som binder rack, servere og GPU'er sammen i det, Nvidia kalder en AI factory. Historien går tilbage til opkøbet af Mellanox for 7 milliarder dollar i 2020. Det køb ser nu mere og mere ud som lige så vigtigt som mange af de chipbeslutninger, Nvidia er mest kendt for.

For danske virksomheder og offentlig sektor er pointen enkel. Hvis I køber AI gennem cloudtjenester, private datacentre eller større analyseplatforme, er det ikke nok at spørge efter antal GPU'er. Træning, finjustering og tunge inferensopgaver lever eller dør også på, hvor hurtigt data kan flyttes mellem maskiner uden flaskehalse. Det påvirker ventetid, stabilitet og pris.

Det betyder især noget for organisationer med egne dataprojekter, billedbehandling, simulationsarbejde eller store dokumentmængder. Hvis infrastrukturen er skruet forkert sammen, kan man ende med dyr kapacitet, der står og venter på data i stedet for at arbejde. Den regning kommer ofte sent, fordi fokus i indkøb ligger på modelnavne og hardwarelister.

TechCrunch citerer også en analytiker, der bemærker, at Nvidias netværksforretning i ét kvartal næsten matcher, hvad Cisco omsætter for på et år i sit netværksområde. Det understreger, hvor hurtigt AI-datacentre ændrer prioriteringerne i markedet.

🛠️ Det kan I gøre nu Spørg leverandører og interne arkitekter om fire ting: interconnect mellem GPU'er, netværkskapacitet mellem noder, forventet ventetid ved store dataløb og hvad der sker, når flere teams bruger samme miljø samtidig.

Historien er ikke kun vigtig for dem, der bygger egne serverrum. Den er vigtig for alle, der vil købe AI på en måde, som holder mere end en pilot. I de kommende år bliver god infrastruktur mindre et spørgsmål om flest chips og mere et spørgsmål om færrest flaskehalse.