Qualcomm presser tænkemodeller ned på mobilen

Qualcomm AI Research har vist en ny metode til at få tænkemodeller til at køre på smartphones uden at drukne i strømforbrug og lange svartider. Hovedgrebet er at gøre modellernes interne ræsonnement kortere. Ifølge The Decoder bliver svar i gennemsnit 2,4 gange kortere, og i nogle opgaver helt op til 8 gange. I et eksempel falder en algebraopgave fra 3.118 tokens til 810.

💡 Tallene der flytter noget Kun omkring 4 procent af parametrene skal trænes i Qualcomms løsning. Modellen bliver presset ned til 4 bit, og Qualcomm siger, at det kun koster cirka 2 procent i præcision. Med otte parallelle kørsler stiger resultatet på MATH500 med omkring 10 procent.

Det lyder teknisk, men konsekvensen er let at forstå. Hvis mere AI kan køre lokalt på en telefon eller anden edge-enhed, slipper man for at sende alle data til en cloudtjeneste. Det giver lavere forsinkelse og bedre privatliv. Det betyder også, at løsningen kan bruges, når forbindelsen er dårlig eller helt væk.

For danske virksomheder og offentlig sektor er det især interessant i arbejdsgange med følsomme data eller medarbejdere på farten. Tænk sagsbehandling i marken, sundhedsdata på en enhed, teknikere der arbejder uden stabil forbindelse, eller ledere der vil have hurtige opsummeringer uden at sende mødenoter ud af huset. Qualcomm peger selv på personlige assistenter, der kan planlægge flere trin og arbejde på tværs af apps. Det er ikke noget, man bare tænder for i næste uge, men retningen er vigtig.

Der er også en mere jordnær lære. Mange AI-projekter falder ikke på modellen, men på driftsøkonomien. Hvis et svar kræver for mange tokens, for meget hukommelse og for meget batteri, bliver det dyrt eller langsomt. Qualcomm prøver at løse det problem ved at lære modellen at stoppe tidligere, når den faktisk har fundet svaret.

🧭 Mandag morgen Peg på de opgaver, hvor data helst skal blive på enheden, og hvor svartid betyder noget. Det er der, on-device AI først kan give reel værdi. Resten kan vente, til værktøjerne er mere modne.

Det her er ikke et færdigt standardsystem. Det er forskning med tydelig retning. Men for organisationer, der arbejder seriøst med sikkerhed og drift, er det en historie, der fortjener opmærksomhed allerede nu.