Microsoft frigiver flersproget søgemodel som open source

Microsofts Bing-team har frigivet embedding-modellen Harrier som open source under MIT-licens. Modellen understøtter mere end 100 sprog og ligger ifølge teamet nummer et på den flersprogede MTEB v2-benchmark, hvor den slår proprietære modeller fra OpenAI og Amazon.

Hvad er en embedding-model?

Embedding-modeller bruges til søgning, genfinding og organisering af information. De omdanner tekst til numeriske repræsentationer, som computere kan sammenligne og sortere. Det er den teknologi, der gør det muligt for AI-systemer at finde relevant information og give præcise svar.

Når en virksomhed bygger en chatbot, der skal svare på spørgsmål ud fra interne dokumenter, er det typisk en embedding-model, der finder de relevante afsnit, inden sprogmodellen formulerer svaret.

Tre størrelser til forskellige behov

Harrier kommer i tre varianter: en stor model på 27 milliarder parametre og to mindre på 0,6 milliarder og 270 millioner parametre. Det betyder, at virksomheder kan vælge den størrelse, der passer til deres infrastruktur og budget. De mindre varianter kan køre på almindelig hardware, mens den store kræver mere regnekraft.

Alle tre modeller ligger på Hugging Face og kan frit downloades og bruges.

Praktisk relevans

Microsoft planlægger at bruge teknologien i Bing og i nye grounding-tjenester til AI-agenter. Grounding handler om at koble en sprogmodels svar til faktisk, verificerbar information, så den ikke opfinder ting.

For danske virksomheder, der bygger egne søgeløsninger eller AI-agenter, er Harrier interessant af flere grunde. Den er gratis, den understøtter dansk, og den er stor nok til at give kvalitet, men kommer også i varianter, der kan køre lokalt. Det gør den til et reelt alternativ til de betalte embedding-tjenester fra OpenAI og Amazon, især for organisationer der foretrækker at holde data på egen infrastruktur.