LLM til professionelle analyseopgaver
03-09-2024
Når man anvender Generative AI (GenAI) teknologier professionelt, er det svært at komme udenom en tilgang der benytter teknologien Retrieval-Augmented Generation. RAG dækker over en metode, hvor man kombinere de generative evner i store sprogmodeller (LLM'er) med præcise og faktabaserede oplysninger fra eksterne kilder, hvilket forbedrer kvaliteten af de genererede svar og sikrer, at modellen primært behandler relevante data.
Hvordan trænes en LLM-model?
En LLM (Large Language Model) som f.eks. GPT-3 eller GPT-4 trænes på massive mængder tekstdata. Disse modeller lærer at forstå og generere tekst ved at identificere mønstre i ord og sætninger gennem en proces der kan beskrives som maskinlæring. Under træningen lærer modellen at associere ord med kontekst, men den opbygger ikke egentlige "viden" i form af specifikt gemte data eller detaljer baseret på fakta – med henvisning til konkrete kilder. Dette betyder, at selvom en LLM kan generere meget overbevisende tekst og ”fakta”, så er det ikke baseret på en aktiv hukommelse af specifikke informationer, som indgik konkret i træningen.
Et godt eksempel på, hvordan en LLM lærer, kan sammenlignes med hvordan mennesker lærer. Hvis du læser en bog skrevet af H.C. Andersen, kan du efterfølgende huske de store elementer, som for eksempel at der var tre ællinger i et specifikt eventyr. Men alle vil sandsynligvis ikke huske alle detaljer, herunder f.eks. om de gik over en vej, da de skulle hjem – eller om de skulle hjem:-)
Ligesom mennesker kan en LLM model ikke opbygge en fuldstændig viden om alt – men hæfter sig alene ved sammenhænge mellem ord, sætninger og værdier – en sammenhæng der til en vis grad opbygges tilfældigt i behandlingsøjeblikket.
Hvad betyder RAG-teknologien?
RAG-teknologi (Retrieval-Augmented Generation) ændrer dette ved at integrere faktabaserede oplysninger direkte i modellen, når en opgave behandles. I stedet for at modellen baserer sig på sine træningsdata, kan den hente/få tildelt specifikke oplysninger fra eksterne kilder i realtid. Dette gør det muligt for LLM-modellen at arbejde med konkrete, relevante og opdaterede data, der alt andet lige, vil give bedre svar – som f.eks. kan indeholde kildehenvendelser.
RAG giver mulighed for at afgrænse både behandlingen og svar – hvilket giver fantastiske muligheder for at få data, herunder også fortroligt, behandlet med den effektivitet som modellens intelligens tilbyder.
Intelligente vs. brede RAG-metoder
RAG-teknologi kan anvendes på flere måder, alt efter hvordan man vælger at hente data og interagere med modellen. Det to mest oplagte er beskrevet kort herunder.
- Push- RAG: Denne tilgang betyder, at der forud eller under behandlingen sker en udsøgning af data, relevant for den opgaveløsning som man forventer opgaven skal løse. Intelligent RAG kan implementeres på mange måde – både effektive og mindre effektive. Den effektive model kræver, at man på forhånd har sikret målrettede, relevante og afgrænsede RAG datasæt – og man intelligent gør disse tilgængelige i behandlingen.
Den mindre effektive RAG behandling kan betegnes som container modellen. Den er udpræget anvendt og betyder grundlæggende, at man enten automatisk eller manuelt udvælger et antal dokumenter som placeres i en datacontainer (eller et projekt). Der er typisk tale om forholdsvis store datasæt som f.eks. en samlet kontrakt eller en samlet lovgivning. Ulempen ved container modellen er, at kende problemstillinger under betegnelsen ”den vrøvler”, forholdsvis let kan forekomme pga. den store mænge informationer man beder modellen behandle i et enkelt behandlingsloop. Den bør bruges med omtanke.
- Pull- RAG: I den brede tilgang stilles alle tilgængelige RAG-data til modellens rådighed. Dette kan inkludere tilgangen til enorme mængder af data, som modellen derefter skal vælge ud fra, når den genererer et svar.
Denne metode giver et bredere datagrundlag, men er designet ikke helt skarpt, kan den hurtigt føre til, at modellen træffer beslutninger baseret på mindre relevante data eller støj, fravælger at bruge ”gode” data eller tilsvarende. Det er en effektiv model, hvis den designet godt og bruges rigtigt.
Begge tilgange har deres fordele og ulemper. Den intelligente RAG-metode, baseret på pull giver mulighed for høj præcision og forholdsvis pålidelige resultater, men kræver at man har gode og behandlede data tilgængelige. Den brede tilgang, baseret på pull giver større fleksibilitet og brug af omfattende datakilder, men kan føre til mindre relevante svar med en forholdsvis lav pålidelighed.
Fordele og muligheder med RAG
Skal du bruge GenaI teknologien professionelt til analyse- og processeringsopgaver, så bør man tidligt i processen overveje en RAG baseret tilgang. Bruger du alene teknologien til kreative opgaver som f.eks. at skrive tekster eller lave opsummeringer på tekster m.v., så er det mindre relevant at tænke i RAG.
Til toppen
Kommentarboks (viser kun åbne kommentarer)
Indholdet, der deles i chatten, repræsenterer kun afsenderens egne holdninger og er ikke nødvendigvis i overensstemmelse med virksomhedens synspunkter. Brug af chatten, herunder af de råd, vejledning m.v. der måtte blive del sker ligeledes på eget ansvar. Bemærkninger der vises her er aktivt tilvalgt til offentliggørelse af afsenderen.