RAG - vejen til kvalitet og troværdighed i LLM brug

Moderne sprogmodeller (LLM’er) kan skabe overbevisende og letlæselige svar, men deres grundlæggende natur medfører tre konkrete udfordringer i praksis: de kan hallucinere (opføre sig som om noget er faktuelt korrekt, selv om det ikke er det), de kan være baseret på forældet viden, og de mangler ofte et tydeligt spor til kilder.

Dette er dog en kendt svaghed, som i dag primært optræder i chatbots, der uden styring, regler, kvalitetsloops og et retvisende datagrundlag forfølger enhver dialog med en bruger – typisk på brugerens præmisser.

Her ser vi på RAG-data, som grundlæggende er et af de mest effektive værktøjer i professionelle AI-løsninger til at sikre, at en model behandler, forstår og svarer på baggrund af faktuelle og validerede oplysninger, frem for udelukkende den viden, den har opnået gennem sin oprindelige modeltræning.

Den tekniske forklaring:
RAG (Retrieval Augmented Generation) er en praktisk tilgang: Man etablerer relevante dokumenter, der indeholder faktuelle data, i et format og en struktur, som kan anvendes direkte i behandlingen. Det gør LLM-svar kontrollerbare og væsentligt lettere at verificere.

Den forståelige forklaring:
Der var en tid, hvor mange mente, at verden var flad og ikke rund. Al datidig logik talte for dette – for hvis den var rund, ville man jo falde ned, når man gik på “bagsiden”. Hvis en LLM-model var trænet udelukkende på denne viden, ville den konsekvent svare i overensstemmelse hermed. Vi har altså en eksisterende viden, som vi ønsker at kvalificere.

Det kan effektivt og hurtigt gøres ved at etablere et sæt RAG-data, der indeholder nutidige informationer om verden, tyngdekraften m.v., og derefter instruere modellen i, at hvis den kan finde svar på spørgsmål omhandlende “verden”, skal den søge i de konkrete RAG-data og anvende viden derfra frem for den oprindelige træningsviden.

Det er en forsimplet forklaring – men grundlæggende det, som RAG-data gør.

Hvad skal være på plads teknisk:
En basal teknisk arkitektur omfatter en vektordatabase, som man enten selv etablerer, eller – ofte mere effektivt – anvender den, som de fleste modelleverandører stiller til rådighed.

Hvad skal indgå i RAG-data:
Indholdet af RAG-data samt den måde, de struktureres på, er afgørende for den effekt, man opnår. Det er altid fristende for en model at anvende sin egen viden frem for den viden, der tilføres via RAG. Hvis RAG-data ikke dækker den opgave, modellen får, vil den ofte falde tilbage på sin oprindelige viden.

Strukturen i de etablerede RAG-elementer er derfor også central. Når en LLM arbejder, sker det grundlæggende matematisk. Når modellen søger efter et svar, leder den efter matematiske repræsentationer, der matcher den opgave, den forsøger at løse. Disse repræsentationer afhænger direkte af, hvordan RAG-data er struktureret, og har derfor stor betydning for den samlede effekt.

Kort opsummeret, RAG LLM’er operationelt anvendelige ved at kombinere dynamisk, dokumentbaseret retrieval af viden med generering. Det øger nøjagtighed, transparens og kontrol – og er i rigtigt mange tilfælde det der gør, at en LLM model kan løse sine opgaver med kvalitet og stor nøjagtighed.