RAG is een techniek waarbij een taalmodel eerst relevante informatie ophaalt uit jouw eigen bronnen en pas daarna een antwoord formuleert.
RAG staat voor retrieval augmented generation. Het is de techniek die ervoor zorgt dat een chatbot antwoordt met jouw feiten in plaats van met wat een taalmodel ooit ergens heeft gelezen.
Er gebeuren twee dingen achter elkaar. Eerst zoekt het systeem in jouw bronnen naar stukken tekst die bij de vraag passen. Denk aan je handleidingen, je veelgestelde vragen, je productbeschrijvingen en je ordersysteem. Dat is de retrieval-stap, die meestal via een vector database loopt.
Daarna krijgt het taalmodel die gevonden stukken mee als context, met de opdracht om de vraag daarmee te beantwoorden. Dat is de generation-stap.
Zonder RAG antwoordt een model uit zijn algemene training. Dat levert plausibele maar onbetrouwbare antwoorden op, want het model kent jouw retourtermijn niet.
Met RAG staat het antwoord op jouw documentatie. Verandert die documentatie, dan verandert het antwoord mee zonder dat er iets opnieuw getraind hoeft te worden. Je kunt ook laten zien waar een antwoord vandaan komt, wat controle en vertrouwen een stuk eenvoudiger maakt.