Generatieve AI wordt gezien als de gamechanger van kunstmatige intelligentie. Terecht, zoals je kon lezen in deel 1 van deze serie, Generatieve AI tot nu toe: hoe we zo ver gekomen zijn.
We staan nu aan de vooravond van een nieuwe doorbraak in de mogelijkheden van generatieve AI. Retrieval-augmented generation gaat een van de grootste uitdagingen van generatieve AI oplossen.
Platformen als ChatGPT, Midjourney en DALL-E creëren nieuwe data en content, van teksten tot afbeeldingen en zelfs complete websites, en dat allemaal op basis van grote hoeveelheden data. En ze leveren knap werk. Ze hebben echter twee problemen: ze doen niet aan bronvermelding. Je weet dus niet waar het model een uitkomst op gebaseerd heeft. En ze gebruiken geen feitelijke kennis uit informatiebronnen binnen je organisatie. Als gebruiker kun je er dus ook niet blind vanuit gaan dat de output van generatieve AI klopt en nauwkeurig is.
Enter retrieval-augmented generation.
Retrieval-augmented generation (RAG) combineert de de generatieve kracht van Large Language Models (LLM’s) zoals ChatGPT, met zorgvuldig gekozen en bekende databronnen. Je kunt RAG zien als een feitencheck. Je haalt eerst relevante en actuele informatie op uit bekende bronnen, met specifieke kennis die je nodig hebt binnen je organisatie. Vervolgens gebruik je deze informatie om een antwoord te genereren. Het combineert dus het ‘ophalen’ (retrieval) van relevante informatie met het ‘genereren’ (generation) van antwoorden.
Je kunt RAG toegang geven tot verschillende relevantie informatiebronnen binnen je organisatie: handleidingen, protocollen, contracten, werkwijzen, best practices, policies, richtlijnen, offertes, klantinformatie en ga zo maar door. Het systeem kan Informatie halen uit verschillende bestandsformaten – zoals PDF-, Powerpoint- en Word-documenten.
RAG vergroot dus de bruikbaarheid van LLM’s, omdat ze dynamisch externe, actuele informatie kunnen gebruiken in hun antwoorden en analyses. Hierdoor kun je de kennis uit die bronnen gebruiken om een antwoord te geven op vragen, net zoals je dat met ChatGPT nu al doet om online bronnen te raadplegen. Een ander groot voordeel van RAG is dat deze de bron ook vermeldt in het antwoord.
Een voorbeeld. RAG is uitermate geschikt om een chatbot ontwikkelen die veelgestelde vragen van klanten kan beantwoorden. RAG kan gebruikmaken van mentale modellen die zijn geleerd in een LLM, waardoor het vragen kan begrijpen en antwoorden kan formuleren die duidelijk zijn voor degene die de vraag heeft gesteld.
Voor een ziekenhuis hebben we eens een lijst van veelgestelde vragen ingelezen in een RAG. Eén van deze vragen ging over de systeemvereisten van een mobiele app die het ziekenhuis levert. In het antwoord stond dat de telefoon minimaal iOS 14 zou moeten ondersteunen.
Om een goed antwoord te geven op deze vraag, moet je de context begrijpen. Niet alle vragenstellers gebruiken woorden als ‘systeemvereisten’ of ‘iOS’. Een LLM snapt dat, want het heeft al geleerd wat de relatie is tussen de versie van een telefoon, de ondersteunde iOS-versies en kan daarmee redeneren, zonder deze specifieke zoektermen tegen te hoeven komen
En dus kan een AI-assistent met RAG van kennis over de systeemvereiste en de vraag van de gebruiker antwoorden met:
‘Helaas, uw iPhone 6 kan onze mobiele app niet gebruiken. Uw telefoon ondersteunt niet de vereiste iOS versie 14. Er is minimaal een iPhone 6S nodig voor het gebruik van de mobiele app.’
Er zijn ook uitdagingen waar je mee te maken krijgt. Voor algemene LLM’s zoals ChatGPT en Bard geldt dat de kennis waarmee ze zijn getraind verouderd kan raken. Hetzelfde is waar voor de informatiebronnen binnen je eigen organisatie verouderen. Het is daarom belangrijk om processen en protocollen in te richten die de kwaliteit van deze bronnen waarborgt als je een AI-assistent baseert op RAG. Er zullen afspraken moeten worden gemaakt wanneer nieuwe informatie beschikbaar komt voor de RAG en welke update- en verwijderstrategie moet worden toegepast. Dit doe je typisch per bron die je aansluit op de RAG en dat vergt dus de nodige tijd en aandacht.
Andere uitdagingen waar je in de praktijk mee te maken krijgt, is dat het ingewikkeld is om de juiste informatie uit documenten aan te bieden aan het systeem. Het is mogelijk om documenten in zijn geheel aan te bieden aan, wat de implementatie eenvoudig maakt, maar dat levert kwalitatief slechte resultaten op. Het is belangrijk om een balans te vinden tussen specifieke kennis in kleine delen van een document en de algemene grote lijn van het document. Ook is het belangrijk om veel aandacht te besteden aan het geautomatiseerd testen en evalueren van RAG-systemen.
RAG kan dus het beste van twee werelden combineren: de ongekende mogelijkheden van generatieve AI, en specifieke kennis binnen je eigen organisatie. Door de bronvermelding kun je er bovendien zeker van zijn dat informatie klopt en actueel is. Maar dat vergt wel het nodige op het gebied van onderhoud, testen en evalueren.