Wie nu een AI-model wil ontwikkelen, kan dit sneller dan vijf of tien jaar geleden. Minder data en rekenkracht zijn nodig, dankzij foundation models. Deze AI-modellen, getraind op enorme datahoeveelheden, zoals miljarden tekstregels of afbeeldingen, zijn effectief in het herkennen van patronen. Voorbeelden zijn chatbots als ChatGPT en afbeeldinggenerators als Midjourney. Ze zijn breed toepasbaar voor verschillende taken, waardoor ze waardevolle bouwstenen zijn voor AI-ontwikkelaars. Maar hun werking en aandachtspunten bij gebruik zijn belangrijk om te begrijpen.
Zijn foundation models dé springplank voor snelle AI-innovaties?
De belangrijkste eigenschappen van foundation models
Het belangrijkste verschil tussen foundation models en andere AI-modellen:
- Ze zijn getraind op enorme hoeveelheden data – vaak miljarden voorbeelden. Zo is computer vision model DALL-E getraind met behulp van miljoenen afbeeldingen, waardoor het zelf visuele concepten en patronen heeft gedestilleerd en nieuwe afbeelding kan genereren.
- Ze zijn ontworpen om breed toepasbaar te zijn op allerlei verschillende taken, in plaats van zich te focussen op één specifieke toepassing. Zo kan taalmodel GPT-3 ingezet worden voor tekstgeneratie, vraag-en-antwoord, samenvattingen maken nog veel en meer.
- Ze bieden daardoor een fundament om op verder te bouwen. Omdat ze al getraind zijn op enorm veel basiskennis, is het relatief eenvoudig om ze met minder data aan te passen voor nieuwe specifieke taken. De basis is al gelegd.
Bouwen op het fundament van foundation models
Het is dus relatief eenvoudig is om nieuwe kennis toe te voegen aan foundation models en ze op die manier verder te verfijnen. De basis is immers al gelegd is; je hoeft niet meer vanaf nul te starten. Stel dat je een chatbot wil ontwikkelen voor je organisatie; dan kun je verder bouwen op een foundation model als GPT-3, dat is getraind op 45 terabytes aan tekstdata. Hierdoor begrijpt het model de structuur en opbouw van menselijke taal en kan het worden ingezet als chatbot of om content te genereren. Je kunt GPT-3 ook trainen op specifieke kennisdomeinen van je organisatie, of zelfs met interne data. Het model begrijpt immers al hoe taal in elkaar zit, en dan is het relatief eenvoudig om vaktermen, productdetails of interne processen toe te voegen.
Uitdagingen van foundational models
Foundation models kennen helaas ook een aantal uitdagingen. Vooral als het gaat om transparantie en uitlegbaarheid schieten deze modellen nog tekort. Ze zijn getraind op enorme hoeveelheden data en bevatten miljarden parameters, wat het enorm ingewikkeld maakt om te doorgronden hoe ze precies tot bepaalde resultaten komen. Hun interne werking is complex en gelaagd, wat het lastig maakt om de modellen echt te begrijpen. Dit gebrek aan transparantie wordt ook wel aangeduid met de term ‘black box’: het is onduidelijk wat er gebeurt tussen input en output. Dit kan leiden tot wantrouwen bij gebruikers en problemen bij het evalueren en verbeteren van de modellen. Ook is het ingewikkeld om verantwoording af te leggen over besluiten die gebaseerd zijn op deze AI-modellen.
Kortom, foundation models zijn een goed voorbeeld van de enorme vooruitgang in artificial intelligence, maar het gebruik van deze modellen is niet geheel zonder uitdagingen. De verwachting is AI de komende jaren, onder meer dankzij foundation models, een nog grotere vlucht nemen. Ze leggen daarmee het fundament onder de volgende golf van AI-innovatie. Het is wel te hopen dat ze op het gebied van transparantie nog meer kunnen bieden dan op dit moment het geval is.
Dit artikel is gemaakt op basis van deze aflevering van de podcast AIToday Live met Joop Snijder.