Het is ontstellend eenvoudig geworden om een eigen chatbot of AI-assistent te maken. Tools als CustomGPT van OpenAI en Copilot van Microsoft openen een hele wereld van mogelijkheden: je kunt je eigen chatbots ontwikkelen om klanten of eigen medewerkers te helpen met vragen, of om taken binnen je organisatie te stroomlijnen.
Vraag niet alleen wat een chatbot voor je kan doen, maar ook wat deze niet mag doen
Terwijl organisaties steeds meer afhankelijk worden van deze digitale assistenten, vergeten ze nogal eens een cruciale vraag te stellen: waar liggen de grenzen van wat deze bots zouden mogen zeggen? Wie geen duidelijke kaders stelt aan AI-assistenten, kan voor onaangename verrassingen komen staan.
“We zien in de praktijk veel enthousiasme om snel aan de slag te gaan met chatbots. En daardoor is het verleidelijk om meer tijd en aandacht te schenken aan de mogelijkheden, dan aan de noodzakelijke beperkingen die je aan zo’n chatbot meegeeft”, vertel Joop Snijder, Head of Research Center AI. “In onze ervaring is het essentieel om vooraf duidelijk te definiëren wat de AI-assistent niet mag zeggen of doen, om te voorkomen dat er ongewenste of zelfs schadelijke uitkomsten ontstaan.”
Chatbot die vloekt en gedichten schrijft
Zo lanceerde de Engelse pakketdienst DPD een chatbot om veel gestelde vragen van klanten te beantwoorden. Het project liep echter al snel uit de hand, aldus Joop: “Een gefrustreerde klant kreeg de chatbot zo ver dat deze ging vloeken en een gedicht schreef over de slechte service van DPD.”
Een video van dit voorval ging viral, wat leidde tot reputatieschade voor het bedrijf:
Het voorbeeld laat zien hoe belangrijk het is om de mogelijkheden van een AI-assistent zorgvuldig af te bakenen, aldus Joop: “In dit geval had DPD een pijnlijke situatie kunnen voorkomen, door vooraf goed na kunnen denken over welke output onacceptabel zou zijn.”
Hoe definieer je grenzen voor een AI-assistent?
Welke stappen kun je als ontwikkelteam nemen om de grenzen te stellen aan wat AI-assistenten kunnen en mogen doen?
- Begin met het in kaart brengen van onderwerpen, uitspraken en gedragingen die absoluut niet toegestaan zijn. Denk daarbij aan ongepaste taal, het geven van medisch advies zonder disclaimer, of het verstrekken van privacy-gevoelige informatie. Het is belangrijk om specifieke, duidelijke kaders mee te geven die zo min mogelijk ruimte overlaten voor interpretatie.
- Betrek meerdere teams in dit proces, die elk vanuit hun eigen perspectief kunnen meekijken; van communicatie, tot HR, de juridische afdeling en IT. Hiermee zorg je voor een breed draagvlak en minimaliseer je de kans op blinde vlekken.
- Tools kunnen testen of de chatbot zich houdt aan de gestelde grenzen, door de input en output van een digitale assistent continu te monitoren en evalueren. Deze tests zijn vooral belangrijk wanneer er updates zijn uitgevoerd of nieuwe functionaliteiten worden toegevoegd.
- Het is ook mogelijk om geautomatiseerde tests uit te voeren die de beperkingen controleren. Chatbots worden hierin verleid om over de schreef te gaan. Door de reacties hierop te analyseren kun je zien of het gedrag van de chatbot is gewijzigd sinds de laatste test.
- Tenslotte is het cruciaal om voortdurend te evalueren en bij te sturen. Verzamel feedback van gebruikers en analyseer de conversaties die een AI-assistent voert. Op deze manier kun je de chatbot op het juiste pad houden en het risico op ongewenste uitkomsten minimaliseren.
Verantwoordelijkheid nemen
Joop: “De opkomst van chatbots en AI-assistenten biedt ongekende mogelijkheden om je dienstverlening te verbeteren en efficiënter te werken. Maar met deze nieuwe mogelijkheden komen ook nieuwe verantwoordelijkheden. Stel jezelf dus de vraag: hebben we de grenzen van een AI-assistent goed gedefinieerd? En hebben we de juiste maatregelen genomen om ongewenste uitkomsten te voorkomen? Het is van cruciaal belang om hier proactief over na te denken en uitkomsten regelmatig te monitoren. Alleen zo kun je de kracht van chatbots benutten, terwijl je de risico’s minimaliseert.”