Stappenplan voor het opzetten van een succesvol AI-experiment

1. Definieer het doel

“Veel projecten beginnen zonder een duidelijk vastgesteld doel, waardoor iedereen een andere kant op loopt in plaats van naar de finish te rennen”, aldus Joop. “Neem als voorbeeld een universiteit die 13.000 e-mails per jaar ontvangt over toelatingseisen voor studenten. Ze overwegen deze e-mails automatisch te beantwoorden met AI. Wat zouden hun doelstellingen kunnen zijn? Wellicht is dat het verlagen van de kosten voor het beantwoorden van e-mails, het aantrekken van meer studenten, of het verbeteren van de studenttevredenheid door snellere antwoorden. Het is cruciaal om het doel specifiek en meetbaar te maken. Bijvoorbeeld: We willen 10% meer studenten werven in dit jaar als de toelatingseisen duidelijker zijn voor studenten.”

2. Formuleer een hypothese

De volgende stap: het formuleren van een hypothese. “Een hypothese is een stelling die beschrijft hoe je denkt je doel te bereiken”, aldus Joop. “Voor ons voorbeeld zou de hypothese kunnen zijn: “Een gespecialiseerde chatbot voor het beantwoorden van toelatingseisen verlaagt het aantal e-mails dat wij moeten beantwoorden met 70% voor het einde van het jaar. Overweeg daarbij ook verschillende oplossingen. In dit geval kun jedenken aan een betere zoekfunctie op de website, het gebruik van e-mail templates en een gespecialiseerde chatbot. Kies vervolgens de oplossing die het beste past bij je doel en formuleer daar je hypothese omheen.”

3. Bepaal hoe succes eruitziet

“Als je een hypothese hebt, kun je ook gaan bepalen hoe je het succes van je experiment gaat meten”, aldus Joop. “In ons voorbeeld is de meting relatief eenvoudig: het verlagen van het aantal e-mails. Het is belangrijk om realistisch te zijn in je verwachtingen voor de korte termijn, maar wel ambitieus genoeg om de potentiële waarde van het project aan te tonen. Voor een kort experiment van één tot twee weken is het onrealistisch om de volledige 70 procent reductie te verwachten die in de hypothese staat. Daarom is het belangrijk om een minimaal niveau vast te stellen waarop je het experiment als geslaagd beschouwt.”

4. Bouw een business case

Bij het opzetten van een AI-experiment is het belangrijk om niet alleen naar de potentiële besparingen te kijken, maar ook naar de kosten die ermee gepaard gaan. Joop: “In ons voorbeeld van de universiteit werd berekend dat het beantwoorden van de 13.000 e-mails jaarlijks ongeveer 100.000 euro kost. Over een periode van vijf jaar zou dit dus 500.000 euro zijn. Je moet ook rekening houden met de kosten die verbonden zijn met het bouwen van het systeem, onderhoudskosten, het monitoren en bijsturen van de chatbot en ga zo maar door.”

5. Breng risico’s en beperkingen in kaart

Nog vóór de start van een experiment is het belangrijk om na te denken over mogelijke risico’s of beperkingen die het experiment kunnen belemmeren of zelfs onmogelijk maken. “Denk aan huidige en toekomstige regelgeving. Als je persoonlijke informatie verwerkt uit e-mails dan heb je te maken met de AVG. Nieuwe wetgeving zoals de Europese AI Act kan ook van invloed zijn op je project. Het is verstandig om deze risico’s vroeg in het proces in kaart te brengen en niet achteraf achter de feiten aan te lopen.”

6. Verfijn het experiment

In de volgende stap ga je terug naar de hypothese: hoe kunnen we deze specifieker maken of verkleinen, om zo snel mogelijk te valideren of een idee waarde heeft? “Als we teruggaan naar ons voorbeeld, dan zou je het experiment kunnen beperken tot een specifieke categorie vragen, een bepaald type student of een kortere periode”, aldus Joop. “Zo maak je het behapbaar, kun je sneller resultaten behalen en leren, wat je helpt bij het maken van beslissingen over verdere ontwikkeling.”

7. Leg de planning en uitvoering vast

Nu is het tijd voor actie. Alle details voor de uitvoering kunnen worden vastgelegd:

• Wie heb je nodig in je team? Denk ook aan belanghebbenden buiten je directe team, zoals mensen die de kwaliteit van de antwoorden kunnen beoordelen, of mensen van de afdelingen risk en compliance.
• Wat is het eindproduct van je experiment? In het geval van een chatbot kan dit een eenvoudige gebruikersinterface zijn.
• Waar komt je data vandaan? Heb je toestemming nodig om deze data te gebruiken?

“Het is in deze fase ook belangrijk om de duur van het experiment vast te leggen”, aldus Joop. “Voor het bouwen van het experiment is vijf tot tien werkdagen vaak voldoende, maar voor het testen kan meer tijd nodig zijn.”

8. Stel de tijdlijn vast en evalueer

“Het is van belang om een duidelijke tijdlijn voor een experiment vast te stellen en een evaluatiemoment te bepalen”, aldus Joop. “In het geval van de universiteitschatbot, zou je kunnen werken met historische e-maildata om te berekenen hoeveel procent van de vragen de chatbot correct kanbeantwoorden. Soms ìs het echter nodig om het experiment langer te laten lopen, bijvoorbeeld in een beta-test met een proefgebruikersgroep. Je kunt bijvoorbeeld besluiten om het systeem twee maanden te laten draaien voordat je de resultaten evalueert. Het is vooral belangrijk om een specifieke datum vast te leggen voor de evaluatie.”

Tijdens deze evaluatie beoordeel je of de doelstellingen van het experiment zijn gehaald. Joop: “Als het antwoord ‘ja’ is, kun je beslissen hoe je verder gaat en welke financiering nodig is voor volledige implementatie. Mocht er ‘nee’ uit komen, dan kun je besluiten om te stoppen en je resources vrij te maken voor nieuwe ideeën en experimenten. Ook zou je op basis van wat je hebt geleerd, kunnen besluiten om je hypothese aan te passen of een andere aanpak te kiezen. In dat geval begin je een nieuw experiment, waarbij je het hele proces opnieuw doorloopt.”

AI-experiment canvas

Kortom: het opzetten van een AI-experiment vereist een gestructureerde aanpak. ”Om je te helpen bij het opzetten van je eigen AI-experimenten, hebben we een AI-experiment canvas ontwikkeld. Het canvas helpt je om alle belangrijke aspecten van je experiment overzichtelijk vast te leggen, van het definiëren van je doel tot het plannen van je evaluatie. Gebruik het als leidraad bij het doorlopen van de stappen die we in dit artikel hebben besproken.”

Dit canvas kun je hier gratis downloaden.