Explainable AI is geen vanzelfsprekendheid of overbodige luxe

Ondanks de toenemende urgentie om explainable AI toe te passen, bestaan er nogal wat misverstanden over het onderwerp. Daarover ging de presentatie van Lucia Conde Moreno, Consultant Software Engineer bij Info Support, en Bernadette Wesdorp, Director by EY, tijdens TNW Conference.

Misverstand 1: voldoen aan de EU AI Act is de verantwoordelijkheid van IT

“Het is vrij eenvoudig om de EU AI Act af te doen als iets wat de verantwoordelijkheid is teams die zich bezighouden met IT, data of AI”, aldus Bernadette. “Omdat het gaat om ethiek en gedrag, is het belangrijk om juist in een multidisciplinair team te kijken naar dit onderwerp: ook juridische specialisten en experts op het gebied van risico, gedrag en ethiek. Breng verschillende perspectieven bij elkaar om samen goed te kijken naar de mogelijke gevolgen van deze wet voor je organisatie.”

Misverstand 2: AI is altijd uitlegbaar

“Mensen gaan er ten onrechte vanuit dat AI zonder meer uitlegbaar is”, aldus Lucia. “Dat is niet zo. Voor een laboratorium ontwikkelden we een model om het risico op ernstige bloedingen bij trombosepatiënten te voorspellen. De resultaten waren veelbelovend, met een hoge nauwkeurigheid. De klant was er erg enthousiast en vroeg of we een volwaardig project konden starten om in productie te gaan. Toen we vroegen of ze uitlegbaarheid in het model wilden verwerken, schrokken ze best wel; ze gingen er van uit dat als je een AI-model krijgt, je het kunt zien hoe het werkt, hoe de input wordt omgezet in output. Maar dat is helemaal niet vanzelfsprekend, dat moet je expliciet opnemen in je requirements, het liefst vanaf het begin.”

Misverstand 3: Uitlegbaarheid is een overbodige luxe

Een ander misverstand is dat uitlegbaarheid een luxe is die je niet nodig hebt, vertelt Lucia. “Een verzekeraar wilde een AI-model om klantverloop te voorspellen. Het idee was dat ze klanten in de hoogste risicocategorie telefonisch zouden benaderen, om ze te vragen waarom ze zouden willen vertrekken als klant. Ze dachten daarom dat ze geen exlainable AI nodig hadden; waarom AI om een uitleg vragen als je het ook rechtstreeks aan klanten kunt vragen? Ze kwamen er echter achter dat de telefonische benadering veel tijd kostte en dus niet schaalbaar was. Bovendien kun je op deze manier wel achterhalen wat de redenen zijn van individuele klanten om te vertrekken, maar dat zegt nog niks over het gedrag van bepaalde klantgroepen: is het vanwege de prijs, een veranderende levensfase, of is het misschien zo dat klanten in bepaalde regio’s minder trouw zijn?”

Auto-explain: een framework voor interpreteerbare AI

Info Support heeft een framework ontwikkeld dat automatisch interpreteerbare AI-modellen genereert. “Het is daarbij belangrijk om het verschil te snappen tussen explainable AI en interpretable AI”, aldus Lucia. “Explainable AI probeert achteraf uit te leggen hoe een model tot beslissingen komt. Interpretable AI daarentegen gebruikt modellen die van nature transparant zijn. Bij explainable AI probeer je een zwarte doos te openen, bij interpretable AI bouw je vanaf het begin een glazen huis.”

Auto-explain biedt de volgende voordelen:

• Automatisering van modelkeuze. Vergelijkbaar met AutoML, traint auto-explain duizenden interpretable modellen en kiest het beste op basis van prestaties én transparantie.
• Balanceren van prestaties en uitlegbaarheid. Het framework gebruikt unieke metrics om de uitlegbaarheid van modellen te meten. ‘Compactness’ kijkt naar hoe bondig de uitleg is, terwijl ‘stability’ meet of vergelijkbare inputs ook vergelijkbare verklaringen opleveren.
• Compliance by design. Door te kiezen voor inherent interpretable modellen, ben je automatisch beter voorbereid op regelgeving zoals de EU AI Act.
• Efficiëntie en schaalbaarheid. In plaats van achteraf XAI-technieken toe te passen op complexe modellen, heb je direct een uitlegbaar model dat klaar is voor gebruik.