AI helpt artsen bij behandelbeslissingen, maar verkeerde adviezen worden zelden gecorrigeerd

Artsen zijn onder de Europese AI-wet verplicht om fouten in AI-aanbevelingen op te sporen en te corrigeren. Nieuw onderzoek laat zien dat die correctie in de praktijk zelden plaatsvindt. Zelfs wanneer patiëntgegevens duidelijk lieten zien dat de AI het bij het verkeerde eind had, bleven artsen de onjuiste adviezen massaal volgen. En in het ernstigste geval geloofden ze bovendien dat een totaal onwerkzame behandeling hielp.

Spaanse onderzoekers lieten 223 artsen behandelbeslissingen nemen voor fictieve patiënten die door een AI-systeem onjuist waren geclassificeerd. Na elke patiënt kregen de artsen directe feedback over herstel waarmee ze de fout zelf hadden kunnen ontdekken. Dat gebeurde nauwelijks.

Schrijf je in voor de nieuwsbrief! Ook elke dag vers het laatste wetenschapsnieuws in je inbox? Of elke week? Schrijf je hier in voor de nieuwsbrief!

AI-label bepaalde behandelkeuze

Het zat zo. De artsen kregen de opdracht zich voor te stellen dat ze een zeldzame ziekte behandelden met een fictief middel waarvan de effectiviteit nog niet was bewezen. Een AI-systeem had patiënten vooraf ingedeeld als “sterk gevoelig” of “weinig gevoelig” voor de behandeling. Die indeling was onjuist: alle patiënten maakten evenveel kans op herstel, ongeacht de categorie.

In het eerste experiment was het middel matig effectief voor iedereen. Wie behandeld werd herstelde in 70 procent van de gevallen, wie geen behandeling kreeg in 20 procent. Na elke patiënt kregen de artsen direct te zien of er herstel was opgetreden.

Toch volgden ze massaal de AI. Ze behandelden patiënten uit de “sterk gevoelige” categorie in 89 procent van de gevallen maar patiënten uit de andere groep slechts in 56 procent. Dat verschil in behandelkeuze vertaalde zich ook naar hun oordeel achteraf. Op een schaal van 0 tot 100 beoordeelden de artsen het middel voor “sterk gevoelige” patiënten met gemiddeld 69,5 en voor de andere groep met 51.

Beide scores hadden 50 moeten zijn. Dat getal volgt simpelweg uit de herstelcijfers: 70 procent van de behandelde patiënten genas, tegenover 20 procent zonder behandeling. Dat verschil van 50 procentpunt gold voor beide groepen precies gelijk.

Zelfs een onwerkzaam middel leek te helpen

In het tweede experiment was de situatie nog opmerkelijker. Het middel werkte nu helemaal niet: 70 procent van de patiënten herstelde sowieso al, of ze nou behandeld werden of niet. De enige correcte effectiviteitsscore was dus nul.

Ook nu volgden de artsen de AI-classificatie. Ze behandelden “sterk gevoelige” patiënten in 78 procent van de gevallen maar patiënten uit de andere groep slechts in 37 procent. En ook nu beoordeelden ze het middel als effectief: gemiddeld 67,6 voor de “sterk gevoelige” groep en 47,2 voor de andere, terwijl de correcte score voor beide nul was. Ze merkten niet alleen niet dat de AI-classificatie onjuist was, maar ook niet dat de behandeling zelf niets uitrichtte.

Hoe de illusie ontstaat

Drie mechanismen verklaren dit patroon. Ten eerste automatiseringsbias: de neiging om een computersysteem te vertrouwen zonder het kritisch te toetsen. Ten tweede bevestigingsbias: artsen behandelden bij voorkeur patiënten waarbij succes verwacht werd en zagen daar relatief meer herstel, wat hun overtuiging telkens bevestigde. Ten derde speelt de illusie van causaliteit een rol. Als zowel behandeling als herstel veel voorkomen, neigen mensen ertoe er een oorzakelijk verband in te zien, ook als dat er niet is.

Opvallend: de houding van artsen tegenover AI deed er niet toe. Of ze er positiever of negatiever tegenover stonden, de AI-classificatie had evenveel invloed op hun beslissingen.

Maximale onzekerheid

De experimenten speelden zich af onder maximale onzekerheid. Artsen kregen geen patiëntgeschiedenissen of andere context mee, terwijl ze in de praktijk over veel meer informatie beschikken om een AI-suggestie op waarde te schatten. Het is daardoor niet uit te sluiten dat sommige artsen bewust de AI volgden bij gebrek aan eigen kennis over de fictieve ziekte, wat in dat geval rationeel gedrag zou zijn.

Maar zelfs dan, zo stellen de onderzoekers, hadden de herstelcijfers hen moeten doen twijfelen. Dat dit nauwelijks gebeurde is een signaal dat AI-aanbevelingen in de klinische praktijk een groter gewicht in de schaal leggen dan wenselijk is. Toekomstig onderzoek moet uitwijzen hoe protocollen en trainingen artsen beter kunnen uitrusten om AI-suggesties kritisch te beoordelen.

Wil je niets van Scientias missen? Volg Scientias op Google Discover dan zie je al onze verhalen!

Uitgelezen? Luister ook eens naar de Scientias Podcast: