AI ‘denkt’ al bijna net zo goed als een dokter en dat is precies het probleem

Nieuwe AI-modellen halen in tests voor bepaalde taken hetzelfde niveau als ervaren artsen. Australische onderzoekers waarschuwen dat we niet te hard van stapel moeten lopen. De techniek schiet namelijk harder vooruit dan de regels die patiënten moeten beschermen.

Onderzoekers van Flinders University in Australië schrijven dit in een commentaar in het wetenschappelijke tijdschrift Science. Hun stuk verscheen naast een studie waarin werd gekeken hoe goed grote taalmodellen (de technologie achter chatbots als ChatGPT) kunnen redeneren over klinische problemen. De kernboodschap: een hoge score op een test is iets compleet anders dan veilige zorg in de echte wereld.

‘Meedenkende’ AI

AI-modellen waarmee in de medische sector wordt geëxperimenteerd, praten niet gewoon feiten na. Ze kunnen een casus stukje bij beetje uitpluizen en mogelijke diagnoses tegen elkaar afwegen voordat ze tot een conclusie komen. Op de papieren scenario’s die ook worden gebruikt om artsen op te leiden, doen ze het regelmatig net zo goed of beter dan de mens. Niet die domme versie van ChatGPT die je drie jaar geleden eens uitprobeerde dus.

Maar daar zit nu juist de adder onder het gras. Want een echte patiënt is veel meer dan een verzameling symptomen.

Leestip: AI maakt de zoektocht naar walvisgezang plots een stuk makkelijker

Wat een dokter wel doet en een AI niet

In de echte wereld is het ingewikkelder. Een arts voelt aan je buik, kijkt in je keel, ziet je ogen, hoort hoe je ademt en meer. Een ervaren arts kan zelfs merken dat een patiënt iets niet durft te zeggen, of kan oppikken dat de thuissituatie ingewikkeld is. Dat soort signalen kan een taalmodel nooit oppikken.

En dan is er nog iets, misschien wel de belangrijkste factor van ze allemaal: verantwoordelijkheid. Gaat er bij een dokter iets mis, dan kan er iemand ter verantwoording worden geroepen. Maar wie is er aansprakelijk als de AI de plank volledig misslaat? De maker van het systeem? Het ziekenhuis dat het inkocht? De arts die het advies overnam? Concrete antwoorden zijn er nog niet.

Nog een punt: AI is niet vanzelf eerlijk. Slecht ontworpen modellen kunnen vooroordelen versterken. Wordt een systeem getraind op data waarin bepaalde groepen nauwelijks voorkomen, dan kan het die mensen later ook slechter helpen.

Net zo streng toetsen als een menselijke assistent

Het pleidooi van de Flinders-onderzoekers komt erop neer dat medische AI behandeld moet worden als een arts in opleiding. Niemand zou willen dat een student zonder enige begeleiding op z’n eentje patiënten gaat behandelen. Waarom zou dat dan wel mogen voor een algoritme dat vier maanden geleden nog niet eens bestond?

De toon van het stuk is overigens niet ‘weg met die AI’. Integendeel. De onderzoekers zeggen zelf dat AI kansen biedt, maar dan vooral om de werkdruk van artsen te verlichten.

Schrijf je in voor de nieuwsbrief! Ook elke dag vers het laatste wetenschapsnieuws in je inbox? Of elke week? Schrijf je hier in voor de nieuwsbrief!

Uitgelezen? Luister ook eens naar de Scientias Podcast: