AI helpt artsen bij behandelbeslissingen, maar verkeerde adviezen worden zelden gecorrigeerd

In dit artikel:

Spaanse onderzoekers waarschuwen dat artsen AI-aanbevelingen vaak te kritiekloos volgen, terwijl de Europese AI-wet juist van zorgverleners vraagt dat zij fouten in zulke systemen opsporen en corrigeren. In een experiment met 223 artsen moesten zij fictieve patiënten behandelen op basis van een AI-label dat onterecht aangaf wie “sterk gevoelig” of “weinig gevoelig” zou zijn voor een middel.

De resultaten zijn opvallend: zelfs wanneer de herstelcijfers duidelijk lieten zien dat de AI ongelijk had, pasten artsen hun keuzes nauwelijks aan. In het eerste experiment behandelden zij de zogenaamd gevoelige groep veel vaker en schatten zij de effectiviteit van het middel ook hoger in, terwijl beide groepen in werkelijkheid evenveel baat hadden. In een tweede test was het middel volledig nutteloos, maar ook dan bleven artsen zich laten leiden door de AI en dachten ze alsnog dat het werkte.

Volgens de onderzoekers komt dat door automatiseringsbias, bevestigingsbias en de neiging om samen optredende behandeling en herstel als oorzakelijk te zien. Dat de artsen AI positief of negatief beoordelen maakte nauwelijks verschil. De studie laat zien dat AI in de zorg meer invloed heeft op beslissingen dan wenselijk is en dat betere training en protocollen nodig zijn om artsen kritischer met algoritmes te laten omgaan.