Waarom geloven mensen AI die onzin verkoopt? Nederlands onderzoek biedt inzicht

In dit artikel:

Onderzoekers van de Radboud Universiteit ontdekten dat mensen AI-antwoorden sneller vertrouwen wanneer die soepel, uitgebreid en overtuigend zijn geformuleerd. Dat geldt zelfs als de informatie inhoudelijk onjuist is. Een fraai geschreven antwoord wordt bovendien al gauw gezien als een teken dat de chatbot intelligent is.

Aan het onderzoek deden 395 mensen mee die enige basiskennis van The Lord of the Rings hadden. Zij lazen een vooraf opgesteld gesprek tussen een gebruiker en een chatbot met vijftien vragen over de boeken en films. Er waren vier versies: correct of incorrect, en telkens vloeiend geschreven of kort en zakelijk. Daarna beoordeelden de deelnemers de intelligentie, betrouwbaarheid en aantrekkelijkheid van de chatbot en gaven ze aan of ze fouten hadden gezien.

De vlot geschreven chatbot kreeg duidelijk hogere beoordelingen, ook wanneer de antwoorden fouten bevatten. Van de 199 deelnemers die een gesprek met verzonnen informatie lazen, ontdekten slechts 39 mensen minstens één fout. Ter illustratie noemen de onderzoekers het verschil tussen twee verklaringen voor de seizoenen: een soepel antwoord kan stellen dat de aarde in de zomer dichter bij de zon staat, terwijl de juiste verklaring de schuine stand van de aardas noemt.

De onderzoekers waarschuwen daarom om niet af te gaan op stijl en formulering, maar AI-antwoorden inhoudelijk te controleren. Een beperking is dat deelnemers geen echt gesprek voerden, maar vooraf vastgelegde dialogen lazen; dat kan de resultaten hebben beïnvloed.