"Mensen vertrouwen een AI-model blindelings": waarom elke meting een foutmarge nodig heeft

In dit artikel:

AI neemt steeds vaker berekeningen bij metingen over, omdat modellen soms nauwkeuriger zijn dan klassieke formules of veel rekenwerk besparen. Anders dan een traditionele meting geeft een AI-model echter meestal geen inzichtelijke foutmarge. Onderzoekers van het Nationaal Metrologisch Instituut VSL in Delft onderzoeken daarom hoe de betrouwbaarheid van zulke metingen kan worden vastgesteld.

Metrologie zorgt ervoor dat metingen wereldwijd vergelijkbaar zijn, bijvoorbeeld dat een meter of kilogram overal dezelfde betekenis heeft. De zeven basiseenheden zijn tegenwoordig gekoppeld aan onveranderlijke natuurconstanten. Meetinstituten zoals VSL vergelijken hun resultaten en controleren meetapparatuur, waardoor een meetresultaat uiteindelijk herleidbaar blijft tot die constanten.

Bij klassieke metingen wordt de meetonzekerheid berekend aan de hand van zichtbare factoren, zoals temperatuurinvloeden. Bij AI is onduidelijker hoe een uitkomst tot stand komt: verschillende keuzes bij het trainen kunnen met dezelfde dataset tot andere modellen leiden. Bovendien kunnen modellen sterk reageren op kleine veranderingen in invoer, waardoor een betrouwbare foutmarge moeilijk te bepalen is.

VSL onderzoekt drie bronnen van onzekerheid: het model zelf, de kwaliteit en fouten in de trainingsdata, en de nieuwe meting waarop het model wordt toegepast. Onderzoekers kunnen bijvoorbeeld modellen opnieuw trainen met delen van de data weggelaten, gewijzigde datasets testen en de gevoeligheid voor een nieuwe meting analyseren. Een slecht uitgevoerde meting kan immers ook met een goed model een onbetrouwbaar resultaat opleveren.

Een vaste methode bestaat nog niet. VSL wil uiteindelijk een raamwerk ontwikkelen waarmee gebruikers de onzekerheid van AI-metingen kunnen berekenen en kunnen controleren of de resultaten geen verborgen fouten bevatten.