opmerkelijke fouten in Googles nieuwe AI-zoekmachine

• Nando Kasteleijn

  redacteur Tech

De nieuwe AI-zoekmachine van Google geeft op sommige vragen een totaal verkeerd antwoord. Dat blijkt uit voorbeelden die rondgaan op sociale media van de functie ‘AI Overviews’. De techgigant spreekt van uitzonderingen.

Het idee van AI Overviews is dat een gebruiker complexere vragen die uit meerdere delen bestaan, in één keer kan stellen en vervolgens een betrouwbaar antwoord krijgt. De functie werd vorige week dinsdag aangekondigd als de grootste verandering aan de zoekmachine in jaren. De functie werkt nog niet in Nederland.

Op de zoekvraag ‘kaas blijft niet kleven aan pizza’ wordt onder meer de suggestie gedaan om lijm aan de saus toe te voegen om de kaas beter te laten plakken. Het stuk tekst lijkt afkomstig van een elf jaar oud bericht op internetforum Reddit. Google en Reddit sloten een paar maanden geleden een overeenkomst waardoor de zoekgigant kan putten uit de data van Reddit, naar verluidt ter waarde van 60 miljoen dollar.

In een ander voorbeeld wordt de vraag gesteld hoeveel presidenten met een moslim-achtergrond Amerika heeft gehad. Het antwoord: eentje, Barack Obama. Dat is niet waar, het is zijn leugens van tegenstanders, benadrukte een woordvoerder van het Witte Huis in 2010 toen zelfs uit een peiling bleek dat een op de vijf Amerikanen dit echt dacht.

In een ander voorbeeld wordt de vraag gesteld hoeveel stenen iemand per dag moet eten. Het antwoord is dat volgens een Amerikaanse universiteit minimaal een kleine steen per dag een goed idee zou zijn. Hiervoor lijkt Google informatie te hebben gebruikt die te herleiden is naar de satirische nieuwssite The Onion.

Dat AI-systemen met enige regelmaat dingen zeggen die niet kloppen, is niks nieuws. Sterker nog, OpenAI waarschuwt gebruikers ervoor als ze een vraag willen stellen aan ChatGPT.

Alleen het punt is juist dat Google wil dat mensen op het bedrijf vertrouwen. “Met AI Overviews doet Google het werk voor jou”, zei hoofd zoekmachine Liz Reid vorige week tijdens de presentatie. “In plaats van dat je zelf alle informatie bij elkaar zoekt, kun je vragen stellen.” Daarbij benadrukte ze waarom juist Google dit goed kan, waaronder “een ongeëvenaard ranking- en kwaliteitssysteem, dat al decennia wordt vertrouwd om je het best van het web te geven”.

Voor Google staat er dus veel op het spel. Al helemaal omdat het veranderingen doorvoert aan het belangrijkste stukje internet dat het bedrijf bezit – de zoekmachine – en wat het bedrijf jaarlijks vele miljarden dollars aan winst oplevert.

Bovendien is het niet de eerste keer dat een AI-tool van Google blundert. Vorig jaar zat er in een reclamegifje van chatbot Bard (dat inmiddels al niet meer bestaat) een fout antwoord, waarop de beurs in paniek reageerde met een flinke daling van het aandeel. Daarna was er nog een afbeeldinggenerator die historische feiten fout weergaf.

De NOS heeft Google gevraagd of het weet hoe vaak dit soort verkeerde antwoorden voorkomen, wat het hiertegen kan doen en of het AI Overviews tijdelijk pauzeert om dit soort problemen op te lossen. De zoekgigant deelde alleen een algemene reactie waarin wordt benadrukt dat de voorbeelden “zeer zeldzaam zijn en niet representatief voor de ervaring van de meeste mensen”.

Het bedrijf stelt dat de “grote meerderheid” van AI Overviews van hoge kwaliteit zijn en dat de functies “intensief zijn getest” voordat deze zijn gelanceerd. Google zegt van plan te zijn deze “geïsoleerde voorbeelden” te gebruiken om het systeem verder te verfijnen.

Het is dus onduidelijk hoeveel voorbeelden er bij elkaar zijn en in hoeveel gevallen het techbedrijf heeft ingegrepen. Een woordvoerder zegt verder desgevraagd dat Google per dag wereldwijd “miljarden” zoekopdrachten krijgt en dat gemiddeld 15 procent nieuw is.