Sam Altman van OpenAI heeft onlangs gepleit voor een tijdelijke adempauze, als het om de verdere implementering van AI gaat. De dringende vraag is of dit zal gaan lukken, of dat de moordende concurrentie de overhand zal houden. Ook Anthropic CEO Dario Amodei waarschuwde dit weekend voor een levensgevaarlijke ontwikkeling van biologische wapens door zelfstandig opererende AI-agents. Al eerder heb ik op deze plek gepleit voor een moratorium m.b.t. een veel te snelle invoering van AI, met name ook in Europa: zie: Er dient een Moratorium te komen op de verdere invoering van AI
Hierna ter verdere adstructie nog een paar willekeurige voorbeelden van mislukte implementeringen van AI, door mij n.b. samengesteld m.b.v. AI research...
Er zijn opvallend veel voorbeelden waarbij niet zozeer de AI-technologie zelf faalde, maar vooral de beslissing om AI op een bepaalde manier in te zetten. Dat onderscheid is belangrijk.
Amazon – AI voor personeelsselectie
Amazon ontwikkelde een systeem om cv's automatisch te beoordelen. Het systeem bleek vrouwelijke kandidaten te benadelen. De oorzaak was dat het model was getraind op historische cv's van medewerkers. Omdat die personeelsgeschiedenis sterk door mannen werd gedomineerd, leerde de AI dat kenmerken die met mannen werden geassocieerd een aanwijzing waren voor succes. Amazon trok het systeem uiteindelijk terug. De les is duidelijk: AI kan bestaande discriminatie niet alleen reproduceren, maar die ook op enorme schaal automatiseren.
Amerikaanse gezondheidszorg – Optum/UnitedHealth
Een algoritme van Optum werd gebruikt om te bepalen welke patiënten extra zorg nodig hadden. Het systeem bleek zwarte patiënten systematisch lager te prioriteren dan witte patiënten met een vergelijkbare medische behoefte. Het probleem zat niet in een expliciet racistische regel. Het systeem gebruikte zorgkosten als aanwijzing voor medische behoefte. Maar omdat er verschillen bestaan in zorggebruik en zorgkosten tussen bevolkingsgroepen, bleek die maatstaf discriminerende gevolgen te hebben. Dit is een belangrijk voorbeeld omdat het laat zien dat een algoritme technisch goed kan functioneren en toch maatschappelijk verkeerde resultaten kan opleveren.
Air Canada – chatbot verzint eigen beleid
De chatbot van Air Canada vertelde een klant dat hij achteraf een ticket kon kopen tegen een speciaal rouwtarief. Dat bleek niet te kloppen. Air Canada probeerde zich aanvankelijk te beroepen op het feit dat de chatbot verantwoordelijk was voor de fout. De rechter oordeelde echter dat Air Canada verantwoordelijk bleef voor de informatie die zijn chatbot verstrekte. Dit is een schoolvoorbeeld van het probleem met generatieve AI: een systeem kan op overtuigende wijze iets vertellen dat eenvoudigweg niet waar is.
McDonald's – AI-drive-thru
McDonald's experimenteerde met AI om bestellingen in drive-thru-restaurants automatisch op te nemen. Het systeem maakte regelmatig fouten, onder andere bij accenten en onverwachte bestellingen. McDonald's beëindigde de test uiteindelijk. De technologie was niet noodzakelijk onmogelijk, maar bleek in de chaotische werkelijkheid van een restaurant onvoldoende betrouwbaar. De les: een systeem dat in een gecontroleerde demonstratie goed werkt, kan in de echte wereld aanzienlijk slechter presteren.
Gezichtsherkenning – verkeerde verdachten
Gezichtsherkenning heeft verschillende keren tot verkeerde identificaties geleid. Het probleem is vooral dat een relatief klein foutpercentage grote gevolgen kan hebben wanneer een systeem miljoenen mensen controleert. Een systeem kan bijvoorbeeld voor 99,9 procent betrouwbaar zijn. Dat klinkt indrukwekkend. Maar wanneer het miljoenen mensen scant, kunnen er toch duizenden verkeerde matches ontstaan. Daarmee ontstaat een fundamenteel probleem: een statistisch kleine fout kan voor het individu een enorme consequentie hebben.
Nederlandse Belastingdienst – toeslagenaffaire
De Nederlandse Belastingdienst gebruikte algoritmische risicoselectie bij de kinderopvangtoeslag. Mensen werden daarbij ten onrechte als fraudeur aangemerkt en vervolgens geconfronteerd met harde terugvorderingen. De toeslagenaffaire laat zien dat het probleem niet alleen zit in "slechte AI". Het gaat om de combinatie van data, algoritme, risicoprofiel, bureaucratische besluitvorming en menselijke volgzaamheid. Een algoritmische fout kan daardoor veranderen in een institutionele fout.
Boeing 737 MAX – automatisering die menselijke controle ondermijnde
Dit is geen generatieve AI, maar wel een belangrijk voorbeeld van de risico's van geautomatiseerde intelligente systemen. Het MCAS-systeem van de Boeing 737 MAX reageerde op informatie van sensoren en stuurde de neus van het vliegtuig naar beneden. Piloten hadden onvoldoende inzicht in de werking en mogelijkheden van het systeem. De twee crashes kostten 346 mensen het leven. Het is een extreem voorbeeld van een bredere fout: wanneer ontwerpers ervan uitgaan dat een geautomatiseerd systeem het meestal beter weet dan de mens, kan de menselijke controle in de praktijk onvoldoende blijken.
Cruise – zelfrijdende auto's
Cruise, onderdeel van General Motors, moest zijn autonome voertuigen in 2023 grotendeels stilleggen na een reeks incidenten. Het probleem was niet simpelweg dat de auto's helemaal niet konden rijden. Het probleem was dat het systeem onvoldoende goed kon omgaan met complexe en onverwachte situaties in de echte wereld. Dat maakt duidelijk dat er een groot verschil bestaat tussen "een systeem kan zelfstandig rijden" en "een systeem kan zelfstandig rijden onder alle omstandigheden die een mens op straat kan tegenkomen".
Het stille falen van AI
Misschien nog belangrijker dan de spectaculaire voorbeelden is het grote aantal AI-projecten dat gewoon niet het beloofde economische resultaat oplevert. Veel bedrijven experimenteren met AI, maar een aanzienlijk deel van die projecten blijft steken in pilots of experimenten. De technologie kan technisch uitstekend functioneren zonder dat duidelijk wordt hoe ermee daadwerkelijk geld wordt verdiend of kosten worden bespaard. Dat is misschien wel de belangrijkste vorm van AI-falen. Het grote probleem met AI kan namelijk blijken te zijn: Het werkt technisch wel, maar het levert economisch onvoldoende op.
Daarbij moet onderscheid worden gemaakt tussen drie vormen van mislukking.
Ten eerste technisch falen. De AI maakt fouten, hallucineert, herkent iets verkeerd of kan onvoldoende omgaan met uitzonderingen. T
Ten tweede organisatorisch falen. De AI werkt redelijk, maar wordt in een verkeerd proces geplaatst. Daardoor verdwijnen menselijke kennis, controle en verantwoordelijkheid.
Ten derde economisch falen. De AI werkt zelfs goed, maar de kosten van ontwikkeling, datacenters, energie, chips, personeel, beveiliging, controle en integratie zijn hoger dan de besparing of extra opbrengst.
Die derde categorie is misschien wel de interessantste wanneer we naar de huidige AI-hype kijken. AI werkt vaak indrukwekkend goed. Maar daaruit volgt nog helemaal niet dat iedere miljardeninvestering in AI economisch rendabel is.
En precies daar ligt mogelijk de zwakke plek van de huidige AI-euforie: technologie en economische rendabiliteit zijn twee totaal verschillende zaken. Wanneer klapt deze zoveelste zeepbel?