Laten we nog eens op een rij zetten waar het allemaal misgaat. Mede n.a.v. de uitzending van Nieuwsuur dd 28 april mbt artsen en medische apps, bij wijze van specimen wat eraan schort.
Het AI enthousiasme van techcowboys als rookgordijn
Er moet een pas op de plaats komen. Geen symbolisch tikje op de rem, maar een echt Moratorium op de ongehinderde uitrol van AI in Europa. Niet omdat technologie per definitie gevaarlijk is, maar omdat de huidige dynamiek elke vorm van reflectie heeft ingehaald.
Wat bij Nieuwsuur zichtbaar werd - artsen die worstelen met medische apps, geïmplementeerd met het gebruikelijke obligate succesverhaal dat de app ‘de zorg efficiënter maakt’ - is geen incident. Het is een patroon.
We hebben telkens opnieuw te maken met de hoogst opdringerige techsector die zichzelf verkoopt met beloftes van efficiëntie, kostenbesparing en objectiviteit. Maar onder dat glanzende oppervlak zitten drie fundamentele problemen die structureel worden genegeerd.
Als specimen: Medische Apps
Ten eerste: inhoudelijke verantwoordelijkheid verdampt.
Een arts die een beslissing neemt op basis van een AI-tool: wie is er dan aansprakelijk als het misgaat? De arts? De ontwikkelaar? De data-leverancier? Niemand weet het precies, en dat is geen detail, maar een zeer ernstige systeemfout.
Ten tweede: de schijn van objectiviteit.
AI wordt verkocht als neutraal. Maar het is niets anders dan statistiek aan de hand van historische data en die data zit vol bias, oftewel rommel. In de medische wereld betekent dat concreet: verkeerde diagnoses, gemiste signalen, en systematische fouten die ook worden opgeschaald in plaats van opgelost. Hoe zinnig is dat?
Ten derde: de uitholling van vakmanschap.
Als medische professionals steeds meer leunen op systemen die ze zelf niet echt goed doorgronden, verandert hun rol. Van beslisser naar controleur van een black box. En wie controleert wat hij niet en nooit echt goed tot achter de komma kan analyseren, controleert in feite niets.
Dit zijn geen kinderziektes.
Dit zijn fundamentele ontwerp-keuzes die helemaal verkeerd uitpakken. En toch dendert zo’n implementatie door. Waarom? Omdat de economische prikkel immens is. Omdat ‘achterblijven’ het nieuwe schrikbeeld is geworden. En omdat politici zich laten imponeren door Silicon Valley-retoriek die innovatie verwart met vooruitgang. De sluipende afhankelijkheid en de echte risico’s zitten niet in de zichtbare fouten, maar in de onzichtbare afhankelijkheid die wordt opgebouwd van een systeem dat zelf nog vol zit met fouten.
Er is sprake van een AI tsunami
De op handen zijnde implementering van een hele lichting Europese AI-startups lijkt onschuldig. Jong, slim, ambitieus. Ze beloven geen revolutie, maar ‘ondersteuning’. Geen vervanging van professionals, maar ‘empowerment’. Dat is precies het probleem. De echte verschuiving zit niet in spectaculaire fouten, maar in die sluipende afhankelijkheid. Systemen die eerst adviserend zijn, worden langzaam normstellend. Eerst ‘een tweede mening’, daarna de standaard waar je je als professional toe moet verhouden en uiteindelijk wordt AI het referentiekader zelf. En wie dat referentiekader bezit, bezit (in ons voorbeeld) de medische praktijk.
Geen geobjectiveerde resultaten
We hebben dit eerder gezien. Niet bij AI, maar bij platforms. Denk aan Google dat ooit begon als zoekmachine en nu voor jou bepaalt wat het zoekresultaat is. Dat verloopt niet en nooit objectief! Het is commercieel ingekleurd. De meest betalende staat bovenaan. Neem ook bv. Amazon dat van webshop uitgroeide tot infrastructuur. Tal van AI-bedrijven bewegen razendsnel naar precies die positie. Zij dringen zich in bij elke professional en nemen hen belangrijke beslissingen uit handen.
In de zorg betekent dat fricties tussen arts en patiënt.
In het onderwijs fricties tussen docent en leerling.
In de rechtspraak fricties tussen rechter en vonnis.
En Europa? Dat kijkt toe en probeert tegelijk zelf ’voorop te gaan lopen'.
Daar zit een volgende misvatting: dat Europese waarden automatisch beter ingebakken zouden zijn in Europese technologie. Alsof een startup uit Amsterdam of Berlijn per definitie zorgvuldiger omgaat met data, macht en ethiek dan een bedrijf uit Silicon Valley. Dat is wensdenken!
De druk van investeerders, schaalbaarheid en concurrentie pakt overal hetzelfde uit. Ook hier geldt: wie het snelst groeit, wint. Niet: wie het meest inhoudelijk verantwoord handelt. Die heeft het nakijken.
En dus krijgen we systemen die steeds dieper integreren in talloze werkprocessen, die steeds moeilijker te omzeilen zijn en steeds minder transparant functioneren. Tot het punt waarop niet gebruiken geen optie meer is. Dat is het moment waarop afhankelijkheid omslaat in onvrijheid.
Een moratorium is daarom geen technofobie. Het is een poging om die afhankelijkheid überhaupt nog bespreekbaar te maken voordat ze onomkeerbaar wordt.
Moratorium is keihard nodig
Een moratorium klinkt stoer, maar stelt niet echt iets voor als het niet scherp wordt afgebakend. Even pauze betekent in de praktijk vaak: gewoon doorgaan, maar dan anders geformuleerd.. Maar als je dit serieus neemt, moet het juist ook voor de ontwerpende nerds concreet en ongemakkelijk worden. Redactie afdwingen dus, en wel op het allerhoogste niveau.
Allereerst: geen generieke stop op AI, maar een gerichte bevriezing van hoog-risico toepassingen. Met name in sectoren waar beslissingen directe impact hebben op mensenlevens en rechten: zorg, rechtspraak, onderwijs, sociale zekerheid. Alles wat daar verder wordt uitgerold zonder volledig inzicht in werking en gevolgen: tijdelijk stilleggen.
Dat sluit aan bij het onderscheid dat in de EU AI Act al wordt gemaakt, maar dan zonder de politieke compromisreflex die alles alsnog doorlaat.
Tweede punt: bewijs vóór implementatie, niet erna. Nu is het model: eerst introduceren, dan evalueren. Dat werkt bij apps die je weer kunt verwijderen. Niet bij systemen die diagnose, beoordeling of selectie sturen. Je moet het omdraaien: pas toelaten na aantoonbare veiligheid, uitlegbaarheid en reproduceerbaarheid.
Derde punt: transparantie die afdwingbaar is. Geen vage beloftes over ‘ethische AI’, maar harde eisen: in feite behandel je AI-systemen zoals medicijnen. Dat is geen toeval: in beide gevallen grijpt een complex systeem in op een kwetsbaar mens. En dus hoort daar iets bij dat meer lijkt op een klinische testfase en niet op een of andere marketingpitch.
De eisen:
– inzicht in trainingsdata (herkomst, bias, representativiteit)
– inzicht in diagnostische logica (voor zover technisch mogelijk, en dan ook echt betrouwbaar)
– en vooral: de mogelijkheid voor onafhankelijke audits
Zonder dat blijft alles gebaseerd op vertrouwen. En vertrouwen is precies wat hier niet op zijn plaats is.
Vierde punt: professionele autonomie beschermen. Een arts, docent of rechter moet altijd het recht én de ruimte houden om een AI-uitkomst naast zich neer te leggen, zonder dat dit automatisch als fout of afwijking wordt gezien. Anders verschuift de norm ongemerkt van mens naar systeem.
Tot slot: tijd kopen voor democratisch debat. Want dat is misschien wel de kern. De snelheid van implementatie ligt nu ver boven het tempo waarop samenlevingen kunnen bepalen wat ze acceptabel vinden. Europa heeft daar in theorie de instrumenten voor: denk aan instellingen als de Europese Commissie en het Europees Parlement, maar gebruikt ze te defensief, te reactief.
Een echt Moratorium zou dat patroon doorbreken. Niet als anti-technologie, maar als herwaardering van iets dat we bijna vergeten zijn: dat niet alles wat kan, ook moet. En misschien nog fundamenteler: dat vooruitgang zonder rationele richting geen vooruitgang is, maar het creëren van verdere disruptie en chaos.
Ps ter verdere info:
https://scientias.nl/de-technologische-singulariteit-laat-nog-even-op-zich-wachten/?utm_source=nieuwsbrief&utm_medium=email&utm_campaign=Scientias%20nieuwsbrief%20wekelijks
