Onzichtbare invoer: vooringenomenheid in AI-zorgtoepassingen onderzoeken

Lesverloop

1. 1

   Stap 1: Introductie

   Vandaag onderzoeken leerlingen hoe AI-systemen schadelijke fouten kunnen maken als ze werken met vertekende of onvolledige gegevens. Ze maken eerst kennis met proxygegevens: gegevens die als vervanging dienen voor iets wat moeilijker te meten is. Daarna analyseren ze een praktijkcasus uit de zorg. Daarin gebruikte een algoritme zorgkosten als vervanging voor de zorgbehoefte, wat leidde tot oneerlijke uitkomsten voor zwarte patiënten.

   Leerlingen nemen de rol van algoritmeontwerper op zich. Ze kennen waarden toe aan verschillende patiëntkenmerken en onderzoeken hoe ontwerpkeuzes de uitkomsten beïnvloeden. Met Ozobot en kleurcodes bootsen ze hun vereenvoudigde algoritmen na voor voorbeeldprofielen van patiënten en vergelijken ze de resultaten. Tot slot denken ze na over wat deze verschillen laten zien over eerlijkheid, rechtvaardigheid en de ethische verantwoordelijkheid bij het gebruik van AI voor ingrijpende beslissingen, zoals in de zorg.

2. 2

   Stap 2: Activeren

   Laat leerlingen kennismaken met proxygegevens: gegevens die als vervanging dienen voor iets anders dat moeilijker te meten is.

   Toelichting voor de docent (om voor te lezen of in eigen woorden te vertellen): AI gebruikt vaak proxygegevens: gegevens die als vervanging dienen voor iets wat moeilijker te meten is. Dat gebeurt omdat directe metingen niet altijd beschikbaar zijn. Proxygegevens kunnen nuttig zijn, maar ook voor vertekening zorgen. Als we begrijpen hoe proxygegevens werken, begrijpen we beter wat er binnen een AI-systeem gebeurt en waarom ontwerpkeuzes zo’n grote invloed hebben op eerlijkheid.

   Stap 1 – Deel werkkaart 1 uit en laat leerlingen in tweetallen of groepjes de opdracht ‘Verkenning: wat is de proxy?’ maken. Bij elk scenario bepalen ze welke directe gegevens ontbreken en welke proxygegevens daarvoor in de plaats worden gebruikt.

   Stap 2 – Bespreek de opdracht kort na. Mogelijke vragen:

   • Welke proxygegevens waren het meest misleidend?
   • Wat zijn de risico’s en voordelen van het gebruik van proxygegevens?
   • Hoe kunnen we ervoor zorgen dat proxygegevens tot eerlijke en ethisch verantwoorde uitkomsten leiden?

   Stap 3 – Blik vooruit op de volgende stap. Leg uit dat AI-systemen, zoals het systeem dat leerlingen hierna onderzoeken, sterk leunen op proxygegevens. Ze zoeken vaak naar patronen in gegevens en gebruiken vervangende gegevens om beslissingen te nemen. In de volgende stap analyseren leerlingen een praktijkcasus waarin een zorgalgoritme proxygegevens gebruikte die tot ongelijke uitkomsten leidden.

3. 3

   Stap 3: Verkennen

   Stap 1 – Deel de casus uit en laat leerlingen deze zelfstandig of in tweetallen lezen. Bespreek daarna het overzicht met voorbeeldpatiënten om de inhoud te verduidelijken en het gesprek op gang te brengen.

   Stap 2 – Laat leerlingen in tweetallen of kleine groepjes de volgende vragen over de casus bespreken. Je kunt hiervoor ook een socratisch gesprek, een klassengesprek of een andere gestructureerde gespreksvorm kiezen.

   • Waarom leken eerdere zorguitgaven misschien een redelijke manier om de zorgbehoefte te voorspellen? Welke belangrijke verschillen bleven met deze proxygegevens buiten beeld?
   • De makers van het algoritme wilden niemand schade toebrengen. Maakt dat de uitkomst minder problematisch? Waarom wel of niet?
   • Wie moet verantwoordelijk worden gehouden voor het oplossen van dit probleem: de ontwikkelaars van het algoritme, de ziekenhuizen die het gebruiken of toezichthouders?
   • Welke andere proxygegevens lijken misschien redelijk, maar kunnen toch tot vooringenomenheid leiden, bijvoorbeeld in het onderwijs, bij sollicitaties of in het strafrecht?
   • Moeten we AI gebruiken voor ingrijpende beslissingen, zoals in de zorg? Hoe zorgen we ervoor dat AI helpt in plaats van schaadt?

   Stap 3 – Bespreek de ethische afwegingen klassikaal na. Bereid leerlingen daarmee voor op het ontwerpen van een eigen algoritme dat zij ethisch beter verantwoord vinden en waarvan de keuzes beter te verantwoorden zijn.

4. 4

   Stap 4: Uitleg

   Stap 1 – Deel werkkaart 2 uit (Tabel: gegevens beoordelen).

   Leg uit dat leerlingen moeten bepalen hoeveel invloed elk gegevenskenmerk op de score van een patiënt krijgt. Ze bepalen of het kenmerk de kans op extra zorg vergroot, verkleint of niet beïnvloedt.

   Stap 2 – Leerlingen bekijken voor elk kenmerk:

   • Wat het kenmerk meet
   • Waarom het gebruikt zou kunnen worden
   • Waarom het misleidend of oneerlijk zou kunnen zijn

   Stap 3 – Leg uit dat leerlingen elk kenmerk een waarde geven. Die waarde geeft aan hoeveel invloed het kenmerk moet hebben op de beslissing of een patiënt extra zorg krijgt. Gebruik dit systeem:

   • +1 = Dit kenmerk vergroot de behoefte van een patiënt aan extra zorg.
   • –1 = Dit kenmerk verkleint de behoefte van een patiënt aan extra zorg.
   • 0 = Dit kenmerk heeft geen duidelijke invloed op de behoefte van een patiënt aan extra zorg.

   Leerlingen noteren hun waarden in de laatste kolom van de tabel. Benadruk dat er niet altijd één ‘goed’ antwoord is. Het gaat erom hoe ze hun keuzes onderbouwen.

   Stap 4 – Laat leerlingen kort opschrijven hoe hun algoritme rekening houdt met eerlijkheid en waarom ze de kenmerken op deze manier hebben gewogen.

5. 5

   Stap 5: Uitwerken

   Stap 1 – Laat leerlingen hun Ozobot aanzetten. Werken ze met Ari? Laat ze dan de app Color Codes openen.

   Stap 2 – Geef leerlingen één voorbeeldpatiëntkaart en blanco wit papier. Werkkaart 3 en de bijbehorende voorbeeldoplossing zijn optioneel: leerlingen kunnen deze als voorbeeld gebruiken bij het ontwerpen van hun eigen route op papier. Leg uit dat ze testen of hun algoritme eerlijk en ethisch verantwoord is. Daarvoor ontwerpen ze een route met kleurcodes en puntentellers die de zorgbehoefte van hun patiënt een score geven (1 punt = een grotere zorgbehoefte).

   Leerlingen ontwerpen een route die de robot langs een lijn volgt, met:

   • Een duidelijk startpunt
   • 8 beslispunten met een label, één voor elk gegevenskenmerk, waarbij ze met puntentellers scores toekennen (bijvoorbeeld: veel bezoeken aan de spoedeisende hulp = +1 punt).
   • Een eindpunt dat de uiteindelijke risicoscore weergeeft

   Stap 3 – Bij elk beslispunt zetten leerlingen hun algoritme om in kleurcodes:

   • De waarden +1, 0 en –1 worden weergegeven met kleurcodes die de snelheid of richting veranderen
   • Deze zichtbare veranderingen bootsen na hoe de score van een patiënt bij elk gegevenskenmerk verandert

   Stap 4 – Leerlingen laten hun Ozobot de route volgen en:

   • Observeren hoe hun AI-model werkt bij verschillende nagebootste patiëntprofielen
   • Veranderen de waarden van bepaalde kenmerken om te onderzoeken welk effect dat op de score heeft
   • Bereiden zich voor om hun score te bespreken met klasgenoten die dezelfde patiënt hebben geanalyseerd.

   Stap 5 – Laat leerlingen één of twee andere klasgenoten zoeken die dezelfde patiënt hebben geanalyseerd. Zodra ze groepjes van 2–3 hebben gevormd met leerlingen die dezelfde patiënt hebben geanalyseerd, bespreken ze hun scores.

   • Waar kwamen onze scores voor deze patiënt overeen en waar verschilden ze?
   • Welke keuzes bij het toekennen van punten veroorzaakten die verschillen? Welke gevolgen kunnen deze verschillen hebben voor de zorg die deze patiënt wel of niet krijgt?
6. 6

   Stap 6: Evalueren

   Laat leerlingen een korte afsluitende reflectie invullen over wat ze hebben geleerd over ontwerpkeuzes bij AI en de ethische gevolgen daarvan.

   Je kunt de antwoorden schriftelijk verzamelen of leerlingen hun antwoorden kort mondeling laten delen.

   Wat heb je na het maken en testen van je eigen algoritme geleerd over hoe ontwerpkeuzes tot oneerlijke uitkomsten kunnen leiden? Wat laat dit zien over onze verantwoordelijkheid wanneer we AI gebruiken voor ingrijpende beslissingen, zoals in de zorg?

   Wat zouden AI-ontwerpers volgens jou anders moeten doen om rechtvaardige zorg voor alle patiënten te waarborgen?