Beslissingen nemen met beeldherkenning

Lesverloop

1. 1

   Stap 1: Introductie

   In deze les onderzoeken leerlingen hoe een robot beslissingen kan nemen met beeldherkenning. De camera komt boven een T-vormige baan te staan. Op die baan moet Ozobot kiezen of hij links of rechts afslaat om een bepaald doel te bereiken. Aan beide uiteinden van de T leggen leerlingen verschillende afbeeldingen, bijvoorbeeld een kat tegenover een hond, € 1 tegenover € 10 of 1⁄2 tegenover 1⁄4. Op het vel met doelafbeeldingen staan dollarbiljetten ($ 1 en $ 10); die zijn getekend en blijven zo. Gebruik ze als € 1 en € 10.

   Leerlingen maken een programma met het LLM-blok om naar de baan te ‘kijken’, te bepalen aan welke kant het gewenste doel ligt en vervolgens met lijnvolgblokken de juiste kant op te rijden. Deze activiteit laat zien hoe AI-systemen beslissingen nemen en hoe beeldherkenning daarbij kan helpen.

2. 2

   Stap 2: Uitleg

   Bij beeldherkenning gebruikt een computer of robot een camera om beelden te zien en te begrijpen. Dat lijkt op de manier waarop onze ogen informatie naar onze hersenen sturen.

   Laat de leerlingen zien hoe de camera boven de werkkaart staat, met twee duidelijk verschillende A/B-doelafbeeldingen aan de uiteinden van de T-vormige baan, bijvoorbeeld een kat en een hond. Door deze doelafbeeldingen moet Ozobot op de kruising kiezen welke kant hij op gaat.

   Doe het proces voor:

   1. De camera brengt de hele werkkaart in beeld. Controleer of alles zichtbaar is en de pijlen omhoog wijzen.
   2. De Ozobot Editor laat een livevoorbeeld van het camerabeeld zien.
   3. Een LLM-blok in het programma stuurt de afbeelding naar de AI om die te laten analyseren.
   4. Je typt een vraag, bijvoorbeeld: ‘Welke kant moet ik op om bij de hond te komen?’
   5. Het LLM geeft een antwoord. Je programma gebruikt dat antwoord om de robot de juiste kant op te laten draaien.
   6. LET OP: Het AI-hulpmiddel bekijkt het camerabeeld niet voortdurend. Het maakt alleen één momentopname wanneer het LLM-blok wordt uitgevoerd.

   Voorbeelden van paren A/B-doelafbeeldingen zijn: twee dieren, twee vormen of twee kleuren; verschillende breuken; verschillende geldbedragen; of zelfs een goed en een fout gespeld woord.

3. 3

   Stap 3: Klaarzetten

   Laat leerlingen zien hoe ze hun robot en de camera verbinden met de Ozobot Editor:

   Met Evo: Zet Evo aan en klik op Apparaten > +Evo.

   Met Ari: Zet Ari aan en open de Blockly-app in de map Informatica. Klik in de Editor op Apparaten > +Ari.

   Camera: Sluit de camera aan op het apparaat waarmee je programmeert. We raden een USB-documentcamera aan die op een laptop is aangesloten. Klik in de Editor op +Camera en kies je camera uit de lijst.

   Richt de camera op je werkkaart, met de pijlen omhoog. Bekijk het cameravoorbeeld in de Editor en controleer of het beeld overeenkomt met hoe leerlingen het papier op hun tafel zien. Is dat niet zo? Draai dan het papier of pas de hoek of positie van de camera aan totdat links en rechts overeenkomen.

   Leerlingen moeten ook het LLM toevoegen door Apparaten > LLM_Bot te kiezen. In de keuzelijst kunnen gebruikers verschillende modellen van OpenAI en Gemini kiezen. Voor deze les gebruiken we het standaardmodel.

   Leerlingen knippen de afbeeldingen uit het vel met A/B-doelafbeeldingen.

4. 4

   Stap 4: Programmeren

   Doorloop samen dit voorbeeldprogramma met blokken uit niveau 5. (Deelcode: aq626ec)

   1. Zet aan het begin van het programma een blok volg de lijn tot de volgende kruising of het einde van de lijn. Daarmee rijdt Ozobot van de start naar de kruising.
   2. Voeg het blok kies richting toe en verwijder het eraan gekoppelde blok dat een richting instelt.
   3. Voeg een LLM-blok toe aan het blok kies richting. Vink ‘camera’ aan op het blok en stel het uitvoertype in op richting. Zo kan het antwoord op onze vraag het programma vertellen om naar ‘links’ of ‘rechts’ te gaan.
   4. Voeg tot slot aan het einde van het programma een blok volg de lijn tot de volgende kruising of het einde van de lijn toe om naar het gewenste doel te rijden.
5. 5

   Stap 5: Uitvoeren en problemen oplossen

   STAP 1: Doelafbeeldingen kiezen

   1. Leerlingen kiezen een paar A/B-doelafbeeldingen uit de aangeboden voorbeelden of maken zelf een paar.
   2. Herinner hen eraan dat het LLM niet elk type afbeelding goed kan analyseren, vooral niet als leerlingen de afbeeldingen zelf hebben gemaakt. Zorg daarom voor duidelijke contrasten en afbeeldingen die makkelijk te herkennen zijn.

   STAP 2: De vraag formuleren

   1. Elke keer dat leerlingen het programma uitvoeren, schrijven ze een duidelijke vraag die past bij hun gekozen A/B-doelafbeeldingen.
   2. De formulering verandert afhankelijk van de afbeeldingen die ze op de baan leggen.
   3. Voorbeeldvragen: Welke kant moet ik op om bij de grootste breuk te komen? Welke kant moet ik op om bij € 10 te komen? Welke kant moet ik op om bij het goed gespelde woord te komen?

   STAP 3: Klaarzetten en uitvoeren

   1. Plaats de camera zo dat de werkkaart rechtop staat, met de pijlen omhoog, en helemaal zichtbaar is.
   2. Leg de doelafbeeldingen op de plekken A en B aan de uiteinden van de T-vormige baan.
   3. Zet Ozobot bij de start en voer het programma uit.
   4. Kijk of Ozobot afslaat naar het bedoelde doel.

   Werkt het niet zoals bedoeld? Bekijk dan de vraag opnieuw en controleer of die duidelijk is. Controleer ook of de opstelling aan alle eisen voldoet. Pas aan wat nodig is en test opnieuw.

6. 6

   Stap 6: Afsluiting

   Vraag de leerlingen:

   1. Hoe wist de robot welke kant hij op moest?
   2. Welke rol speelden de camera en het LLM bij het nemen van de beslissing?
   3. Hoe zou je dit kunnen gebruiken bij robots in de praktijk, zoals bezorgrobots of zelfrijdende auto’s?

   Afsluitbriefje: Schrijf één voorbeeld op van een situatie uit het dagelijks leven waarin een robot een beslissing moet nemen op basis van wat hij ziet.