Hoe een docent worstelt met ChatGPT

Dit studiejaar gaf docent techniekfilosofie Hans de Zwart zijn studenten een opdracht voor hun portfolio. Ze moesten een bijeenkomst over technologie in een debatcentrum naar keuze bezoeken, en na afloop een paar eenvoudige vragen beantwoorden:

Waar ging het over, in één zin?
Wat heb je daar gehoord dat je interessant vond?
Wie heb je ontmoet die je interessant vond?

Als je er geweest was, kon je de vragen in vijf minuten beantwoorden.

Een van zijn studenten had duidelijk zijn best gedaan. Hij leverde een uitgebreid verslag van de avond in, en had allerlei inhoudelijk interessante takes over wat er die avond gezegd was. De Zwart was ervan onder de indruk.

Totdat hij een portfoliogesprek met die student had. ‘Hij bleek geen idee te hebben.’

De student was als volgt te werk gegaan: Hij had de livestream van het evenement gedownload. Die had hij vervolgens laten transcriberen met een AI-tool. Het transcript had hij geüpload in ChatGPT. Ten slotte had hij de vragen die De Zwart had gesteld voorgelegd aan ChatGPT.

Oftewel: de student was helemaal niet bij die avond geweest.

De Zwart: ‘En hij had zelf het idee dat hij aan de opdracht voldaan had! Dan ben je zo gefixeerd op het inleveren van een opdracht dat je helemaal hebt losgelaten waaróm je het eigenlijk doet.’

Struggelen met wat we aan het doen zijn

Het is snel gegaan met de opkomst van AI in het onderwijs, ziet De Zwart.

Hij geeft nu drie jaar hetzelfde vak, en drie jaar geleden wisten maar een paar studenten überhaupt wat ChatGPT was. Het tweede jaar waren de teksten van de chatbot nog heel belabberd. Maar dit jaar leverden zijn studenten opvallend langere, betere opdrachten in.

De Zwart keek ze allemaal met de hand na, zonder zich de hele tijd af te vragen of studenten AI hadden gebruikt. ‘Dat leidde tot best wel hoge cijfers. Maar wat zat ik na te kijken? Ik had geen enkel idee van het proces, of er iets in hun hoofd gebeurd was.’

De Zwart: ‘Laatst opperde iemand: misschien moet je AI gebruiken om na te kijken. Maar dan blijf ik liever thuis en lees ik een boek, en kan de student ook thuisblijven. Dan zijn we allebei gelukkiger. Maar wat zijn we dan aan het doen? Ik struggel daar wel echt mee.’

Ik spreek De Zwart in het Theo Thijssenhuis van de Hogeschool van Amsterdam. Hij is daar, na een carrière als gymleraar, onderwijstechnoloog, innovatieadviseur bij Shell en directeur van de digitale privacyrechtenbeweging Bits of Freedom, neergestreken als onderzoeker en docent techniekfilosofie.

En juist die technologie stelt hem in zijn lessen nu voor problemen.

Wat het bizarre is: de knee-jerk reaction hierop kan zijn dat het hbo juist veel schoolser wordt

De Zwart: ‘Ik probeer op allerlei manieren de boomer in mij te temmen, maar dat lukt matig. Voor een ander vak ben ik letterlijk op mijn knieën gegaan, om mijn studenten te vragen geen AI te gebruiken. Maar ik heb ook gezegd: “Ik kan het niet controleren.”’

Sinds de komst van AI-programma’s als ChatGPT en Claude ziet hij zijn onderwijs als ‘een constante puzzel’ en ‘een struggle van trial-and-error om ermee om te gaan, en om studenten tot nadenken te verleiden’.

De Zwart heeft ook studenten die principieel geen AI willen gebruiken. Zo’n 10 procent, schat hij. Voor hen is het ‘superfrustrerend’ dat klasgenoten minder bezwaren hebben tegen het gebruik van AI.

De Zwart: ‘Ik heb meerdere studenten gehad die expliciet zeiden: “Ik wil geen AI gebruiken en ik doe superveel moeite om die opdracht te doen, terwijl andere studenten in mijn klas met AI en veel minder moeite een hoger cijfer halen. En ze hebben óók nog een leuk leven. Maak ik het mezelf zo niet veel te moeilijk?”

En de studenten kunnen er niets aan doen dat zij AI zo inzetten. Wij hebben ze zo gemaakt.’

Hoe hebben we dat gedaan?
‘We leven in een maatschappij waarin we iemands waarde inschatten op basis van wat voor product hij of zij kan leveren. Ook in het onderwijs zijn we heel erg gericht op de output. We geven les volgens een model waarbij mijn studenten wekelijks tien tot twaalf uur contact met mij hebben. De rest van de tijd moeten ze zelfstandig werken. Het werk dat ze produceerden was altijd een goede check of ze zelfstandig iets gedaan hadden.

Maar ja, nu kan het werk dat ze moeten inleveren in twee minuten gemaakt worden. We zitten tegenwoordig in een fucked up situatie waarin we denken dat we de kwaliteit van een product aan het beoordelen zijn, maar eigenlijk beoordelen hoe goed iemand overweg kan met AI. Ik denk dat we in het onderwijs niet goed weten hoe we daarmee moeten omgaan.’

Hoe pas jij je lessen daarop aan?
‘Wat het bizarre is: de knee-jerk reaction hierop kan zijn dat het hbo juist veel schoolser wordt. Dat studenten in het lokaal hun laptop dicht moeten doen en alles met de hand moeten gaan schrijven. Of dat ze toetsen krijgen die controleren of ze iets uit hun hoofd hebben geleerd. Maar dat is niet het onderwijs dat ik wil geven.’

Hoe wil je het dan wel doen?
‘Voor mijn vak moeten ze nu ethische beslissingen uitwerken, volgens een vast stappenplan waarin elementen zitten waarvan ik denk: die kun je moeilijker door AI laten doen. Iemand interviewen bijvoorbeeld. En daar wil ik dan een transcript van lezen. Maar ik heb al ontdekt dat studenten ook best bereid zijn om AI zowel de vragen als de antwoorden te laten bedenken, met verzonnen tijdcodes van een transcript.

Het essay is al helemaal verdwenen, en er is een verschuiving naar mondelingen. Maar ook daarmee kun je in heel rare situaties terechtkomen. Tijdens mondelingen kwam ik erachter dat meerdere leerlingen hetzelfde, vreemde antwoord op een vraag gaven. Ze hadden uit hun hoofd geleerd wat ChatGPT hun had voorgeschoteld.

Positief geformuleerd is AI een uitnodiging om te herijken wat onderwijs is en waar we het voor doen

Een ander model waarover ik fantaseer – meer dan dat ik erover filosofeer – is dat ik tegen studenten zeg: jullie krijgen allemaal een 10, en dan gaan we nu andere dingen doen. Wat voor ruimte zou dat scheppen, ruimte om meer aan te sluiten bij wat hen bezighoudt? Als we eerlijk zijn, dan weten we natuurlijk allang dat je moet aansluiten bij something that touches them in some way.’

Gebruik je zelf AI voor je werk?
‘Voor de grap had ik de AI-tool Claude gevraagd een abstract te schrijven voor een conferentie, op basis van een outline die ik wel zelf geschreven had. Wat hij maakte, was echt heel erg goed. Toen dacht ik: en nu ga ik het zelf doen, want dit is iets wat je zelf hoort te doen. Ik heb er een uur mee geworsteld en kwam toen tot de conclusie: Claude kan dit beter dan ik.

Maar nu heb ik dus niet geleerd zo’n abstract te schrijven. Is dat erg? Ik denk van niet.’

Nee?
‘Nee. Het zou me niets verbazen als binnenkort alle abstracts van wetenschappelijke papers door AI worden geschreven. Het is een rotklusje dat onderzoekers aan het einde moeten doen.’

Je laat je abstract schrijven door AI op basis van een outline. Waarom laat je Claude niet ook de outline schrijven?
‘Dat zou ik tricky vinden. Voor mij is het schrijven van de outline het denken. Het is niet zo dat ik die ideeën daarvoor well formed in my head had.

Sciencefictionschrijver Ted Chiang schreef in The New Yorker een heel vet stuk over de vraag of AI kunst kan maken. Hij zegt: een tekst laten schrijven door ChatGPT is alsof je in de sportschool gewichten heft met een vorkheftruck. Je zult je “cognitieve conditie” op die manier nooit verbeteren.

In veel situaties is het product the only thing that matters, zeker in werksituaties, bijvoorbeeld bij het maken van zo’n abstract. Maar onderwijs gaat daar natuurlijk niet over. Onderwijs gaat over wat er in het hoofd van die student gebeurt, maar we hebben het onderwijs zo georganiseerd dat we eigenlijk geen beeld hebben van dat proces.’

Je kunt ook zeggen: als een student later op zijn werk eindproducten kan inleveren die hij door ChatGPT heeft laten maken en iedereen dan tevreden is, waarom dan niet tijdens zijn studie al?
‘Maar wat heb je dan geleerd? Waarom ben jij dan überhaupt nog relevant?’

Wat moeten we studenten dan leren?
‘We leiden mensen op voor de maatschappij van de toekomst. Hoe dat eruit moet zien, is een lastige vraag, want we weten niet welke beroepen er in de toekomst zullen zijn. Maar zal het handig zijn dat mensen zelfstandig kunnen nadenken en dingen kritisch kunnen bezien? Ja, dat denk ik wel. En is het moeilijker geworden om studenten daarmee bezig te laten zijn omdat ze AI kunnen gebruiken? Ook, ja.’

Wat moet er veranderen?
‘Positief geformuleerd is AI een uitnodiging om te herijken wat onderwijs is en waar we het voor doen. Het dwingt mij om aan de slag te gaan met vragen als: “Wat vind ik belangrijk?”, en: “Wat voor docent wil ik zijn?”

Als instituut zeggen we in principe tegen studenten: jij bent hier de student, want je weet zelf nog niet wat goed voor je is. Maar dan moeten we dat als hogeschool wel serieus nemen, en daar de verantwoordelijkheid in nemen. Dus weten we nog wel waarvoor we het doen?’

Weet jij het nog?
‘We hebben meer onzekerheid over de toekomst, en daar moeten we studenten op voorbereiden. Ik denk dat we hun veel complexere opdrachten moeten geven, dat we de complexiteit van de echte wereld in het onderwijs moeten stoppen. En dan is het prima dat ze AI gebruiken om aan die problemen te werken.

Maar daarvoor is het wel nodig dat studenten het gevoel hebben dat ze kunnen falen. Nu is dat niet zo, want ze zijn bezig geen studieschuld te krijgen en zo snel mogelijk hun studie af te ronden. Ze studeren omdat ze een diploma nodig hebben. Gericht op het eindproduct dus, waardoor er weinig ruimte is om te falen.

Maar je kunt alleen maar leren door te falen, want anders kon je het al. De enige manier is falen, daarop reflecteren en het dan nog een keer proberen. Onderwijs is veilig falen, en dan aan het einde zeggen: veilig falen, dat is hoe je leeft.’