“Ik zie de opkomst van AI ook als een kans om het onderwijs weer terug te humaniseren”

Naar aanleiding van mijn opinie in de Volkskrant over het gebruik van antiplagiaatsoftware in de context van AI ben ik binnen mijn faculteit bij de Hogeschool van Amsterdam geïnterviewd door Joyce Wijhenke. Dit is het resultaat.

Antiplagiaatsoftware

‘Docenten moeten stoppen met het gebruik van software om het werk van studenten te controleren op plagiaat. Daar zijn vooral degenen die de taal minder goed beheersen de dupe van. Wees liever creatief om te kijken wat ze hebben geleerd’ sub-kopt het opiniestuk in de Volkskrant. Heldere, maar ook kritische taal van docent-onderzoeker Hans de Zwart, die zich zorgen maakt. “Ja, ik maak me zorgen. Ik merk dat veel studenten gebruikmaken van ChatGPT voor het maken van opdrachten. En ik denk dat ze dat vaker doen dan veel docenten zich realiseren. Ik merk dat veel van mijn onderwijs, en de manier waarop ik studenten toets, niet meer werkt in de context van ChatGPT. Dat betekent dat ik mijn onderwijs aan het herzien ben en moet bedenken hoe ik het zo kan inrichten dat ik weer op een valide manier kan controleren wat studenten hebben geleerd.

Daarnaast maak ik me er zorgen over dat zoveel onderwijsinstellingen nog steeds antiplagiaatsoftware gebruiken. Zelf weiger ik dit omdat ik geen relatie met de studenten wil hebben die is gebaseerd op wantrouwen. Het is daarnaast onmogelijk om met technologie te bepalen of iets met AI is gemaakt of niet. Voorheen namen studenten ergens iets over en deden alsof ze dat zelf hadden geschreven, maar nu leveren ze met AI geheel nieuwe teksten aan, die nergens anders te vinden zijn. En er zijn ook tools op de markt die een inschatting maken of iets met AI is gemaakt, maar het blijft een soort kansberekening. Ik vind dat problematisch en wat mij betreft kan er op die manier dus niet worden gecontroleerd. Het verbaast mij dat er onderwijsinstellingen zijn die blind met dit soort tools werken. Of dat binnen de HvA ook wordt gedaan weet ik niet zeker, daar heb ik nog geen transparante discussie over gezien.”

Meer werk voor docenten

In zijn opiniestuk schetst Hans de huidige situatie: ‘studenten weten ChatGPT inmiddels goed in te zetten, en docenten proberen al jaren met antiplagiaatsoftware erachter te komen of studenten hun ingeleverde werk zelf hebben geschreven; en nu dan ook met AI-detectie, die helaas niet altijd helemaal goed zit.’ Maar hoe moet het dan wel? “Als docenten moeten we ons onderwijs herontwerpen, en dat is veel werk. De ironie is dat we het idee hebben dat AI werk van ons kan overnemen. Ons kan helpen ons werk efficiënter te doen waardoor we hetzelfde werk met minder mensen kunnen uitvoeren. Maar op dit moment levert AI elke docent alleen maar meer werk op. Onderschat niet hoeveel onderwijs moet worden aangepast door de komst van AI. Stel je voor: voorheen deden studenten zelf een programmeeropdracht; nu kan AI dat in 2 minuten voor ze doen. Je moet dus op een andere manier gaan controleren of studenten snappen wat programmeren is. Bovendien gaat het hele beroep van programmeur veranderen door AI, evenals het werkveld. Wat gaat er veranderen en welke skills horen daarbij? Dat heeft mij gedwongen om na te denken over wat studenten moeten kennen en kunnen; het is een soort spiegel geweest voor wat ik aan het doen was.

Een ander voorbeeld: ik geef een filosofie vak op de Business-faculteit. Ik heb daar studenten die zeggen: ‘ik kan deze hele opleiding met ChatGPT doen; ik hoef helemaal niets meer zelf te doen’. Ik denk dat daar zeker een kern van waarheid in zit. Je kan met weinig moeite veel studiepunten halen. Ik liet de studenten altijd een essay schrijven waarmee ik ze op een filosofische manier echt over iets kon laten nadenken. Nu is een essay daar niet meer de juiste vorm voor, want ze kunnen met ChatGPT die opdracht in 5 minuten maken. Weliswaar niet met een top-essay als resultaat, maar wel goed genoeg voor een voldoende. Ik heb die specifieke opdracht moeten veranderen om de studenten echt te laten nadenken en een goed idee te krijgen van wat ze allemaal kunnen. Zo moet het nu om een hele concrete zaak gaan, ze moeten een stakeholder interviewen en ook de transcriptie daarvan inleveren. Daarnaast moeten ze relevante literatuur opzoeken en dat relateren aan de case. En uiteindelijk moeten ze een reflectie doen. Allemaal zaken waar ChatGPT niet heel goed in is. En dit is nog maar één voorbeeld van wat er allemaal moet worden aangepast. Er ligt echt een enorme opgave! Het zou al helpen als we meer onze kennis met elkaar zouden delen en een en ander gezamenlijk zouden oppakken.”

Veelheid aan strategieën

Ook de minor ‘Het internet is stuk, maar we gaan het repareren’ moet eraan geloven. “Ik ben niet meer tevreden over de validiteit van de assessment van de minor en als team hebben we besloten dat we het volgend jaar anders gaan doen. We hadden een portfolio-beoordeling zonder mondeling, maar die gaan we er nu wel bijdoen om de validiteit van het eindcijfer dat de student krijgt te verhogen.” Maar, ook een mondeling heeft nadelen, weet Hans. “Zo is niet iedere student verbaal even vaardig. Je zult dus eigenlijk een veelheid aan strategieën moeten inzetten, want hoe meer verschillende tools je inzet hoe meer validiteit je beoordeling heeft. Een collega filosoof aan de UvA heeft naar aanleiding van de opkomst van AI weer het klassikale tentamen ingevoerd, waarbij je met een pen aan een tafeltje dingen moet schrijven. Daar wil ik niet per se heen. We zijn bij de HvA al veel aan het bewegen richting formatief evalueren tijdens het leerproces. Dus het is ook voor mij een uitnodiging om als docent dichter op de student te gaan zitten en elke student beter in beeld te hebben. Ik zie de opkomst van AI ook als een kans om het onderwijs weer terug te humaniseren. Weg van het fabrieksdenken met grootschalige toetsen. Terug naar docenten die samen met studenten problemen proberen op te lossen.”

Progressieve en scherpere keuzes

“Laten we een discussie voeren, zeker in tijden van bezuinigingen, over of we ons onderwijsgeld willen weggeven aan de grote Amerikaanse bedrijven met hun antiplagiaatsoftware. In de context van bezuinigingen, in de context van hoe we met studenten om willen gaan en in de context van de matig werkende software – die zelfs slechter werkt als Nederlands of Engels niet je eerste taal is, wat dus ook nog eens discriminerend is – vind ik dat we die software weg moeten doen. Ik snap dat sommige opleidingen daar niet klaar voor zijn, maar ik hoop dat de HvA daar progressieve en scherpe keuzes in durft te maken. Overal binnen de HvA zijn docenten die dit op een slimme en creatieve manier aan het oplossen zijn. Dus hoe zorg je ervoor dat die manieren worden gedeeld ? Als instituut hebben we een cultuur waarin onderwijs heel belangrijk is, waarin we investeren, waar goed en serieus over zaken wordt nagedacht. Een cultuur dus die kansrijk is om hiermee goed om te gaan. Ik denk dat we kunnen proberen om meer urgentie te creëren over hoe we hier snel mee aan de slag kunnen gaan.

Het worden echt zware jaren voor HvA-docenten, er moet ongelooflijk veel onderwijs worden aangepast. Er wordt aangenomen dat je continu je onderwijs doorontwikkelt, maar dat gebeurt normaal gesproken niet met déze intensiteit. Door de hele HvA heen passen docenten nu noodgedwongen in hun eigen tijd hun onderwijs aan. En het is belangrijk dat we dat op de een of andere manier in beeld krijgen, faciliteren en ondersteunen, maar wel op een manier die niet ten koste gaat van de hoeveelheid tijd die we per student hebben.”

De opkomst van AI betekent het einde van antiplagiaatsoftware in het onderwijs, en dat is prima

ChatGPT heeft de manier waarop studenten werken nu al compleet veranderd. De software om te checken op plagiaat werkt daardoor niet meer en discrimineert studenten die de taal minder goed spreken. Docenten moeten stoppen met het gebruik van die software en in plaats daarvan hun onderwijs aanpassen.

Dit is het eerste studiejaar waarin echt élke afstuderende student heeft gehoord van ChatGPT. Studenten maken steeds vaker schaamteloos gebruik van “Chat”, zoals zij het noemen, om hun schrijfwerk nagenoeg volledig door AI te laten maken.

Dat lijkt misschien verschrikkelijk. Maar het inzetten van antiplagiaatsoftware om dit ‘probleem’ te voorkomen is precies wat het onderwijs niet moet doen.

Onderwijsinstellingen gebruiken al jaren software om te controleren of studenten hun ingeleverde werk wel zelf hebben gemaakt. Die software checkt op plagiaat, het overnemen van tekst die al door iemand anders geschreven is. Een student levert het werk in, het gaat langs de plagiaatscanner, en die toont hoeveel procent van de tekst al ergens anders online staat of eerder ingeleverd is. Als docent kun je dan zelf bepalen wat je met die informatie doet.

Met de opkomst van AI werken dit soort systemen niet meer. ChatGPT schrijft immers compleet nieuwe teksten. Ingeleverd werk van studenten dat door ChatGPT geschreven is staat nergens anders al online.

De makers van antiplagiaatsoftware hebben daarom iets nieuws ingebouwd in hun software: AI-detectie. Die probeert—door middel van AI—de kans te berekenen dat een tekst niet door een mens maar door een AI is geschreven.

AI om AI te controleren dus. Dat klinkt goed, maar is het niet.

Want je kunt geen discussie krijgen over of een tekst ergens anders al online staat: je kunt het bewijs gewoon opzoeken. Daarentegen kun je nooit met zekerheid zeggen dat een tekst door AI geschreven is.

Dat wordt ook door OpenAI, de makers van ChatGPT, ruiterlijk toegegeven. OpenAI’s eigen meest geavanceerde AI-detectie tool markeert bijna tien procent van de door mensen geschreven teksten als dat ze door AI geschreven zijn. Dit betekent dat je dus niet kunt weten of je een student vals beschuldigt als de AI-detectie aangeeft dat een tekst weleens niet door de student zelf geschreven zou kunnen zijn.

Daar komt nog eens bij dat de valse beschuldigingen niet eerlijk verdeeld zijn. Uit onderzoek aan Stanford blijkt namelijk dat mensen die schrijven in een taal die niet hun eerste taal is eerder vals beschuldigd worden door AI-detectie tools dan mensen die een taal wel vloeiend kunnen schrijven.

Het checken op plagiaat met software gaat bovendien uit van wantrouwen naar de student. Dat is niet per se bevorderend voor de relatie tussen de docent en de student en daarmee ook niet voor het leerresultaat.

Software die het tien procent van de tijd mis heeft, die discrimineert én die uitgaat van wantrouwen, kun je uiteraard niet gebruiken in je onderwijs. Maar wat kunnen docenten en onderwijsinstellingen dan wel doen?

Natuurlijk is het belangrijk om te controleren dat studenten niet vals spelen, maar dat hoeft niet met antiplagiaatsoftware. Ook ik word als docent elke dag geconfronteerd met ‘studenten’-werk dat hoogstwaarschijnlijk niet door de studenten zelf geschreven is. Inmiddels herken ik het middelmatige toontje van de AI en de alinea’s die in eerste instantie prima lijken (want: foutloos Nederlands), maar die bij een kritische blik eigenlijk vrijwel nietszeggend blijken te zijn.

Elke keer als ik merk dat een groot deel van mijn studenten niet zelf heeft nagedacht maar een machine dat heeft laten doen zit er maar één ding op: mijn opdrachten en mijn manier van toetsen aanpassen.

Of we dat nou willen of niet (ik heb mixed feelings, maar neig naar niet), studenten gáán AI gebruiken voor hun opdrachten. Dat betekent dat docenten creatief moeten zijn in wat ze van studenten vragen en hoe ze controleren wat er nou precies geleerd is.

Dat is veel werk. Maar als onderwijsinstellingen stoppen met het uitgeven van onze onderwijsgelden aan dure licenties van de Amerikaanse bedrijven die antiplagiaatsoftware leveren hebben we daar misschien wel wat extra financiële middelen voor.

Dit artikel werd, in een iets gewijzigde versie, op 4 april voor het eerst gepubliceerd door de Volkskrant.

Don’t ask guest lecturers to give a lecture, let students interview them instead

As a lecturer, I like to invite guest lecturers to educate my students. It is good for them to have access to people from the ‘real world’, and I’ve noticed that students enjoy a fresh face.

Yet, I am always a bit hesitant to invite people. It is a big ask for people to prepare a talk specifically for your students. Also, you never know what you are going to get: some guest lecturers capture attention very naturally, and others lose my students after their first few sentences.

I have found a way to overcome this hesitation and accomplish these two goals:

Allow the guest lecturer to come in with zero preparation.
Make sure that the students stay engaged with the guest lecturer.

Rather than asking guests to give a lecture, I let my students interview them instead.

That is more work for me, but I think it is worth it. This is how I do it:

Tell the students who is coming and ask them what questions they would like to pose to this person. I usually share a couple of links to the person who is coming, their work, and their organization. Most times students will have to hand in two questions each, with a strict deadline. For this, I use a web form that captures the student’s name and each of the questions in separate fields. This allows me to download all the questions as a single spreadsheet for further processing. This step ensures that students are activated before the lesson starts.
Cluster and curate the questions and list them in a document. I go through each of the questions one by one and try to cluster them into different themes and order them chronologically. A question about how somebody got into this type of work lends itself to being at the top, and a question about future plans should probably come at the end. For each student, I try to pick at least one of their two questions, ensuring they have something to ask the guest. Usually, there will be a broad range of questions, covering most of what the guest would have brought themselves. I make a single document that lists all the questions that are to be asked in the right order and with the student’s name behind every question. I add a blank line between each question. If I want students to ask multiple questions before the guest answers, then I omit the blank line.
Print out the list of questions and give each student (but not the guest!) a copy. Before the lesson, I print out the questions, making sure they fit on a single (two-sided if necessary) piece of paper. I hand these out to the students as they come into class. I don’t give the guest a copy, because that would make it unnecessary for the students to ask the questions. I will occasionally send the guest a copy of the questions in advance, especially if they are a bit nervous. But if I do, I tell them not to let the students know they’ve seen the questions already.
Facilitate the interview and keep things moving along. I tell the students that I am expecting them to pay attention and ask their question at the right moment. They have to be ready when I say “OK, next question!” forcing them to keep paying attention. It is important to tell the guest to keep their answers short. In my experience, you can comfortably do around 25 questions in an hour. You can do a bit more if you keep up the pace.

Try it! Your guest lecturers and your students will be thankful.

Photo by Sincerely Media on Unsplash.

Zettelkasten, TiddlyWiki and TiddlyPWA

Currently I am experimenting with the Zettelkasten method for writing notes. I just want to share some of the books that I am reading and the software that I am using:

I use TiddlyWiki to store my notes. It is an incredibly flexible personal and portable wiki. It has been around forever, is open source, and will hopefully have some staying power.

It can be a bit hard to get to grips with how it works. To really get going with it, Grok TiddlyWiki by Soren Bjornstad is required reading.

In principle TiddlyWiki is a single file, which you can sync between different devices. I need a solution that allows me to seamlessly switch between my laptop and my phone. TiddlyPWA seems to do the trick. It turns TiddlyWiki into an offline-first Progressive Web App, keeping my notes synced through a server that only every sees my encrypted data.

The two books that are helping me in applying the Zettelkasten method are How to Take Smart Notes by Sönke Ahrens, and Digital Zettelkasten by David Kadavi.

Image by Kai Schreiber, licenced under a Creative Commons Attribution-Share Alike 2.0 Generic license.

Turnitin User Agreement: I disagree

For the past one and a half year or so I’ve been studying Philosophy at the University of Amsterdam. Today I wanted to hand in my very first and very tentative ideas about my Master’s thesis. Using the archaic, mindnumbing, and Repetitive Strain Injury-inducing Blackboard digital learning environment I was confronted with the following screen:

I have better things to do than read the whole text (~ 5.100 words) but I did read enough to know that I couldn’t agree with this User Agreement. Instead I decided to write this blog post explaining what I find so disagreeable.

But first, what is Turnitin? It is the market leader (although monopolist is probably the better term) in plagiarism detection services. They have a few hundred million student submissions in their database. So when a new submission comes in they check it against the web (Wikipedia is plagiarism source number one) and against the submissions they already have and presumably give out a plagiarism score or percentage (I am not privy to that part of the interface).

The User Agreement

The terms of service of many companies can often be best summarised as: “We can do whatever we want, you can’t expect anything from us and, even though this agreement already gives you zero rights into perpetuity, we still reserve the right to change this agreement at our will without telling you.”

Turnitin’s terms closely follow that general pattern. Let me quote you some relevant passages. All emphasis is mine.

Let’s start with the good: They acknowledge that you keep ownership over your work:

You or the person who has authorized You to submit a paper for review as part of the Services will, subject to the license granted hereunder to Turnitin and its affiliates, vendors, service providers and licensors, retain Your ownership of the submitted paper. This User Agreement grants Turnitin and its affiliates, vendors, service providers and licensors only a non-exclusive right to Your paper solely for the purposes of plagiarism prevention and the other Services provided as part of Turnitin.

What does retaining ownership actually mean? Not much, because by agreeing with Agreement you completely lose control of your work. This is because you give Turnitin a license:

If You submit a paper or other content in connection with the Services, You hereby grant to Turnitin, its affiliates, vendors, service providers, and licensors a non-exclusive, royalty-free, perpetual, worldwide, irrevocable license to use such papers, as well as feedback and results, for the limited purposes of a) providing the Services, and b) for improving the quality of the Services generally.

And the license is very broad: it will last forever, counts everywhere and is not just for Turnitin but also for anybody they have dealings with. The text does say that the license is limited for the purposes of providing the services. The problem is that these services are in themselves not limited. The services are defined as follows:

The Site offers certain services, together with other content, data, images, information and other materials which allow authorized educational institutions (“Educational Institutions”), and teachers, instructors, professors or other faculty members who are currently teaching a registered class (together, “Instructors”) to use software tools hosted by Turnitin to check enrolled students’ work for possible textual matches against Internet-available resources and Turnitin’s own proprietary database.

But it then also says:

You acknowledge and agree that the form and nature of the Services and the Site which Turnitin provides may change from time to time without prior notice to You.

So there we have it: If you agree to the User Agreement you have just given Turnitin (and its partners) permission to use your paper for any service and at any point in the time in the future.

And even though you have not limited them in any way, they still want to make sure that you agree with them changing the rules whenever they want:

Turnitin, LLC reserves the right to change the terms, conditions, and notices under which the Site is offered.

What needs to change before I will agree

Whether or not it make sense for a university to use a plagiarism detection service is outside of the scope of this blog post. And so is a discussion about what constitutes plagiarism. So assuming the University of Amsterdam will continue to want to check whether I have plagiarized, I will list my conditions before I can agree to the User Agreement. These are as follows:

My work can only be used by Turnitin to check for plagiarism.
As I see no reason for it being my responsibility to help Turnitin get better at doing their job (by giving them the ability to recognise when somebody plagiarizes my work), I want Turnitin to delete my work as soon as the check has been done.
If Turnitin relies on third parties to do the plagiarism check, then I would need a limitative list of these parties and the assurance that the above two conditions will also count for them.

Until my conditions are satisfied I will not be using Turnitin to hand in any of my work at the university. And I am pretty confident that in this case my principles will be stronger than my pragmatism. Let’s see what happens next…

Update on January 16th, 2018: Folia, the university’s magazine, published an article about this issue. In it, the university says they will look into it and Turnitin has given a ludicrous reaction. My teachers for this course have said that I can hand in all my assignments via email. I’ve asked the university to keep me posted.