InteractionNotes

Dit is een ervaringsverhaal van een enkele gebruikscasus en de conclusies zijn dus zeker niet gebaseerd op objectief onderzoek met meerdere vergelijkbare cases.

Het probleem dat ik hier op probeer te lossen met GenAI is een data engineering probleem uit het derde semester ICT&Business. Data in drie verschillende databronnen moet geimporteerd, geconverteerd en gecombineerd worden, zodat verdere analyse plaats kan vinden. Power Query (in Power BI) is in deze opdracht het platform waarop dit uitgevoerd wordt. Zonder enige kennis en ervaring van data engineering, lijkt het (voor nu) onmogelijk een dergelijk probleem op te lossen met GenAI. Met alleen een high level beschrijving van het probleem kiest GenAI een oplossing die vrijwel al onze studenten verder het bos in zal sturen dan ze zich op dit moment al bevinden.

Voor oplossing van deze opdracht heb ik gebruik gemaakt van 2 verschillende GenAIs: ChatGPT en Claude. Ik heb beide onafhankelijk van elkaar gebruikt om een goed beeld te krijgen van de verschillen. Mijn conclusie is dat er weliswaar verschillen, maar te weinig om in geval van dit probleem een sterke voorkeur te hebben voor een specifieke GenAI. Het belangrijkste verschil voor mij was eerder een feature verschil dan een functioneel verschil: met ChatGPT is het gemakkelijker een conversatie (chat) te delen en te saven dan met Claude. Voor mij is dit een belangrijke feature.

Het probleem opsplitsen in deelproblemen (verdeel-en-heers) die de oplossingsruimte kleiner maken, lijkt een werkende strategie te zijn om de onbeholpenheid van de GenAI bij een enkele centrale probleemstelling, te overkomen. Afhankelijk van de response van de GenAI, kan opsplitsen in deelproblemen een iteratief proces zijn: een slechte (niet werkende) of inadequate response (oplossing die geen oplossing is voor het probleem), zal in het algemeen aanleiding zijn de probleemstap verder op te delen.

Het probleem opsplitsen in deelproblemen leidt overigens sneller tot het bereiken van een tokenlimiet, zeker als je met een gratis GenAI-versie werkt. In het werken met Claude leerde ik snel af feedback en verkregen-inzichtvalidaties terug te geven, omdat dat alleen maar leidde tot eerder moeten wachten (3u) om weer verder te kunnen met gratis gebruik. Voor onze studenten kan dat juist leiden tot een te grote focus op productiviteitverbetering bij gebruik van gratis GenAI, zonder verdiepende inzichtvragen te stellen, omdat dat alleen maar ten koste gaat van gratis tokenruimte.

Om het probleem op te delen in deelproblemen heeft de gebruiker kennis en ervaring nodig in het oplossen van soortgelijke problemen. Mogelijk op een ander platform, waarbij de oplossingsstrategie ongeveer gelijk is. Verder is gewenst dat de gebruiker een helder beeld heeft van het (tussen-) resultaat van iedere stap, zodat hij kritisch kan evalueren of de voorgestelde oplossing ook tot het verwachte conceptuele tussenresultaat leidt.

De eerste response van de GenAI lijkt nergens op en zelfs de follow-up responses zitten vol met foute aannames en suggesties. Toch ben ik zelf als gebruiker erg positief over het tool. Door kritisch te zijn op de resultaten, door te vragen en door zelf de mentale exercitie uit te voeren verschillende onderdelen van de oplossing samen te brengen, heeft GenAI o.a het leren omgaan met IT tools waar ik geen ervaring mee had, zeker versneld en laagdrempeliger gemaakt. Maar ik ben een ervaren IT gebruiker met een context die door de jaren uitgedijd is. Hoe zit dat met onze studenten? Ben ik als docent even positief over het gebruik van GenAI als ik dat voor mezelf ben? Laat ik her erop houden dat ik gematigd positief ben. Ik denk dat onze bewust gebruikende studenten er beter van worden en onze onbewust gebruikende, consumerende, studenten er slechter van worden. Ik zie het als een belangrijke taak voor mij als docent, mijn studenten bewuste gebruikers te maken. Misschien ga ik dat nog wel belangrijker vinden dan dat ik mijn studenten specifieke domeinkennis overdraag. Die domeinkennis kun je namelijk ook uit GenAI halen. Dat vereist echter wel kritisch en vaardig gebruik ervan. Studenten hebben naar mijn mening een grotere resultaat- en leeropbrengst van GenAI, als zij: 1. In staat zijn een probleem te begrijpen en het in eigen woorden kunnen formuleren. 2. In staat zijn een probleem op te splitsen in deelproblemen en van ieder deelprobleem een toetsbare resultaatverwachting te hebben. 3. In continue interactie gaan met GenAI om een opgesplitst probleem onder hun eigen verwachtingen op te lossen. 4. Tegelijkertijd voldoende kritische houding hebben om vast te houden aan hun verwachting, maar ook in te zien dat hun verwachting niet klopte en daarmee hun model van het probleem aan te passen. Dat is leren! 5. GenAI zien als hun hulpmiddel hun eigen begrip te ontwikkelen en niet als een tool om op een gemakkelijke manier resultaten te behalen waarvan je niet weet of ze een passende oplossing voor een probleem zijn.

Zoals aangetoond is het veel werk om GenAI op zo'n manier uit te vragen dat je er wat mee kunt als je niet al reeds behoorlijk ingewijd bent in het domein. Wat dat betreft blijft leren om inspanning vragen. Het grote verschil met leren voordat GenAI op grote schaal beschikbaar was, is dat je als student tegenwoordig continu toegang hebt tot een tool dat met je wil sparren in je learning journey.

Learning journey is trouwens zo'n lelijk docentenwoord. Studenten zegt het helemaal niets. In het oplossen van problemen, heb ik door de jaren onze studenten leren kennen als schatgravers. Niets geeft grotere voldoening dan ergens (online) de oplossing of bijna-oplossing van een probleem vinden: outsmart the system. Waar dat voorheen vooral StackOverflow en Medium artikelen afstropen was, is GenAI daar als belangrijke bron bijgekomen. En de meeste studenten weten dat de prompt een soort schatkaart kan zijn bij dat schatgraven. Als docent was dat een belangrijke constatering voor mij: ik kan er eindeloos energie in steken studenten te overtuigen dat ze eerst goed na moeten denken en de aangereikte bronnen moeten raadplegen, of ik kan ze stimuleren met een slimme prompt snel tot een goede oplossing te komen. Dat laatste kost me nauwelijks inspanning; die uitgespaarde inspanning heb ik dan vrij om studenten te ondervragen over hun gevonden oplossing: begrijpen ze wat ze inleveren? Kunnen ze de oplossing of delen ervan reproduceren op basis van verkregen begrip over het probleem?

Voor de meeste van onze studenten en k denk gebruikers in het algemeen zit de grote toegevoegde waarde van GenAI niet in de learning support die het kan bieden, maar vooral in de productiviteitsverbetering. Dit zijn verschillende use cases. Bij productiviteitsverbetering delegeer je als gebruiker taken en werkzaamheden die je al kent en die duidelijk afgebakend zijn naar een GenAI. Als gebruiker ben je vaak directief (Laat zien hoe je ..., Genereer een oplossing voor ...) of gebruik je "hoe" vragen (Hoe kun je ...). Learning support vragen gaan vaak over "waarom" en vragen vaak om inzicht of om inzicht in een relatie tussen nog ongerelateerde concepten in het hoofd van de gebruiker. Het onderscheid tussen "hoe" en "waarom" vragen is overigens zeker niet altijd indicatief voor productiviteits- of inzichtvragen. De vraag "Hoe is piping in de tidyverse gerelateerd aan method chaining in pandas?" is een typische inzichtvraag. In het algemeen zal een productiviteitsvraag goed te onderscheiden zijn van een inzichtvraag. In mijn ervaring moeten we studenten stimuleren GenAI vaker inzichtvragen te stellen om zo inzicht en leren te faciliteren. Ik ben overigens niet tegen productiviteitsondersteuning door GenAI. Ik denk dat dit by far de belangrijkste use case van GenAI in het werkveld is en dus ook voor onze studenten. Productiviteitsverbetering zonder bijgaand (conceptueel) inzicht in de materie, leidt in mijn optiek echter tot verschraling in leren en uiteindelijk ook tot grote afhankelijkheid van een tool. Voor mijzelf vind ik dit ongemakkelijk en als docent probeer ik dit ook altijd aan mijn studenten voor te houden.