Verslag webinar process mining in onderwijs

Zone-Studiedata

Webinar process mining: een nieuwe technologische ontwikkeling

Spreker: Roland Ettema, Open Universiteit en lid van de zone Studiedata

Process mining: een nieuwe technologische ontwikkeling binnen het onderwijs. Maar wat houdt het precies in? Op 11 mei organiseerde de zone Veilig en betrouwbaar studiedata benutten een webinar over het thema process mining in onderwijs. Op het gebied van data en processen biedt deze ontwikkeling legio toepassingsmogelijkheden voor het onderwijs. Roland vertelde je er tijdens het webinar alles over en liet in een aantal demonstraties zien hoe dit in zijn werk gaat.

Wil je het hele webinar terugkijken?

Bekijk hier het webinarDownload hier de PowerPoint van Roland

Het monitoren van processen

Process mining is een techniek waarbij je processen kunt monitoren op basis van logfiles wat nu relevanter wordt omdat het onderwijs steeds flexibeler wordt ingericht. De eerste ervaring van het toepassen van process mining in het onderwijs is opgedaan bij de TU Eindhoven. Maar ook bij de Open Universiteit (OU) werkt men al vanaf het ontstaan met een flexibel onderwijsmodel. Studenten schrijven zich niet per jaarmaar per cursus in, waardoor het relevant is voor de OU om het pad dat de student aflegt te volgen. Op basis van deze paden kan de OU interveniëren met advies, tips of formele keuzes.

De OU begon 5 jaar geleden om met behulp van process mining een afspiegeling te maken van het werkelijke studietraject van studenten. Iedere student laat in onze ICT-systemen een digitaal spoor achter. Bijvoorbeeld tijdens hetin- en uitschrijvingen voor onderwijsactiviteiten, het volgen van vakken en/of deelnemen aan tentamens. Met process mining is die afspiegeling gemakkelijker te maken.

Het loggen van gebeurtenissen

Belangrijk voor process mining is dat het applicatie landschap er klaar voor is. Neem het voorbeeld van de OU: hier laten ze op dit moment de systemen bij belangrijke gebeurtenissen loggen. Dit wil zeggen dat elke aanmelding van een student, bijvoorbeeld voor een studie, vak of tentamen, een regel wordt in een eventlog. Doordat alle systemen de logfiles op een plek in de infrastructuur neerzetten, ontstaat een centrale logfile. Vervolgens gebruikt de OU een process mining tool om de anonieme onderwijssporen die studenten achterlaten te bestuderen. Process mining wordt enkel toegepast om inzichten te verwerven om een rapport, dashboard of analyse maken. De technologie is daarmee een belangrijke schakel in onze analyse aanpak om tot een informatieproduct te komen.

Op dit moment komen alle eventlogs samen in een CSV (comma-separated value) bestand waar de OU via hun infOUhub architectuur uit kan putten. De InfOUhub heeft inmiddels hun oude Business Intelligence omgeving vervangen. Daarmee zijn we nu al verder gekomen dan via traditioneel BI op basis van een datawarehouse omdat we een procesmodel uit de CSV bestanden hebben gehaald. Dat model geeft ons een beeld van hoe de werkelijkheid is, en waar deze mogelijk afwijkt van de vastgesteld procedures.

Process mining gebruiken? Wijs drie zaken aan

Een tool voor process mining is in essentie eenvoudig te gebruiken. Je moet hierin minimaal drie zaken aanwijzen:

  • Een timestamp: wanneer vond iets plaats
  • Een case ID: wie is het subject
  • Een gebeurtenis: wat gebeurde er op dat moment (gerelateerd aan het case ID)

Je kunt vervolgens bijvoorbeeld zien hoeveel studenten een bepaalde stap (gebeurtenis) zetten en hoe lang dit duurt (timestamp). Ook is het mogelijk om met filters bepaalde informatie te exporteren uit de process mining tool. Wel is belangrijk dat als je met eventlogs werkt van verschillende systemen dat men dezelfde tijdregistratie (klok) hanteert zodat de timestamp klopt.

Hoe is de OU begonnen met het loggen van systemen?

Bij de OU startten ze met het loggen van 6 gebeurtenissen, maar ondertussen zitten ze op 37 waar er nog 10 bijkomen. Hoe meer verschillende gebeurtenissen je logt hoe beter je een beeld krijgt van de werkelijkheid. De verschillende gebeurtenissen die de OU logt hebben zij weergegeven in een metrokaart (zie afbeelding 1). Intern is hier een dashboard van beschikbaar zodat men kan klikken per event om de data te zien. Intern is hier een dashboard van beschikbaar zodat men kan klikken op een metrostation (event) om de bijbehorende data te zien. Verder is het loggen van events een centraal onderdeel van de digitale transformatie waarvoor de OU het Azure platform gekozen heeft.


Nieuwe toepassingen door process mining binnen de OU

Door procesmining toe te passen in de OU zijn er ook nieuwe aanvullende technieken en toepassingen ontstaan. Een goed voorbeeld hiervan is de conformance analyse. In deze analyse vind je een pad van hoe een student volgens het onderwijsmodel zou moeten studeren: het curriculum. Aan de rechterkant staat een weergave van hoe studenten in de werkelijkheid studeren, de logfile. Door de logfile te ‘drukken’ op het curriculum kun je visueel zien hoeveel studenten afwijken van het pad. Dus kom je te weten: in hoeverre studeert de student ‘conform’ het model?

Een ander voorbeeld van een aanvullende techniek/toepassing is decohort analyse. Hierbij staat de volgende vraag centraal: welke groepen van studenten (met hun kenmerken) volgen dezelfde studiepaden? Hiervoor gebruikte de OU de tool ProM, om clusters aan te brengen van studenten met ongeveer hetzelfde spoor. De laatste ontwikkelingen zijn om process mining te combineren met statistiek. Door de conformance analyse te combineren (getal tussen 0.1) met verschillende doelvariabelen, zoals het studietempo, studiesucces en welbevinden, kun je onderzoeken of er een relatie ligt tussen het curriculum en een gewenst doel.

Verder is als spin-off van process mining ook een pilot uitgevoerd met een recommender system. Het doel hierbij was om geautomatiseerd een vervolgcursus te adviseren. Door de laatste inschrijving via process mining eruit te halen en deze in de recommender te stoppen konden ze de aanbeveling vergelijken met de uiteindelijk gekozen cursus.

Meer weten

Wil je aan de slag met process mining, en wil je hiervoor nog meer informatie? Als verdiepende stap na het webinar zal Roland vanuit de zone een masterclass process mining in het onderwijs organiseren. Hierin gaan de deelnemers zelf actief aan de slag met onderwijsdata om hier meer ervaring in op te doen. Zodra er een datum is voor deze masterclass komt dit op versnellingsplan.nl te staan. Heb je nu al een vraag of wil je je interesse in de masterclass kenbaar maken? Stuur dan een email naar Iris Bijman (i.bijman@vu.nl). Hopelijk tot dan!

Wil je het volledige verslag teruglezen, inclusief de vragen die werden gesteld tijdens het webinar? Ga naar de website van www.doe-meer-met-studiedata.nl.

Foto door Pietro Jeng via Unsplash