studie data

Learning analytics: wat, waarom en hoe

Geplaatst op 21 mei

De toepassingen van learning analytics zijn bezig aan een gestage opmars.

Toch vormt het inzetten van studiedata om programma’s te verbeteren en studenten van feedback te voorzien nog onbekend terrein voor veel opleidingen.

Auteur: Peter Becker (Haagse Hogeschool)

De Nederlandse versie van Wikipedia heeft nog geen lemma over learning analytics en dat is misschien wel illustratief voor het feit dat het gebruik van studiedata nog geen gemeengoed is.

Bij beleidsmakers komt het onderwerp echter steeds meer in beeld. Zo is het thema ‘Veilig en betrouwbaar benutten van studiedata’ als één van de acht zones opgenomen in het Versnellingsplan Onderwijsinnovatie met ICT (Surf, 2019a). Ook bestaat er bij Surf (de ICT-organisatie van het hoger onderwijs) een Special Interest Group Learning analytics die onlangs een white paper uitbracht (Surf, 2019b).

Deze groeiende belangstelling is naar ons idee terecht. Studiedata kunnen een rijke bron van informatie vormen voor de verbetering van het onderwijs. Daarbij is het wel belangrijk om goed inzicht te hebben in de verschillende mogelijkheden van learning analytics zodat de juiste keuzes kunnen worden gemaakt. In dit white paper zetten we een aantal zaken op een rij en geven we aan hoe een opleiding de juiste keuzes kan maken bij het effectief inzetten van studiedata.

Wie op zoek gaat naar een omschrijving van het begrip learning analytics, komt al snel uit bij de veelgebruikte definitie van de Society for Learning Analytics Research, opgesteld voor de eerste conferentie over dit onderwerp (LAK, 2011):

Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs.

Studiedata

Bij learning analytics maken we dus gebruik van studiedata om het onderwijsproces te begrijpen en te verbeteren. Interessant in deze definitie is de opmerking dat er gebruik kan worden gemaakt van data over studenten en hun omgeving. Dit maakt duidelijk dat er veel soorten data tegen elkaar kunnen worden afgezet om inzicht te krijgen in het leerproces van de student en de effectiviteit van een curriculum of vak. Ook de uitdrukking ‘optimising learning’ is voor velerlei uitleg vatbaar. We kunnen concluderen dat de definitie zeer breed is.

Voorbeelden

In de praktijk zijn er dan ook verschillende toepassingen te onderscheiden. We geven een aantal voorbeelden:

  • Het management van een opleiding wil graag rapportages over studierendementen: zijn er verschillen per jaar, locatie, vooropleiding van studenten, et cetera?
  • De docent wil graag inzicht in de voortgang van zijn studenten: wie hebben de opgaven gemaakt, hoe scoren studenten op de proeftoets en is dit laatste een voorspelling voor de kansen op de eindtoets?
  • De onderwijsontwikkelaar wil graag inzicht in mogelijke drempels binnen een vak: welke onderdelen worden relatief slecht gemaakt en wat is daar de reden van?
  • De student krijgt niet alleen graag feedback op ingeleverd werk of gemaakte opgaven, maar wil daar ook graag de context bij: hoe scoort hij ten opzichte van de andere studenten en wat is de stand van zaken in relatie tot de einddoelen?
  • De student wil een passende leerroute aangeboden krijgen op basis van verschillende factoren, waaronder eerder gevolgde routes en scores (adaptief leren): welke modules kan hij het beste volgen en waarom?

Deze voorbeelden geven aan dat er niet alleen sprake is van verschillende doelgroepen waarvoor learning analytics kan worden ingezet, maar dat daarbij ook verschillende soorten data en verschillende analyse- en rapportagetechnieken kunnen worden toegepast. Een eerste belangrijk onderscheid kan worden aangebracht in de data over studenten. We hebben data zoals die in onderwijsvolgsystemen (zoals Osiris) worden opgeslagen en data die studenten genereren bij het gebruik van een digitale toetsomgeving, leermanagementsysteem (LMS), Edubook of ander leerplatform. Er is dus sprake van data over studievoortgang en data over het leerproces. Met de eerste categorie data zijn we het meest vertrouwd. Het blijkt dan ook dat de eerste initiatieven op het gebied van learning analytics zich hierop richten. Het genoemde white paper van Surf beschrijft projecten bij de VU en de KU Leuven waarbij data werden gebruikt om studenten beter inzicht te geven in hun studievoortgang en waar mogelijk een prognose te geven van de kans dat eerstejaarsstudenten hun eerste studiejaar zouden halen.

Daarbij werden de data gecombineerd met data van vooropleidingen, deelname van studenten aan voorlichtingsdagen en zelfevaluaties. Voorzichtigheid is hierbij overigens geboden aangezien er op verschillende manieren algoritme-bias kan ontstaan. Inmiddels zijn er ook verschillende experimenten en projecten gaande waarbij de data worden gebruikt die vanuit het leerproces worden gegenereerd. Zo gaf een docent aan de HvA studenten een overzicht van hun voortgang in meerdere online oefeningen en zocht hij uit of en hoe voorspellend die oefeningen zijn voor het eindcijfer (Siemens, 2016). Door combinaties van verschillende datasets toe te passen kunnen verrassende inzichten ontstaan, zoals de relatie tussen de vooropleiding en de scores op bepaalde onderdelen van een toets.

Het tweede onderscheid is dat tussen data van individuele studenten en data over (delen van) de populatie. In principe is de eerste categorie het meest interessant voor de student en zijn studiebegeleider. De tweede categorie zal vooral inzichten geven aan docenten, onderwijsontwikkelaars en het management. Toch zijn ook deze categorieën te combineren. Studenten zijn ermee geholpen als hun eigen voortgang (zowel binnen het curriculum als binnen een vak) wordt afgezet tegen de prestaties van anderen. (Leer)platforms waarbij gamification een rol speelt maken volop gebruik van deze mogelijkheden. Ook eventuele voorspellingen komen voort uit een analyse van data over de hele populatie.

De twee vormen van onderscheid in de verschillende vormen van data kunnen als volgt worden weergegeven:

Data over voortgang en persoonskenmerken Data vanuit leerproces
Individuele student Verstrekt feedback aan student en studiebegeleider. Verstrekt feedback over kwaliteit van ingeleverd werk in relatie tot andere factoren, zoals bestede tijd.
Populatie Geeft inzicht aan het management over kenmerken van de populatie en studierendementen. Geeft inzicht aan docenten en ontwikkelaars over de tijd die studenten besteden aan de stof en opdrachten en de scores van opgaven en toetsen.

De werkelijke winst van learning analytics komt voort uit de genoemde combinaties. De mogelijkheden daartoe zijn, door een aantal ontwikkelingen, de laatste jaren enorm toegenomen. In de eerste plaats is er de afgelopen jaren een groei aan beschikbare data vanuit het leerproces (de tweede kolom). De verschillende learning management systemen (LMS’en), Edubooks en andere platforms slaan automatisch data op over de bestede tijd, aantal pogingen voor een opgave, scores van de opgave, enzovoort. Een groot deel van deze data wordt nog niet benut, maar als aanbieder van Edubooks merken wij dat docenten enthousiast zijn over de dashboardfunctie, een eenvoudige vorm van gebruik van deze data. In het dashboard worden de tijd die studenten aan het Edubook hebben besteed en de scores bij de verschillende opdrachten en formatieve toetsjes weergegeven. Deze data zouden eenvoudig kunnen worden omgezet naar een overzicht waarin beide variabelen tegen elkaar worden afgezet:

Studenten één tot en met zes vertegenwoordigen de verwachte lijn: wie meer tijd besteedt aan de stof, scoort hoger in de opgaven. Dit is inzichtelijk (en mogelijk confronterend) voor de studenten die weinig tijd aan de stof hebben besteed. Zij zien duidelijk waar een mogelijke oorzaak voor hun lage score ligt. De afwijkingen zijn te zien bij studenten zeven en acht, de zogenoemde outliers.

studie data

Daarbij zijn natuurlijk verschillende uitkomsten van nader onderzoek mogelijk. Bij student zeven is het interessant om na te gaan of hij de betreffende tijd wel echt aan de stof heeft besteed. Als dat het geval is, kan dit een indicatie zijn dat de student moeite heeft met het niveau. Voor student acht geldt het tegenovergestelde. Het overzicht kan ook worden gebruikt door de ontwikkelaars van het Edubook en docenten. Het geeft inzicht over de effectiviteit en efficiency van het Edubook en de geboden begeleiding.

Een andere belangrijke reden voor de toename in mogelijkheden van learning analytics is de techniek. Mede onder invloed van ontwikkelingen op het gebied van data science is er een groter aanbod aan geavanceerde tooling om de data op te slaan, te analyseren en de uitkomsten te visualiseren. Onder andere dankzij moderne technieken als machine-learning is er niet alleen sprake van hinsight (rapporteren), maar ook van forsight (voorspellen op basis van gevonden patronen). De eerste initiatieven op het gebied van learning analytics ontstonden dan ook vanuit de technische toepassingen onder de naam educational data mining (Zaïane, 2001). Learning analytics werd oorspronkelijk vooral benaderd vanuit onderwijskundige doelen onder de noemer Learning Analytics and Knowledge (LAK). Inmiddels vullen educational data mining en learning analytics elkaar uitstekend aan (Siemens, G. & Baker, 2012). Overigens is het in eerste instantie niet per definitie noodzakelijk om geavanceerde analysetechnieken in te zetten. Bovenstaande grafiek laat zien dat een eenvoudige visualisatie al nuttig inzicht kan verschaffen.

Data science

Data science

Wetenschappelijke methoden, processen en systemen om kennis en inzichten te onttrekken uit data.

Hinsight

Hinsight

Er is alleen sprake van rapporteren.

Forsight

Forsight

Voorspellen op basis van gevonden patronen

Door de analyses en voorspellingen kan de toepassing van learning analytics een rol spelen bij het (geautomatiseerd) adviseren van de student binnen een leerpad. Zo sluit learning analytics aan bij de ontwikkeling van flexibel onderwijs en gepersonaliseerd leren. Om dat te bereiken moet aan een aantal voorwaarden zijn voldaan. Allereerst moet de vraag helder zijn: welke adviezen wil een opleiding aan een student geven en op basis van welke informatie? Het advies om met de opleiding te stoppen is van een hele andere orde dan het advies om een alternatieve route binnen een online cursus te volgen op basis van de prestaties in de oefenopgaven.

Uit het bovenstaande blijkt dat de inzet van learning analytics veel inzichten kan bieden, maar ook dat er een grote variëteit aan doelen, doelgroepen, data en analysetechnieken bestaat. Om de juiste keuzes te maken is het belangrijk dat de informatievraag duidelijk geformuleerd is. Wie learning analytics gaat inzetten, zal dat dus vooral moeten doen vanuit een behoefte en niet ‘omdat het kan’. Het veld van het hbo overziend, onderscheiden we echter voldoende vraagstukken waarbij de inzet van learning analytics van waarde kan zijn. Voorbeelden zijn effectieve studieloopbaanbegeleiding, curriculumvernieuwing, studierendement, flexibilisering, instant feedback en formatief handelen.

In het Edumundo webinar zullen we het thema learning analytics verder uitdiepen aan de hand van literatuur en praktische voorbeelden.

Juridische aspecten en privacy

Wie met persoonsgegevens werkt, zal zich bewust moeten zijn van de eisen die de wet stelt aan het gebruik van deze data. De Algemene Verordening Gegevensbescherming (AVG) bevat richtlijnen waaraan organisaties zich moeten houden bij het verwerken van persoonsgegevens.

Daarbij staan de rechten van diegenen van wie data verwerkt worden en de transparantie die organisaties aan de dag moeten leggen centraal. Bij het verwerken van data zal in ieder geval goed moeten worden bijgehouden welke data gebruikt worden, voor welk doel ze worden ingezet en op welke wijze de data verwerkt worden. Bij analyses van groepen kan de data geanonimiseerd worden, waardoor er aan veel bezwaren tegemoet wordt gekomen. Vanzelfsprekend moeten de opslag en analyse plaatsvinden in een beveiligde omgeving. Om te voorkomen dat hier zaken mis gaan, zullen er dus goede processen moeten worden ingericht, waarbij bijvoorbeeld voorkomen moet worden dat een medewerker de dataset op een draagbaar medium mee naar huis kan nemen voor het maken van een analyse. Bij veel maatregelen op het gebied van gegevensbescherming en privacy gaat het om beleid, techniek en processen. Dat verdient serieuze aandacht, maar het is niet het enige. Het voorgaande voorbeeld laat zien dat de menselijke factor uiteindelijk cruciaal is. Bewustwording en gerichte training zijn dan ook basisvoorwaarden om verantwoord met studentendata om te gaan. Bij ieder project op het gebied van learning analytics is het verstandig om de juridisch adviseur en de security officer van de organisatie te raadplegen.

Tips bij het inzetten van learning analytics

  1. Werk vraaggericht. Bepaal op welke niveau je het onderwijs wilt verbeteren en voor welke doelgroep. Bepaal dan welke data, analyse- en rapportagetechnieken je wilt inzetten. Houd daarbij rekening met de beschikbaarheid van data: kunnen de systemen de benodigde data in het juiste formaat leveren?
  2. Wees realistisch. Hoewel een groot project verleidelijk is vanwege het grote effect dat het kan hebben, is het raadzaam om met een pilot te beginnen. Bij learning analytics gaat het niet alleen om het inrichten van een goed proces, ook beleidsmatige aspecten en de inzet van de juiste stakeholders spelen een belangrijke rol. In een klein project kan met al deze onderdelen ervaring worden opgedaan.
  3. Besteed voldoende aandacht aan de juridische en ethische aspecten met betrekking tot privacy. Met de inwerkingtreding van de AVG (zie ander kader) hebben organisaties een belangrijke verantwoordelijkheid gekregen bij de opslag en verwerking van persoonsgegevens. Het is dan ook belangrijk om de juridisch adviseur en de security officer bij de activiteiten te betrekken.
  4. Betrek relevante stakeholders. Activiteiten op het gebied van learning analytics worden meestal geïnitieerd door een docent of opleidingsmanager. Zij doen er verstandig aan om de juiste partijen te laten participeren. Dat zijn in ieder geval de juridisch adviseur, het hogere management en de IT-afdeling. Ook is het natuurlijk belangrijk om te zorgen voor deskundigheid op het gebied van data science. Ten slotte is het raadzaam om studenten te betrekken. Zij hebben er recht op om te weten wat er met hun data gebeurt en mee te kunnen denken over een effectieve inzet. Vervolgens is het van belang om de verschillende rollen duidelijk te definiëren: wie interpreteert uiteindelijk de data?
  5. Verwaarloos de menselijk factor niet. Een goede data-analyse kan interessante inzichten geven, maar kan ook leiden tot foute conclusies en vervolgacties. Afwijkende patronen kunnen een grote variatie aan oorzaken hebben en kwalitatief onderzoek is vaak een noodzakelijke aanvulling.

Referenties

Top