Programmatisch toetsen in het MBO
Er ontstaat steeds meer interesse voor progammatisch toetsen en ‘dialoog gestuurd’ leren in het MBO. En we merken dat veel ROC’s en andere MBO-instellingen aan het nadenken zijn hoe dit vorm te geven. We verwachten dat uiteindelijk deze vorm van ‘programmatic assessment’, of ook wel programmatische feedback, ook in VMBO, VO en zelfs het basisonderwijs toegepast gaat worden. Het is namelijk ook dé manier om je leerprocessen flexibel in te richten en toch goed zicht te houden op het leerproces, zowel voor de student als de docent en begeleiders.
Zeker nu in het MBO het toetskader wordt herzien en veel opleidingsinstituten en ROC ‘anders verantwoorden’ in het diplomabesluit, wordt ook in het MBO steeds holistischer getoetst. Maar eigenlijk kun je het nauwelijks nog toetsen noemen. Feedback geven wordt steeds belangrijker en toetsen wordt steeds meer geïntegreerd in het leerproces. We kennen deze manier van toetsen al langer vanuit de medische opleidingen onder de naam programmatisch toetsen.
Wat is programmatisch toetsen?
Programmatisch toetsen zou je in de basis kunnen zien als het vastleggen van het onderwijsproces in datapunten waardoor je een veel beter inzicht hebt in het leerproces. Maar het is veel meer dan dat. Het gaat er om dat het continue toetsen, of eigenlijk het continue feedback geven, het leerproces ondersteunt en versterkt. Feedback en toetsen als integraal onderdeel van het leren. En dat kan formatief zijn, waarbij het veel meer gaat om de feedback op een uitgevoerde activiteit, maar kan ook summatief, waarbij het meer een beoordelend karakter heeft. Bij Programmatisch toetsen is het van belang dat er een goede balans is tussen wat en hoeveel er gemeten wordt, de instrumenten die worden gebruikt en de toetsvormen die worden toegepast.
We noemen programmatisch toetsen steeds vaker programmatisch onderwijs, programmatische feedback of flexibel onderwijs. De grondlegger van het programmatisch toetsen is Prof. Dr. Cees van der Vleuten. Hij deed de afgelopen 25 jaar baanbrekend werk op dit gebied. Het aardige is dat het Scorion platform, dat nu in Nederland het meeste gebruikt wordt voor programmatisch toetsen en flexibel en persoonlijk onderwijs, ook in dezelfde periode is ontwikkeld. Ongeveer gelijktijdig met dat Prof. Dr. Van der Vleuten zijn inaugurele rede ‘beyond intuition’ in 1996 hield waarbij het concept zo ongeveer voor het eerst publiekelijk werd, begonnen wij bij Parantion na te denken over hoe een leerproces met behulp van data ‘in beeld’ gebracht kon worden. Onderstaande metafoor wordt door Van der Vleuten veel gebruikt om het concept uit te leggen.
Hoe meer datapunten, hoe beter het beeld dat je van een student hebt:
We hebben op hoofdlijnen beschreven wat programmatisch toetsen is, maar er is uiteraard veel meer informatie. Ook over hoe dit in het MBO kan worden toegepast. Voor meer informatie verwijzen we graag naar het platform ‘leren van toetsen’.
De oorsprong van programmatisch toetsen
De programmatische toetsmethodiek vindt haar oorsprong in het medisch onderwijs. En dat is geen toeval. In het medisch onderwijs is het van groot belang dat de vaardigheden die studenten worden aangeleerd ook goed worden beoefend in de praktijk. Een medische misser kan grote gevolgen hebben. Bovendien is het heel lastig voor een onderwijsinstelling om het werkplekleren, dat vaak buiten het directe blikveld van de opleider plaatsvindt, goed te kunnen beoordelen. Als je daarbij bedenkt dat er heel veel vaardigheden worden aangeleerd tijdens een medische opleiding kun je je voorstellen dat het belangrijk is dat je goed zicht wil hebben op de kwalitatieve voortgang in de ontwikkeling.
Er werd jaren geleden in zo ongeveer alle gezondheidsopleidingen heel veel data vastgelegd. In papieren boekjes. Zowel tijdens de opleiding en tijdens de stages als in de vervolgopleidingen. Per stage moesten vaak tientallen (papieren) formulieren worden ingevuld. Een student had, als zij of hij geluk had en het portfolio was niet zoek geraakt, na een half jaar pas de feedback op een opdracht die in het portfolio was geregistreerd. Dat was niet alleen heel demotiverend, maar vooral ook mosterd na de maaltijd. Feedback heeft vooral zin als het dicht op de activiteit wordt gegeven. En omdat een klassiek eindcijfer heel weinig zegt over alles wat je hebt geleerd, was het dus van belang om de feitelijke leer-informatie te gaan vastleggen.
Dit ‘dialoog gestuurd leren’ waarbij de leer/-gedragsresultaten (op grond van feedback) was al lange tijd in het gezondheidsonderwijs op alle niveaus het vertrekpunt voor het ontwikkel proces en vormen de basis voor het leren/ontwikkelen van de student. Allen jammer was dat alle papieren portfolio moeilijk te analyseren en te verwerken waren. Nu biedt de digitalisering een enorme kans. Feedback en waardevolle leermomenten worden vastgelegd in datapunten. En deze data is een enorme kans om de student, maar ook begeleiders, docenten en de opleiding inzicht te geven in het leerproces.
Is programmatisch toetsen veel werk?
Aanvankelijk was het behoorlijk ingewikkeld om het leerproces zelf vast te leggen. Er was geen software waarmee dit kon en de papieren boekjes boden ook geen uitkomst. De eerste versie van software programma’s leverde heel veel extra administratie en invulwerk op. Dat was inderdaad heel veel extra werk voor docenten en begeleiders.
Nu we een aantal jaren verder zijn, zien we dat de toets- en feedbackinstrumenten volledig zijn geïntegreerd in het leer-werkproces. Zo kan nu bijvoorbeeld Feedback worden ingesproken via een smartphone of kan feedback door een docent ‘ongevraagd’ feedback worden ingesproken. De app volgt als het ware steeds beter het leerproces waar je op dat moment mee bezig bent.
Ook hebben we inmiddels bij ieder feedbackproces een QR-code die gescand kan worden zodat je heel gemakkelijk even feedback kan geven met je telefoon. Wat ook meehelpt is dat je nadenkt over het aantal meetmomenten en de gebruikte feedback instrumenten. Kies deze zorgvuldig. Je hoeft namelijk niet alles vast te leggen. Het dashboard met de informatie die je nodig hebt om te kunnen bepalen of iemand op koers ligt is daarvoor een belangrijke graadmeter voor welke datapunten je nodig hebt. Bovendien ligt een groot deel van het werk en de verantwoordelijkheid bij de student. Dat kan ook omdat een goed e-portfolio de student heel goed inzicht geeft in het curriculum en de stappen die zij of hij moet doen. De leeropbrengst voor de student is groter en het is minder werk voor begeleiders.
Is programmatisch toetsen geschikt voor iedere MBO-opleiding?
Het antwoord hierop is dubbel. Ja en nee. Veel opleidingen werken nog traditioneel met veel klassikaal onderwijs en cijfers. Dan is het vaak niet effectief om programmatisch te gaan toetsen. Dat werkt het best bij persoonlijke leerroutes. Maar de meeste opleidingsprogramma’s komen er steeds meer achter dat het veel effectiever is om aan de sluiten bij het leertempo van de individuele student en te werken met ‘echte’ opdrachten. En dan heeft het zeker zin om op een programmatische manier het curriculum in te richten. Programmatisch onderwijs werkt dus echt anders dan traditioneel en groepsgericht onderwijs. Het werkt vaak veel meer met authentieke leer-werk opdrachten of uitdagingen. Er zijn ook opleidingsprogramma’s die een volledig ‘challenged based learning’ programma hebben. Dat is ook een van de reden dat het vooral geschikt in het Middeldbaar Beroeps Onderwijs.
Hoe implementeer je programmatisch toetsen?
We horen af en toe van een opleiding die zich bij ons meldt, dat ze ook met ‘programmatic assessement’ aan de slag gaan en dat ze graag over twee maanden willen starten. Dat is mogelijk mits er al goed na is gedacht over het onderwijsconcept. Maar vaak gaan er toch nog wel een aantal denksessies aan vooraf.
Met name het nadenken over welke toetsvormen het best passen bij welk type opdrachten en hoe je als opleider weet of iemand op koers ligt of niet. Dat laatste is zowel voor de student als voor de opleiding van groot belang. Ook moet je de vraag stellen hoe zogenaamde ‘entrusted descisions’ kunnen worden genomen, oftewel hoe vastgesteld kan worden of iemand een vaardigheid goed beheerst en op welk niveau. En dat laatste is weer van belang om bij te kunnen sturen waar dit van belang is.
Vandaar dat we bij het ontwerpen van een programmatische opleiding vaak aan de ‘outputkant’ beginnen. Bij het gewenste dashboard. Zodra helder is welke informatie studenten, docenten en begeleiders nodig hebben om te kunnen zien of iemand op koers ligt, weet je ook welke informatie verzameld moet worden uit de opleiding. En op basis van het curriculum worden dan de formulieren, feedback processen, toetsen, peer feedbacks of een van de andere 25 à 30 manieren om datapunten te verzamelen in het systeem gezet.
Het Scorion e-portfolio en programmatisch toetsen
Scorion is pakweg 20 jaar geleden begonnen met de ontwikkeling van dit data ondersteunende portfolio. Alle zinvolle leermomenten wilden we vastleggen om zo een goed beeld te vormen van hoe iemand zich echt ontwikkeld. Aanvankelijk kregen we van onderwijsinstellingen terug dat dit onwerkbaar was. En dat was het ook. Alle meetmomenten moesten worden ingevoerd, wat het leerproces behoorlijk verstoorde.
Samen met het onderwijs- en werkveld hebben we Scorion doorontwikkeld. En nu is Scorion als assessment- en feedback platform volledig geïntegreerd met het leer- en werkproces. Je merkt nauwelijks iets van het meten van de datapunten en Scorion biedt studenten houvast in het volgen van het curriculum. Een persoonlijk leerproces wil niet zeggen dat je alleen leert. Het is heel goed mogelijk om gezamenlijk te leren en te werken in projecten en toch persoonlijk je leerweg te volgen. Daarmee wordt het leerproces persoonlijk afgestemd op de individu. Dus ondanks dat mensen nog wel klassikaal of in projectgroepen les kunnen hebben, heeft iedereen toch een eigen tempo.
Je zou dus kunnen zeggen dat we in 2008 het eerste prototype hebben ontwikkeld om programmatisch te kunnen toetsen. Dat was namelijk de peer-evaluatie tool die we hebben ontwikkeld voor een onderwijsinstelling. Studenten gingen veel meer in de praktijk werken aan ‘echte’ opdrachten in plaats van het grootste deel in de schoolbanken door te brengen. Heel effectief, maar daarmee verloor de docent het zicht op de ontwikkeling van de studenten. Met de peer-evaluation, gaven studenten elkaar feedback met behulp van Rubrics en bleek dat er een goed beeld ontstond van de prestaties.
Nu is Scorion als een van de weinige leerplatformen die daadwerkelijk een persoonlijke leerweg ondersteunt door middel van programmatische feedback en inzicht geeft in het de waardevolle leermomenten op de werkplek. Het is dan ook niet vreemd dat Scorion in heel veel onderwijsinstellingen wordt toegepast. En nu dus ook in het middelbaar beroeps onderwijs, waar deze onderwijs methodiek uitermate geschikt voor is. Mogelijk ontstaat er hiermee en kans om in het MBO een flexibiliseringsslag te maken naar écht persoonlijk onderwijs. Een combinatie tussen enerzijds de opleidingseisen van de kwalificatiedossiers verbinden met het individuele en persoonlijke ontwikkeltraject van de student. Het idee dat iedere student en iedere opleiding met één standaard set competenties uit de voeten kan, is wellicht ook toe aan een opfrisbeurt. Als je uiteindelijk kan toe werken naar een door professionals geëxamineerde op data gebaseerde diplomering zou dit wel eens een grote stap de toekomst in kunnen zijn. Een aantal voorlopers in het MBO heeft aangegeven ‘mee te doen’.
Meer informatie? Neem dan gerust contact met ons op, we helpen je graag!
