Meten of echt kijken? Stellingen voor een voortdurende onderwijspedagogische discussie over onderwijsopbrengsten

Onderstaande tekst zien de auteurs nadrukkelijk als een discussiestuk dat telkens aanpassing behoeft. Commentaar en toevoegingen zijn welkom. Laatste aanpassing is gedaan op: 14 december 2013. Liever een pdf, klik hier. Onderaan een lijst met alle hyperlinks.

—————————————————–

Meten is weten. Als we een voor- en nameting doen dan weten we wat de effecten zijn geweest van de aanpak tussen de metingen. Dat is de gedachte naar voorbeeld van het laboratoriumonderzoek. In het onderwijs denkt men in toenemende mate op die manier de kwaliteit van het onderwijs dat scholen geven te kunnen vaststellen. Zie bijvoorbeeld de invoering van een verplichte eindtoets in het basisonderwijs in combinatie met een kleutertoets en de druk op het openbaar maken van cito eindtestscores van basisscholen om de onderwijskwaliteit zichtbaar te maken (zie hier).

Dat we met alleen scores op toetsen de kwaliteit van onderwijs kunnen vaststellen is een misvatting. RTL nam daarom Jaap Dronkers in de arm om wat meer variabelen mee te nemen in hun lijst (maar ook zijn methode is niet onomstreden hier en de reactie van Dronkers hier).

 

Wij, als Vygotskianen (meer lezen hier), zien de kwaliteit van onderwijs als iets dat gaat over hoe onderwijs ervoor zorgt dat leerlingen en studenten ingewijd worden in de cultuur in de brede zin (de maatschappij) en hoe het perspectieven biedt voor hen voor de toekomst. Vergelijkbaar met hoe bijvoorbeeld Biesta en Klarus & Wardekker dat zien.

Ministers, wethouders, schoolbestuurders en directeuren willen, terecht, weten of het door hen gevoerde beleid effect heeft. Men bepleit vaak in die context het evidence based werken. Sommigen denken echter onterecht dat je uitsluitend met leerling-toetsen de effecten van dat beleid kan meten.

De traditionele invulling van evidence-based onderwijs is om die reden te beperkt. (Geert ten Dam, voorzitter onderwijsraad, in lezing aan de Open Universiteit)

Wij willen in dit artikel niet pleiten tegen het beschrijven van onderwijsopbrengsten en kwaliteit van onderwijs. Echter, het afnemen van toetsen moet altijd in verband gebracht worden met de vraag: wat wordt er getoetst, met welk doel en in welke toetsvorm? Recent heeft het geloof in het kunnen meten van onderwijskwaliteit vorm gekregen in het zogeheten ‘opbrengstgericht werken’ (een nimbusterm, voor uitleg zie onderzoek van Blok, Ledoux & Roeleveld, 2013)

De veronderstelling die hier achter zit is dat wanneer leerkrachten vooraf helder hebben welk niveau leerlingen moeten halen (referentieniveaus), dit helpt om systematisch aan opbrengsten te werken. Naderhand kan worden gemeten of het gewenste niveau is behaald. Zo niet? Dan worden scholen onderworpen aan kwaliteitsverbetertrajecten. Dat klinkt logisch en vanzelfsprekend, maar er is geen bewijs dat het werkt (zie hier) en  roept ten minste drie vragen op.

De eerste vraag is: Over welke opbrengsten hebben we het? Wat willen we meten? Veel scholen zijn steeds meer eenzijdig gericht op cognitieve opbrengsten in enge zin en focussen met name op de basisvakken rekenen en taal. Vaak met het argument dat de inspectie daarom vraagt. Dat is een zeer beperkte invulling van de Wet op het Primair Onderwijs (WPO), waar de inspectie toezicht op zou moet houden. De WPO stelt in artikel 8 sub. 2:

“Het onderwijs richt zich in elk geval op de emotionele en de verstandelijke ontwikkeling, en op het ontwikkelen van creativiteit, op het verwerven van noodzakelijke kennis en van sociale, culturele en lichamelijke vaardigheden.”

Het onderwijs moet dus aan meer dan alleen de cognitieve vaardigheden aandacht besteden. Met andere woorden, voor we over het meten van opbrengsten hebben, moet er eerst een discussie gevoerd worden over wat de maatschappelijke functie en het doel van onderwijs zou moeten zijn dat we willen meten. Geen eenvoudige vraag, waarbij het antwoord in belangrijke mate wordt bepaald door de plek die we het instituut school in onze samenleving geven. Wat willen wij als samenleving dat dit instituut toevoegt aan de vorming van kinderen en jongeren? In oneerbiedige termen: wat is het eindproduct van onderwijs? Dat lijkt misschien een los te beantwoorden vraag, maar deze vraag naar het wat hangt sterk samen met het hoe. Recentelijk is er een hernieuwde aandacht gekomen voor deze meer wijsgerige vragen naar de relatie tussen onderwijs en samenleving (zie bijvoorbeeld hier ).

Stel: een leerlinge beheerst op de leeftijd van 16 al het vwo-eindniveau van wiskunde. Moet zij zich dan juist verder verdiepen in de wiskunde of zich juist verbreden door bijvoorbeeld een taal te leren? Of zou zij juist haar persoonlijke vaardigheden als plannen, presenteren, enzovoort verder moeten ontwikkelen? Kortom, wat de opbrengsten zijn verdient, voordat we ze gaan meten, een onderwijspedagogische discussie, die sterk verweven is met de hoe-vraag. Iedereen die in het onderwijs werkt weet ook wel dat de opbrengsten meer zouden moeten zijn dan scores op testen (zie bijvoorbeeld hier). Voor een kijkje in de onderwijspraktijk: lees het boek van Anja Vink Van deze kinderen ga je houden, waarin de worsteling van een school met het meeste uit kinderen halen en scores op eindexamens wordt beschreven (verderop een korte passage). Er moet dus een discussie door de professionals zelf gevoerd worden over wat & hoe (zoals bijvoorbeeld in het de bundel Het Alternatief. Weg met de afrekencultuur in het onderwijs.) En dat gebeurt gelukkig ook meer en meer, zie bijvoorbeeld op de site van Denkfiguren over het doel van onderwijs en de blog van Hester Ijsseling.

De commissie Dijsselbloem  wilde deze discussie naar aanleiding van hun onderzoek naar de onderwijsvernieuwingen  destijds nog voorkomen door het WAT door de politiek en het HOE door het onderwijs te laten invullen.

 

De tweede vraag waar we vervolgens op stuiten is: Als we weten wat we willen meten hoe kunnen we dat dan meten? Gestandaardiseerde testen hebben hun beperkingen. We moeten die beperkingen goed in beeld hebben door de kwaliteit van het toetsinstrumentarium, ofwel de betrouwbaarheid en validiteit van de metingen, vast te stellen. Bij het meten van ontwikkeling is het niet duidelijk of de beschikbare instrumenten dit betrouwbaar en valide doen. Wat er gemeten wordt met bijvoorbeeld een rekentoets is of de leerling op het moment van de test op de vragen van die test die antwoorden kan geven die van hem verwacht worden. Het wordt allerminst duidelijk wanneer die kennis is opgedaan, welke leer- en ontwikkelingsprocessen daaraan vooraf gingen en hoe de ontwikkeling van in dit geval het mathematisch denken (probleem oplossen, redeneren, attitude, etc.) verloopt. Daarnaast is het maar zeer de vraag of de resultaten van een dergelijke kennistest de leerkracht voldoende informatie geven om een beredeneerd vervolgaanbod te plannen. Er zijn met andere woorden kanttekeningen bij het meten van het ‘product’ van een onderwijsproces te plaatsen, zeker bij het meten op basis van uitsluitend gestandaardiseerde toetsen.

In de afgelopen decennia is onder de noemer van Dynamic Assessment een heel aantal alternatieve toetsinstrumenten ontwikkeld, die niet alleen de actuele ontwikkeling van leerlingen in kaart brengen, maar juist ook zicht proberen te geven op het ontwikkelingspotentieel en de hulp (of mediatie) die vanuit de omgeving nodig is om dit potentieel tot ontwikkeling te brengen. Daarmee geven Dynamic Assessment procedures de leerkracht informatie in handen over de inrichting van het vervolgaanbod,  zodanig dat het potentieel van leerlingen optimaal tot ontwikkeling kan komen. Dynamic Assessment is een fundamenteel andere manier om te denken over de relatie tussen instructie en assessment. Niet langer worden instructie en assessment opgevat als twee gescheiden activiteiten, maar als twee activiteiten die in het onderwijs niet los van elkaar gezien kunnen worden. Helaas vinden we dat soort instrumentarium nauwelijks terug in de praktijk van het opbrengstgericht werken. Villa Kakelbont, een basisschool op een asielzoekerscentrum, is een voorbeeld waar opbrengstgericht gewerkt wordt met behulp van Dynamic Assessment. De leerkrachten van Villa Kakelbont hebben een procedure voor Dynamic Assessment geïmplementeerd, waarmee zij zich kunnen krijgen op het woordenschatniveau van leerlingen (van der Veen, 2013; van der Veen & Poland, 2012)

De derde vraag die het opbrengstgericht werken oproept is: Wie of wat worden er op afgerekend wanneer de beoogde opbrengsten al dan niet gehaald worden? Wat zeggen de metingen eigenlijk? Stel: de leerlingen van school X scoren op de Cito-eindtoets gemiddeld 5 punten hoger dan de leerlingen van school Y. Wat zegt dit dan over de leerlingen van beide scholen en de kwaliteit van het onderwijs dat zij hebben genoten? Of stel dat alle examenkandidaten van een VMBO in Zwolle slagen, komt dit dan door de school, de omgeving waar de school staat, het onderwijsaanbod, de leerlingen zelf of een combinatie van factoren? En tot slot, stel dat een lyceum in Amsterdam-West lage scores op de centrale examens haalt, maar veel vooruitgang boekt met de leerlingen en tevens in staat is om het aantal uitvallers terug te brengen, wat betekent dit dan en hoe dienen die lage scores en de kwaliteit van het onderwijs geïnterpreteerd te worden?

We weten dat de sociaal-economische en culturele achtergrond belangrijke variabelen zijn in onderwijsloopbanen van leerlingen. Op basis daarvan worden scholen ingedeeld in groepen om zodoende de kwaliteit van die scholen ‘eerlijk’ te vergelijken (zie bijvoorbeeld de Amsterdamse kwaliteitswijzer P.O. en de kwaliteitsaanpak van Amsterdam en de kritiek daarop hier).

Toch wordt ondanks de erkenning dat de omgeving van groot belang is, de school afgerekend op de gemiddelde scores van de leerlingen. Niet eens zozeer door de inspectie, maar ook, en vooral, door de verschillende kranten die er een jaarlijks themakatern aan wijden.

Natuurlijk moeten we in het onderwijs gericht zijn op opbrengsten, maar het gevaar is dat we door het blinde vertrouwen in toetsen en meetbare resultaten de rol van de leerkracht als professional marginaliseren. Juist leerkrachten kunnen in de klas echt zicht krijgen op de leer- en ontwikkelingsprocessen die leerlingen doormaken.

Stel dat we leeropbrengsten kunnen formuleren en willen meten, met ook oog voor de achterliggende processen en bredere doelen, dan nog zijn er een aantal discussiepunten voor de koppeling van die opbrengsten aan de onderwijskwaliteit. Hieronder geven wij bij elk van de drie eerder gestelde vragen twee stellingen, om de discussie over het meten van onderwijsopbrengsten en het opbrengstgericht werken, verder aan te zwengelen.

Over welke opbrengsten hebben we het? Wat willen we meten?

Stelling 1: Leerwinst is niet gelijk aan onderwijsopbrengst

In het onderwijs gebeurt veel meer dan leren in smalle zin. Kinderen, maar ook volwassenen, leren en ontwikkelen zich op tal van domeinen en worden in onderwijs gevormd. We willen niet alleen dat kinderen leren lezen en rekenen, maar juist ook dat zij zich breed ontwikkelen. Leren communiceren,

plannen, esthetisch oordelen, reflecteren, argumenteren, kunnen worden beschouwd als waardevolle onderwijsopbrengsten. Hoewel het een voortdurende onderwijspedagogische vraag is waartoe we in het onderwijs onderwijzen en opvoeden en wie daarbij welke rol heeft, hebben we met de kerndoelen, examen- en kwalificatie-eisen als samenleving al bepaald dat we onderwijsdoelen hebben die verder gaan dan het bewerkstelligen van leerwinst op cognitief gebied. Daaruit volgt dat het meten van de (cognitieve) leerwinst in enge niet alles zegt over de opbrengsten van onderwijs. We moeten de bijdragen van het onderwijs aan de brede persoonsvorming van de leerling, inclusief de betekenis die de leerling daar zelf aan geeft, als geheel analyseren om iets te kunnen zeggen over de opbrengsten van dat onderwijs.

Stelling 2: Leerwinst, als onderdeel van opbrengsten, is niet te vangen in de formule LW=Kt1-Kt0

Zelfs als we als we in staat zijn om meer te meten dan mogelijk is met gestandaardiseerde instrumenten (zie voetnoot 1 voor onderzoek daarnaar in Groningen), en er juist ook wordt gekeken naar opbrengsten in bredere zin, dan nog blijft de vraag of leerwinst te vangen is in een formule als Leerwinst (LW)=Kennis op tijdstip=1 – Kennis op tijdstip=0. De formule LW=Kt1 – K t0 is een te sterke reductie van de complexe werkelijkheid van leer- en ontwikkelingsprocessen. Leren en ontwikkelen vindt plaats met horten en stoten en kent soms een terugval. In MBO en HBO worden inmiddels eerder (of elders) verworven competenties (EVC’s) erkend. Leerlingen en studenten leren immers op eerdere momenten en op meerdere plekken dan alleen op school. Toch worden die EVC’s vaak alleen als intake gebruikt (een nulmeting) en wordt er daarna vanuit gegaan dat de competenties zich vooral door toedoen van de opleiding ontwikkelen. De meeste opleidingen gebruiken immers het aantal afstudeerders en de tijd die zij erover doen om af te studeren als een maat om de effectiviteit van het onderwijs te meten: alsof het dus alleen aan de opleiding ligt of studenten in de vastgestelde tijd afstuderen. En alsof het aantal afgestudeerden, uitgerukt in het aantal diploma’s dat wordt uitgegeven, ook maar iets zegt over de onderwijskwaliteit (zie bijvoorbeeld de discussie over InHolland).

Wat en hoe kunnen we meten?

Stelling 3: Onderwijsopbrengsten zijn niet altijd kwantificeerbaar.

De trend is dat de bijdrage van de school aan de ontwikkeling van de leerling gemeten moet worden om te zien of het gegeven onderwijs effectief is geweest. Een voormeting (bijvoorbeeld e

en kleutertest) wordt vergeleken met een nameting (bijvoorbeeld een Cito-eindtoets) en daarmee zou de effectiviteit en kwaliteit van de school beoordeeld kunnen worden (en voor de hand ligt om scholen daar vervolgens op af te rekenen). Los van het feit dat dit wel een heel pedagogisch optimistisch opvatting is – het (leren van) het kind is maakbaar – en dat er veel meer factoren zijn die bepalen wat een kind aan het einde van een schoolloopbaan weet, kan en is, is het vooral de vraag of alle onderwijsopbrengsten wel te kwantificeren zijn. Hoe zou je bijvoorbeeld democratisch burgerschap meten (dat kan wel, zie voetnoot 2), of creatieve ontwikkeling? Dat is immers ook één van de doelen van het onderwijs. Een vragenlijst of een test waar vervolgens gemiddelden uitrollen schiet te kort en het doel voorbij als die gemiddelden vervolgens een eigen leven gaan leiden (bijvoorbeeld in scholenlijstjes in kranten).

Zelfs als we het zouden beperken tot taal en rekenen is het de vraag of de onderwijsdoelen daarvan bereikt zijn als de leerlingen gemiddeld hoog genoeg scoren op een test. Willen we immers ook niet dat ze het nut ervan inzien en de kennis en vaardigheden ook werkelijk in het echte leven toepassen? Dat zal uit de uitkomst van een test die meet of de leerling aan een getalsmatige norm voldoet niet kunnen worden opgemaakt.

Stelling 4: Wees eerlijk: we weten nauwelijks wat we meten

Binnen vele sociale wetenschappen is het denken te weten wat er gemeten wordt een bedenkelijke pretentie. In veel gevallen weten we juist (nog) niet precies wat we meten als we gestandaardiseerde, ééndimensionale tests afnemen. ‘Meten=weten’ veronderstelt op zijn minst de validiteit van de test ten opzichte van het doel waarvoor we die test willen gebruiken. Bij de intelligentietest is dat al langer gebleken (en eigenlijk ook al min of meer geaccepteerd): we meten intelligentie met een test (het maakt al uit welke test precies wordt gebruikt) en zien dat die leerlingen zich op bepaalde punten onderscheiden van elkaar. Toch is nog steeds niet onomstotelijk duidelijk wat intelligentie precies is (zie bijv. Sternbergs boek “Wisdom, intelligence and creativity synthesized”). Evenzo kunnen we bij leerlingen een Cito-toets taal afnemen, maar we weten dan alleen de score van de leerlingen op díé test. Wat dit zegt over de ontwikkelingsstand van die leerlingen met betrekking tot de ontwikkeling van het bijvoorbeeld het communiceren (addressiviteit, narratieve competentie, spreekattitude, e.d.) is volstrekt onduidelijk. We weten eigenlijk in dit voorbeeld niet meer dan de verschillende scores van de leerlingen op de test en pedagogisch gezien weten we dus eigenlijk niet wat we meten.

Wie of wat worden afgerekend: wat zeggen de metingen?

Stelling 5: Opbrengsten zijn niet eenzijdig afhankelijk van of leerling of leraar

Wie rekenen we af? Als een leerling de uitslag van een door hem gemaakte toets terug krijgt, voelt dat mogelijk als afrekenen. De leerling mag misschien niet verder met de stof, moet extra werk doen en ontvangt misschien verlengde instructie, zal mogelijk een slecht rapport krijgen, etc. Als een school met Citoscores in de krant komt voelt dat ook als een afrekening, omdat de kans bestaat dat er volgend jaar minder ouders hun kind zullen aanmelden. Maar waarmee rekenen we wie eigenlijk af? Is het wel eerlijk om via een toets die leerlingen doen, de school en daarmee de leraar af rekenen? Het leerproces en de opbrengsten daarvan zijn afhankelijk van tenminste de leraar EN de leerling. Het leren ontwikkelt zich in voortdurende interactie tussen minstens die twee partijen en daarbij spelen nog veel meer factoren, zoals bijvoorbeeld financiële ondersteuning vanuit een schoolbestuur, een rol. Stel dat we onderwijsopbrengsten goed kunnen meten, dan nog is het de vraag wie daarop afgerekend moet worden. Het is daarom zinvol om over opbrengsten op zijn minst met beide partijen in gesprek te gaan en zo samen de kwaliteit van het onderwijs te bepalen. De intersubjectieve consensus over die kwaliteit zou ook een deel van de onderwijsopbrengst kunnen zijn. Met andere woorden, laat de leerlingen en leraren ook een stem hebben in het bepalen van de kwaliteit van het onderwijs waar zij zelf bij betrokken zijn.

Pedro de Bruyckere sprak daarover in zijn TED-talk:

Stelling 6: Onderwijskwaliteit omvat meer dan alleen leeropbrengsten

De kwaliteit van welk proces dan ook wordt bepaald door meer dan de ‘winst’: de opbrengst minus de kosten. Ook de kwaliteit van een industrieel productieproces wordt door meer bepaald dan de oplage en de efficiency. Een bedrijf wil vaak ook weten hoe tevreden de klanten met het product zijn. Ook de ecologische impact van de productie speelt, terecht, tegenwoordig een rol. Vertalen we dat naar het onderwijs, dan speelt bijvoorbeeld de tevredenheid en betrokkenheid van de leerlingen een rol. Of, hoe betrokken zijn de leerlingen bij de onderwijsinhoud en de onderwijsleerprocessen (in het hoger onderwijs is tevredenheid inmiddels al doorgeslagen en vormt een belangrijke factor voor de rankings)? Naast tevredenheid van de deelnemers, zou dan ook gekeken moeten worden naar wat de gevolgen zijn van het onderwijsproces voor de rol die de leerlingen gaan spelen in hun omgeving (in zekere zin de ‘afnemer’ van het ‘product’ van het onderwijs). Met andere woorden, gaan de leerlingen als gevolg van het gegeven onderwijs, ook actiever, autonomer en kritischer deelnemen aan onze samenleving?

Nauwkeuriger, als een leraar of een school wil weten of de doelen, zoals in de WPO gesteld, bereikt worden, moeten zij ook kijken naar de wijze waarop de leerling ‘in het leven’ functioneert (zonder de vooronderstelling dat deze wijze van functioneren alleen aan de school te danken, of te wijten, zou zijn). Alle onderwijsdoelen hebben immers uiteindelijk de vorming van kinderen tot kritische, autonome en democratische burgers aan onze maatschappij op het oog.

Conclusie

Opbrengstgericht werken? Ja natuurlijk, maar dan wel met oog voor betekenissen voor leerlingen en samenleving. Dat betekent dus echt KIJKEN naar de kwaliteit van onderwijs als een continu, dynamisch en actief proces. Kijken naar het onderwijsproces en dit niet uitsluitend beoordelen op de ‘producten’. We moeten een discussie voeren over wat kwaliteit is, ook met de deelnemers aan dat proces zelf. De kwaliteit ligt namelijk in het proces; onderwijskwaliteit kunnen we niet met alleen instrumenten en beoordelaars van buiten meten. Wat moeten we meten en wat zegt dat dan? Welke producten en processen moet we kritisch interpreteren en bevragen bij de deelnemers en in relatie tot welke doelen? Dat betekent onder meer dat we leren niet los kunnen zien van de brede ontwikkeling en vorming van kinderen en dat we dus de volledige context van de leer-, ontwikkel- en vormingsprocessen in ogenschouw moeten nemen. En dat er dus meer is dan kennen en kunnen alleen. Tot slot betekent het vooral dat we de kwaliteit van onderwijs niet verengen tot alleen de uitkomsten ervan, maar dat de kwaliteit ook in het onderwijsproces zelf ligt. Dit betekent dat scholen en leerkrachten vooral over het proces onderwijspedagogische verantwoording dienen afleggen; de opbrengsten aan het einde zijn slechts een onderdeel daarvan. Laten we zorgen dat we niet alleen belang hechten aan wat we denken te kunnen meten, maar vooral ‘meten’ wat we belangrijk vinden.

Martijn van Schaik en Chiel van der Veen

Martijn van Schaik is zelfstandig onderwijsonderzoeker, lector Onderwijskunde bij NCOI en lerarenopleider aan de Hogeschool van Amsterdam domein Onderwijs & Opvoeding bij de opleiding Mens & Technologie

Chiel van der Veen  is promovendus en docent aan de afdeling Onderwijswetenschappen en Theoretische Pedagogiek, Vrije Universiteit Amsterdam

Met dank aan Remy Wilshaus, Bea Pompert & Bert van Oers voor hun commentaar op eerder versies van deze tekst.

Meer lezen

Blok, H., Ledoux, G. & Roeleveld, J. (2013). Opbrengstgericht werken in het primair onderwijs: theorie en
praktijk. Amsterdam: Kohnstaminstituut.

Biesta, G. (2012). Goed onderwijs en een cultuur van meten. Den Haag: Boom Lemma uitgevers.

Klarus, R., Wardekker, W. (2011). Pedagogiek en onderwijs. In: Klarus, R. & Wardekker, W. (red), Wat is goed onderwijs. Bijdragen uit de pedagogiek. (pp. 9-14). Den Haag: Boom Lemma uitgevers.

Sternberg, R. J. (2003). Wisdom, Intelligence, And Creativity Synthesized. Cambridge University Press.

van der Veen, C. & Poland, M. (2012). Dynamic Assessment of Narrative Competence. In B. van Oers (red.), Developmental Education for Young Children: Concept, Practice and Implementation (pp. 105-119). Dordrecht: Springer.

Volman, M. (2011, June 17). Kennis van betekenis. Betrokkenheid als kwaliteit van leerprocessen en leerresulaten. Universiteit van Amsterdam.