HANDBOEK ONDERWIJSKWALITEIT HOOFDSTUK ONDERWIJSEVALUATIE. Versie november 2013

HANDBOEK ONDERWIJSKWALITEIT HOOFDSTUK ONDERWIJSEVALUATIE Versie november 2013

Handboek Onderwijskwaliteit

Hoofdstuk Onderwijsevaluatie

INHOUDSOPGAVE 1. INLEIDING.................................................................................................................................................... 3 2. DOELSTELLING, BETROKKENEN EN TAKEN .................................................................................................. 3 2.1 STAND VAN ZAKEN ............................................................................................................................................ 3 2.2 DOEL EN INHOUD VAN ONDERWIJSEVALUATIE ....................................................................................................... 4 2.2.1 DOEL ............................................................................................................................................................ 4 2.2.2 KWALITEITSBEWAKING ..................................................................................................................................... 5 2.2.3 KWALITEITSVERBETERING ................................................................................................................................. 6 2.3 WIE ZIJN DE BETROKKENEN? .............................................................................................................................. 6 2.4 TAKEN VAN DE BETROKKENEN............................................................................................................................. 7 2.4.1 HET EVALUATIEPLAN ........................................................................................................................................ 7 2.4.2 DE OPDRACHT ................................................................................................................................................ 8 2.4.3 FASERING ...................................................................................................................................................... 8 2.4.4 EVALUATIE UITKOMSTEN .................................................................................................................................. 9 2.4.5 OPENBAARHEID .............................................................................................................................................. 9 2.4.6 SAMENGEVAT............................................................................................................................................... 11 3 KWALITEITSEISEN EN AANBEVELINGEN ..................................................................................................... 11 3.1 KWALITEITSEISEN............................................................................................................................................ 11 3.1.1 FACULTAIR NIVEAU ........................................................................................................................................ 11 3.1.2 AFDELING ONDERWIJS EN KWALITEITSZORG (OKZ) ............................................................................................. 12 3.2 AANBEVELINGEN ............................................................................................................................................ 13 3.2.1 FACULTAIR NIVEAU ........................................................................................................................................ 13 3.2.2 OKZ ........................................................................................................................................................... 13 4 KWALITEIT VAN HET EVALUATIE-INSTRUMENT ......................................................................................... 13 4.1 ONAFHANKELIJKHEID ...................................................................................................................................... 13 4.2 EXPERTISE ..................................................................................................................................................... 13 4.3 INSTRUMENTARIUM ........................................................................................................................................ 14 4.4 BETROUWBAARHEID EN VALIDITEIT ................................................................................................................... 14 4.5 DE RESPONS .................................................................................................................................................. 15 4.5.1. ANONIMITEIT WAARBORGEN .......................................................................................................................... 15 4.5.2.DOEL EN BELANG DUIDELIJK MAKEN .................................................................................................................. 15 4.5.3. TERUGKOPPELING RESULTATEN EN REACTIE DOCENT............................................................................................ 15 4.5.4. HOE GROOT MOET DE RESPONS ZIJN? ............................................................................................................... 16



1. INLEIDING Onderwijsevaluatie is een belangrijk instrument bij de kwaliteitsborging en verbetering van het onderwijs. Bij die kwaliteit gaat het om inhoud, organisatie, voorzieningen, uitvoering en resultaten van het onderwijs. Voor instellingen die onderwijs verzorgen is onderwijskwaliteit vanzelfsprekend altijd van belang. Voor het hoger onderwijs geldt bovendien dat instellingen bij de vormgeving van hun kwaliteitszorgsystemen rekening moeten houden met de eisen van accrediterende instanties. Dit hoofdstuk uit het Handboek Onderwijskwaliteit biedt uitvoerders op facultair en centraal niveau een overzicht van doel en inhoud van onderwijsevaluatie, van ieders taken binnen het evaluatieproces, en van de eisen die er aan gesteld moeten worden. Achtergronddocumenten In dit hoofdstuk wordt nauw aangesloten bij het nieuwe accreditatiestelsel. Uitgebreide informatie met toelichting is te vinden op de websites van respectievelijk de NVAO (Nederlands‐Vlaamse Accreditatie Organisatie; www.nvao.net), en QANU (Quality Assurance Netherlands Universities; www.qanu.nl). Een beschrijving van, en een toelichting op, frequent gebruikte evaluatie‐instrumenten is te vinden op VUnet: https://vunet.login.vu.nl/themes/pages/standaard.aspx?cid=tcm%3a164-335402-16

2. DOELSTELLING, BETROKKENEN EN TAKEN 2.1 STAND VAN ZAKEN Aan de Vrije Universiteit bestaat een langdurige ervaring met de evaluatie van het onderwijs. Over de gehele instelling wordt het onderwijs systematisch geëvalueerd, doorgaans met gebruikmaking van de methodiek, het instrumentarium en de inzet van de afdeling Onderwijs en Kwaliteitszorg (OKZ) van de dienst Student- en Onderwijszaken (SOZ). Met ingang van het studiejaar 2013-2014 is een belangrijke stap gezet naar modernisering van het kwaliteitszorgsysteem van de VU. Vanaf september 2013 is het systeem van onderwijsevaluaties gedigitaliseerd en vindt plaats via VUnet. VUnet Onderwijsevaluaties geeft docenten de mogelijkheid om een vragenlijst op maat samen te stellen voor de evaluatie van hun onderwijs. De evaluatie kan zowel digitaal als op papier plaatsvinden. Studenten zullen de digitale evaluaties via VUnet invullen. Docenten en studenten krijgen via VUnet toegang tot de resultaten van de evaluaties en docenten geven een eerste reactie naar de studenten. Deze nieuwe werkwijze heeft gevolgen voor alle betrokkenen. Het systeem is opnieuw doordacht, gegeven de nieuwe mogelijkheden en beperkingen, en dit impliceert dat de rollen en taken van allen die bij het evaluatieproces betrokken zijn, zijn veranderd. Een tweede belangrijke ontwikkeling betreft het nieuwe accreditatiestelsel dat sinds 2011 van kracht is. Hierin komen afzonderlijke opleidingen (zowel Bachelor- als Master) altijd apart voor accreditatie in aanmerking.



Voor Onderwijsevaluatie (cursus-,curriculum-, stage- en scriptie evaluaties) betekent dit dat die zich voor een belangrijk deel op opleidingsniveau zullen blijven afspelen en dat van belang blijft om (bij voorkeur kwantitatieve) streefdoelen te formuleren zodat het mogelijk wordt om na te gaan of die doelen ook gehaald worden. Daarbij komt dat op de VU al jaren gestandaardiseerde vragenlijsten ingezet worden die referentiescores hebben opgeleverd. Deze zijn zowel op facultair- als instellingsniveau beschikbaar. Zij maken het mogelijk om faculteiten onderling, en in relatie tot VUgemiddelden met elkaar te vergelijken. Bovendien worden op cursusniveau data verzameld die de basis vormen voor kern prestatie indicatoren (KPI’s) betreffende de onderwijskwaliteit. Zij kunnen vergeleken worden met de facultaire gemiddelden. Monitoring van de onderwijskwaliteit wordt zo ook op instellingsniveau mogelijk. Streefdoelen als deze zouden ook opgenomen kunnen worden in het beleidsplan waar faculteiten over dienen te beschikken, en mede richting moeten geven aan het op te stellen evaluatieplan. Betrokkenheid van alumni en het beroepenveld blijft ook in de nieuwe kaders een eis. Zij kunnen (en moeten) een rol spelen bij onderwijsevaluatie.

2.2 DOEL EN INHOUD VAN ONDERWIJSEVALUATIE 2.2.1 Doel Onderwijsevaluatie is de systematische verzameling van gegevens waarmee inzicht wordt verkregen in de huidige kwaliteit van het onderwijs, en in de meerdere of mindere noodzaak om die kwaliteit te verhogen. Het doel van onderwijsevaluatie is het onderwijs te verbeteren. Onderwijsevaluatie heeft daarom een cyclisch karakter: de feitelijke meting van de kwaliteit van onderwijs (kwaliteitsbewaking en ‐controle) dient gevolgd te worden door het nemen van maatregelen om de kwaliteit zo nodig daadwerkelijk te verbeteren. Mits er toetsbare streefdoelen gesteld zijn is het vervolgens mogelijk door middel van een nieuwe meting na te gaan of die doelen gehaald zijn, waarna een nieuwe cyclus kan worden ingezet. De Nederlands‐Vlaamse Accreditatie Organisatie (NVAO) eist dat evaluatieuitkomsten de basis vormen voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen Schematisch ziet een en ander er als volgt uit:

PLAN Onderwijsprogramma en –beleid met streefdoelen

ADJUST

DO

Neem (zonodig) maatregelen

Voer onderwijs volgens plan uit

CHECK Evalueer, zet af tegen streefdoelen



2.2.2 Kwaliteitsbewaking Bij de kwaliteitsbewaking gaat het om twee vragen: 1. Welke aspecten van het onderwijs‐ en leerproces komen in aanmerking voor systematisch evaluatieonderzoek? 2. Op grond van welke criteria wordt beslist of de onderwijskwaliteit (on)voldoende is? Onderwijsaspecten die in aanmerking komen voor evaluatie binnen cursusverband zijn: • • • • •

De gebruikte onderwijsvormen (aansluiting bij didactisch concept); De kwaliteit van de didactische vaardigheden van een docent; De kwaliteit van het gebruikte onderwijsmateriaal en de afgenomen toets; Het leereffect; De resultaten (in termen van rendement en doelstellingen).

Onderwijsaspecten die in aanmerking komen voor cursusoverstijgende evaluatie zijn: • • • • • • • • • • • • • •

De aansluiting van het programma bij de kwalificaties van de instromende studenten; De aansluiting van het programma op de voor de opleiding relevante beroepspraktijk; De mate van interactie met kennis/wetenschapsontwikkeling; De analyse van de studievoortgang; de studielast en de onderwijsprogrammering; Het niveau van het programma; De doeltreffendheid van het programma; De inhoudelijke samenhang van het programma (de onderlinge aansluiting (lacunes of overlap) van cursussen); De studeerbaarheid van het programma (geen nodeloos belemmerende factoren); De aansluiting op de arbeidsmarkt (bijvoorbeeld via alumnionderzoek of het enquêteren van werkgevers; het ´afnemend veld´); Het niveau van afgestudeerden in het algemeen; De eindtermen van de opleiding; Aangeboden onderwijsvoorzieningen; Studiebegeleiding; Resultaten (niveau en rendement); Onderwijsmanagement.

Ad 2: Met betrekking tot de criteria kan aan het volgende worden gedacht (het betreft hier geen uitputtende opsomming, en ook zijn alle getallen of percentages illustratief en niet prescriptief bedoeld!): •

binnen elk van de bachelorjaren dient de student bij minstens 25% van de studieonderdelen een paper te schrijven van (ten hoogste) 5 pagina’s, welk paper meetelt in de eindbeoordeling van dat studieonderdeel;


• •

• •


van de totale uitval binnen deze opleiding dient 75% in het eerste cursusjaar plaats te vinden; over vijf jaar dienen alle docenten in de bacheloropleiding aantoonbaar gekwalificeerd te zijn (via het volgen van cursussen of anderszins) op het gebied van bijvoorbeeld toetsen en beoordelen / het maken van studiehandleidingen; bij alle cursussen dienen in het onderwijs gebruikte overheadsheets/handouts/PowerPoint presentaties) ook via de cursuswebsite beschikbaar te worden gesteld; op de bij de opleiding gangbare evaluatievragenlijsten dient de overallwaardering voor docent/studieonderdeel/eindtoets minstens 3½ te zijn (op een schaal van 1 tot 5), en/of niet duidelijk lager dan bij de desbetreffende opleiding gebruikelijk is.

2.2.3 Kwaliteitsverbetering Wanneer blijkt dat de streefdoelen niet worden gehaald (‘check’) moeten er maatregelen worden genomen (‘adjust’). Afhankelijk van de facultaire organisatie zullen faculteitsbestuur en afdelingshoofden die maatregelen nemen. Zij baseren die op de resultaten en aanbevelingen uit het evaluatieonderzoek. Enkele voorbeelden van dergelijke maatregelen zijn: •

Overleg met mededocenten/afdelingshoofden over de vormgeving en uitvoering van het onderwijs;

•

mondelinge of schriftelijke instructies of aanbevelingen (conform het Universiteitsreglement) door de portefeuillehouder onderwijs/onderwijsdirecteur aan docenten;

•

intervisie (collegiaal overleg tussen docenten over elkaars handelen);

•

bevorderen van de onderwijskundige professionalisering van docenten (bijvoorbeeld via het volgen van cursussen);

•

het herschrijven of herzien van onderwijsmateriaal (variërend van syllabi tot tentamenvragen), eventueel met ondersteuning van een onderwijskundige;

•

bezinning op/herziening van de gebruikte toetsvorm(en);

•

aanpassingen van het onderwijsrooster.

2.3 WIE ZIJN DE BETROKKENEN? Bij onderwijsevaluatie zijn veel verschillende personen of instanties (eind)verantwoordelijkheid voor de evaluatie ligt bij het faculteitsbestuur. Betrokkenen zijn: •

faculteitsbestuur;

•

faculteitsbureau;

•

evaluatiecoördinator

•

cursuscoördinator

•

onderwijscoördinator;

•

evaluatie‐/opleidingscommissie;

betrokken.

De


•

afdelingshoofd;

•

docenten;

•

studenten;

•

alumni/het beroepenveld;

•

Afdeling OKZ van de dienst SOZ


Binnen de faculteit kunnen verschillende personen of instanties betrokken zijn bij een evaluatieonderzoek, afhankelijk van de omvang van het onderzoek. In elk geval is dat de opleidingscommissie, omdat deze commissie een belangrijke rol heeft in de kwaliteitsbewaking van opleidingen. Bij omvangrijke evaluaties kan het zinvol zijn een aparte evaluatiecommissie te vormen. Andere personen die een taak hebben in onderwijsevaluatie zijn: de evaluatie coördinator, de cursuscoördinator , en de docent. Daarnaast zal in veel gevallen het faculteitsbureau/onderwijsbureau vooral in organisatorische en uitvoerende zin een belangrijke rol spelen.

2.4 TAKEN VAN DE BETROKKENEN Verschillende personen en instanties binnen en buiten de faculteit hebben taken en verantwoordelijkheden op het gebied van onderwijsevaluatie. Allen leveren zij een bijdrage aan het uiteindelijke doel van onderwijsevaluatie: onderwijsverbetering. Om dit doel te bereiken is het cruciaal dat er te allen tijde duidelijkheid is over de inhoud, taken en verantwoordelijkheden binnen het evaluatiesysteem. Dat geldt voor alle fasen van het evaluatieproces. Het faculteitsbestuur is eindverantwoordelijk; het stelt het evaluatieplan vast, verstrekt de opdracht en neemt maatregelen. 2.4.1 Het evaluatieplan Het evaluatieplan: •

bepaalt per opleiding welke studieonderdelen geëvalueerd zullen worden in het komende studiejaar;

•

geeft per facet streefdoelen aan, alsook de criteria waarop wordt beslist of de kwaliteit van een studieonderdeel voldoende is;

•

bepaalt per opleiding wanneer en met welke frequentie curriculumevaluaties zullen plaatsvinden;

•

bepaalt per opleiding welke aspecten van het curriculum als geheel in aanmerking komen voor evaluatieonderzoek, en welke streefdoelen en criteria daarbij worden gehanteerd;

•

bepaalt per opleiding wanneer, met welke frequentie en op welke wijze alumnionderzoek zal plaatsvinden;

•

bepaalt per opleiding op welke wijze en met welke frequentie het afnemend veld bij het evaluatieonderzoek wordt betrokken.



Verder staat in het evaluatieplan wie er bij de uitvoering van de onderwijsevaluaties betrokken zijn en wat de verantwoordelijkheden van deze betrokkenen zijn. In het bijzonder wordt vastgelegd: •

wie (of welke instantie) de evaluatieopdracht verstrekt;

•

wie (of welke instantie) het evaluatieonderzoek uitvoert en daarover rapporteert;

•

aan wie (of welke instantie) gerapporteerd wordt;

•

op welke wijze de evaluatieresultaten openbaar gemaakt worden;

•

wie (of welke instantie) op basis van het rapport aan het faculteitsbestuur advies uitbrengt over te nemen maatregelen ter verbetering.

De rapportages met de resultaten van de cursusevaluaties gaan (vanaf collegejaar 2013-2014) automatisch via VUnet- Onderwijsevaluaties naar de evaluatiecoördinator en cursuscoördinator. In het evaluatieplan staat beschreven aan wie (en welke instantie) er daarnaast nog meer wordt gerapporteerd. Het evaluatieplan beschrijft bovendien de procedures die een goede (cyclische) voortgang van het evaluatieproces ondersteunen. Met name wordt vastgelegd op welke termijnen (tijdpad) de bovengenoemde activiteiten zullen plaatsvinden en wie zorg draagt voor het implementeren en controleren van de genomen besluiten. 2.4.2 De opdracht Formeel komt de feitelijke evaluatieopdracht van het faculteitsbestuur. In de praktijk kan de opdracht worden verstrekt door een daartoe bevoegde instantie of persoon: •

de portefeuillehouder onderwijs;

•

de onderwijsdirectie;

•

de opleidingscommissie;

•

de onderwijscoördinator.

De persoon of instantie die een evaluatieopdracht verstrekt, zet de opdrachtverlening bij voorkeur op papier met daarbij een omschrijving van de opdracht. Deze omschrijving geeft antwoord op de volgende vragen: ‐wat er wordt geëvalueerd (bijvoorbeeld welk onderdeel, welke studiejaren), wanneer er wordt geëvalueerd (op welk moment in de cursus), wie er evalueert (bijdrage van de faculteit en van OKZ), wat er gebeurt met de resultaten van de evaluatie. 2.4.3 Fasering Het is niet per se nodig om elk jaar alle studieonderdelen te evalueren. Als vuistregel wordt aanbevolen dat elk onderdeel minstens tweemaal in de zes jaar wordt geëvalueerd, of vaker wanneer: •

een vak of docent kwalitatief te kort blijkt te schieten zodat nagegaan kan worden of er sprake is van verbetering;

•

het vak aanzienlijk is gewijzigd;



•

het curriculum als geheel wordt veranderd, of het vak een andere plaats krijgt binnen het curriculum;

•

er sprake is van een verandering in leermiddelen of onderwijsmethode of ook toetsvorm (bijvoorbeeld een ander boek of de invoering van ICT of multiplechoicetentamens)

Een gefaseerde aanpak verdient de aanbeveling om te voorkomen dat de bereidheid van studenten om aan evaluaties mee te doen afneemt (en daarmee de respons). 2.4.4 Evaluatie uitkomsten De evaluatiegegevens vormen de basis voor maatregelen en besluitvorming die bijdragen aan een daadwerkelijke onderwijsverbetering. Via verschillende kanalen worden de verantwoordelijken (het faculteitsbestuur als eindverantwoordelijke en docenten als persoonlijk verantwoordelijken) en de studenten op de hoogte gebracht van de evaluatieresultaten: 1. afzonderlijke rapportages Onderwijsevaluaties

aan

docenten

en

evaluatiecoördinatoren

via

VUnet

2. rapportages voor onderwijscoördinatoren en/of opleidings‐ /evaluatiecommissies over onder meer cursus‐ en curriculumevaluaties en studievoortganggegevens; 3. een eindrapportage aan het faculteitsbestuur met een cursusoverstijgende weergave en analyse van de evaluatiegegevens, conclusies en aanbevelingen. Gegevens hiervoor komen beschikbaar in MIVU. 4. een rapportage aan studenten via VUnet Onderwijsevaluaties, met daarin een grafische samenvatting van enkele resultaten, aangevuld met een reactie op de uitkomsten van de cursuscoördinator. Ad. 1. Vanaf collegejaar 2012-2013 worden rapportages van cursusevaluaties automatisch via VUnet Onderwijsevaluaties naar de evaluatiecoördinator en de cursuscoördinator gestuurd. Ad. 3. De management informatie-rapportages zijn in ontwikkeling, maar zullen in ieder geval de facultaire KPI’s bevatten, te weten: •

het percentage cursussen met een gemiddelde score van 4 of hoger op de vraag: “Totaaloordeel over de inhoudelijke kwaliteit van deze cursus”.

•

het percentage cursussen met een gemiddelde score van 4 of hoger op de vraag: “Totaaloordeel over de didactische kwaliteiten van de docent”.

•

het percentage cursussen met een gemiddelde score van 4 of hoger op de vraag: “Het tentamen was een goede graadmeter van wat ik in deze cursus heb geleerd”.

Vanzelfsprekend is het in verband met te schrijven kritische reflecties van belang de desbetreffende rapportages goed te documenteren, aangezien zij daarvoor een voorname bron zijn. 2.4.5 Openbaarheid Aanbevolen wordt dat in beginsel de uitkomsten van onderwijsevaluaties, zowel op cursus‐ als curriculumniveau openbaar zijn (althans ten behoeve van de facultaire gemeenschap). Daar zijn zowel principiële als praktische redenen voor: principieel geldt dat het geven van onderwijs (naast het doen van onderzoek) een primaire taak is van een universiteit. Wie deze taak serieus neemt zal



ook bereid moeten zijn openbaar verantwoording af te leggen over de gerealiseerde kwaliteit van dat onderwijs. Verder is openbaarheid een noodzakelijke voorwaarde om een cultuur te bevorderen waarin zorg voor kwaliteit en een voortdurend streven naar hoogwaardig onderwijs een vanzelfsprekende zaak is. Zonder deze openbaarheid zal het moeilijk zijn een systeem van kwaliteitszorg in stand te houden dat op voldoende draagvlak kan rekenen onder alle betrokkenen. Een goed functionerend systeem van onderwijsevaluatie staat of valt met een voldoende grote respons van de studenten die aan evaluatieonderzoek meewerken, bijvoorbeeld door enquêtes in te vullen (zie paragraaf 4.5 voor meer informatie over de respons). Wanneer zij geen zicht hebben op de resultaten van dit onderzoek, ligt het voor de hand dat hun bereidheid om daaraan mee te werken snel zal afnemen. Daarom krijgen de studenten via VUnet Onderwijsevaluaties een evaluatierapport. Dit bestaat, uit grafische weergave van enkele resultaten, en een reactie van de cursuscoördinator. Bij een te lage respons worden er geen resultaten aan studenten teruggekoppeld. Vanzelfsprekend kunnen er soms redenen zijn om een resultaat niet openbaar te maken, maar even vanzelfsprekend is het dat dit uitzonderingen zullen zijn. Dit geldt bijvoorbeeld voor de evaluatie van stages en scripties gezien het individuele (zowel ten aanzien van student als begeleider), niet‐anonieme en eenmalige karakter daarvan. Minimaal is de evaluatie dan gericht op de manier waarop schriftelijke afspraken tussen begeleider en student zijn uitgevoerd. Zoals bij elk evaluatieonderzoek moet de anonimiteit van de individuele student (als vrijwillig verschaffer van informatie) gewaarborgd blijven. Als dat niet mogelijk is, moet de student expliciet toestemming geven. In het algemeen is onderwijsevaluatie echter gebaat bij openbaarheid van de evaluatieresultaten. Openbaarheid van de evaluatie‐uitkomsten verhoogt daarnaast de kans dat maatregelen ook echt uitgevoerd worden. Een belangrijke voorwaarde voor succes is bovendien een positieve houding binnen de faculteit over onderwijsevaluatie en –verbetering. Dat vooronderstelt: •

een betrokkenheid van het faculteitsbestuur, opleidingscommissie(s), docenten en studenten bij goed onderwijs en onderwijsverbetering;

•

een optimale betrouwbaarheid en validiteit van de gebruikte instrumenten, methoden en uitkomsten;

•

een ‘vanzelfsprekende’ bereidheid tot meewerken aan onderwijsverbetering;

•

een verslaglegging van onderwijsevaluaties. De toegankelijkheid daarvan wordt gewaarborgd door het gehanteerde documentatiesysteem;

•

het kunnen aanspreken van betrokkenen op hun verantwoordelijkheid voor onderwijskwaliteit (via functionerings‐ en beoordelingsgesprekken of carrièreperspectief).



2.4.6 Samengevat Een goed systeem van onderwijsevaluatie voldoet aan onderstaande voorwaarden: •

het systeem is gericht op kwaliteitsverbetering;

•

er worden streefdoelen geformuleerd alsmede criteria op grond waarvan kan worden nagegaan of en in hoeverre die streefdoelen bereikt zijn;

•

het is transparant en openbaar;

•

de relevante actoren (docenten, studenten, alumni, beroepenveld) zijn er alle bij betrokken;

•

de respectievelijke verantwoordelijkheden zijn voor iedereen duidelijk;

•

de gebruikte methoden en instrumenten zijn zo betrouwbaar en valide als mogelijk is;

•

de evaluatie‐uitkomsten worden vastgelegd in (openbare) rapportages;

•

het systeem is cyclisch van karakter: nadat is vastgesteld of de streefdoelen bereikt zijn worden verbeterplannen opgesteld en begint de cyclus opnieuw.

3 KWALITEITSEISEN EN AANBEVELINGEN Zowel voor onderwijsevaluatie op facultair niveau als voor de inbreng van de afdeling OKZ zijn kwaliteitseisen en aanbevelingen opgesteld.

3.1 KWALITEITSEISEN 3.1.1 Facultair niveau 1. Voorafgaande aan de evaluatie zijn criteria of streefcijfers geformuleerd over studievoortgang, studielast, didactische uitvoering, en faciliteiten. De criteria, met name voor de studievoortgang en de studielast, kunnen verschillen per opleiding of per te evalueren onderdeel en dienen aan te sluiten bij het beleid en de onderwijsvisie van de faculteit. De evaluatieresultaten worden vergeleken met deze criteria of streefcijfers. 2. De uitkomsten van een cursusevaluatie worden besproken met de desbetreffende docenten. Zij worden betrokken bij de interpretatie van de resultaten en het formuleren van te nemen maatregelen. 3. Het faculteitsbestuur neemt besluiten naar aanleiding van de evaluatieresultaten, draagt zorg voor het invoeren van genomen besluiten en voert daar controle op uit. 4. De opleidingscommissie wordt betrokken bij evaluaties, gelet op haar formele taak om de wijze van uitvoering van de OER jaarlijks te beoordelen. Toelichting: als dit een te grote belasting oplevert voor de commissie kan een aparte evaluatiecommissie worden gevormd, bestaande uit hoogleraren, UHD’s of UD’s (bij voorkeur docenten met gebleken onderwijskwaliteiten) en studenten. De evaluatiecommissie rapporteert aan het faculteitsbestuur en de opleidingscommissie. 5. Het faculteitsbestuur stelt vast in welke mate de evaluatieresultaten openbaar worden gemaakt. De opleidings‐ respectievelijk onderwijscommissie wordt hierover om advies gevraagd. Toelichting: er wordt uitgegaan van openbaarheid van evaluatieresultaten. Er



kunnen zich echter omstandigheden voordoen waarbij dit niet gewenst wordt geacht. In dat geval kan het faculteitsbestuur besluiten de resultaten niet of in een andere vorm openbaar te maken. 6. Jaarlijks wordt een eindrapportage over de uitgevoerde evaluaties opgesteld door het onderwijsmanagement voor het faculteitsbestuur (waarbij gebruik gemaakt kan worden van de MIVU-rapportages). Het faculteitsbestuur neemt op grond van de eindrapportage adequate maatregelen op systeemniveau, bijvoorbeeld in de vorm van curriculumherzieningen, roosteraanpassingen of aanscherpingen van het professionaliseringsbeleid. 7. Naast cursusevaluaties wordt bij elke opleiding periodiek, een evaluatie van het gehele bestaande curriculum uitgevoerd. Hierbij worden in elk geval zowel docenten als studenten betrokken, en mogelijk ook alumni en het afnemend veld. Dat laatste zal met name het geval zijn als de curriculumevaluatie voorafgaat aan een visitatie of accreditering. Toelichting: de curriculumevaluatie kan parallel lopen aan, of gebruikt worden in de Kritische Reflectie voorafgaand aan een visitatie of accreditering. Daarbij wordt onder andere gekeken naar de opbouw en het niveau van het programma en van de afgestudeerden, de studielast, de aansluiting van het programma op de eindtermen en de arbeidsmarkt, de didactische en onderwijskundige aspecten en de roostering. 8. Alle gebruikte evaluatiemethodes en ‐instrumenten voldoen aan eisen van validiteit en betrouwbaarheid (zie 4.4). 9. De anonimiteit van studenten bij vragenlijstafnames en bij de rapportages zijn door de gekozen procedures en de zorgvuldige uitvoering ervan in de praktijk gewaarborgd. 10. In het evaluatieplan wordt ook aandacht besteed aan het evalueren van stages en scripties. Stage‐ en scriptie‐evaluaties richten zich minimaal op de wijze van uitvoering van de schriftelijke afspraak tussen docent en student. 11. Gelet op het (in de praktijk) niet‐anonieme karakter van de stage‐ of scriptie‐evaluaties, worden individuele evaluatiegegevens niet aan de begeleidend docent voorgelegd zonder toestemming van de student. 12. Bij functionerings‐ en beoordelingsgesprekken worden de evaluatieresultaten betrokken. 13. Geregeld vindt een alumnionderzoek plaats. (In verband met de periodiciteit van accreditatiesysteem tenminste eenmaal in de zes jaar) 14. Werkgevers en afnemend veld worden tenminste eenmaal in de zes jaar geraadpleegd. 3.1.2 Afdeling Onderwijs en Kwaliteitszorg (OKZ) De afdeling OKZ speelt een belangrijke rol bij de onderwijsevaluaties. OKZ: •

is verantwoordelijk voor het beheer van het Onderwijsevaluatiesysteem.



•

kan een opdracht weigeren als de uitvoering ervan niet mogelijk is bij bepaalde welomschreven kwaliteitseisen. Het faculteitsbestuur wordt in kennis gesteld van deze redenen en waar mogelijk geadviseerd over nadere voorwaarden waarbinnen de opdracht wel aanvaard kan worden.

•

draagt zorg voor deskundigheid op het gebied van evaluatieonderzoek.

•

draagt zorg voor zo betrouwbaar en valide mogelijke evaluatiemethoden en ‐instrumenten.

•

doet verslag van de uitkomsten van het evaluatieonderzoek en formuleert op grond daarvan, desgevraagd, gerichte adviezen en aanbevelingen.

3.2 AANBEVELINGEN 3.2.1 Facultair niveau Bij de uitvoering van evaluaties wordt gebruik gemaakt van de deskundigheid en expertise van OKZ. Bij negatieve resultaten van een evaluatie vindt een gesprek plaats tussen de betreffende docent, het afdelingshoofd, de onderwijsdirecteur, collega‐docenten, een onderwijskundige, en/of één of meerdere studenten. Het doel van een dergelijk gesprek is het geven van uitleg, het verklaren van uitkomsten en het geven van adviezen. Voorgenomen maatregelen ter verbetering en (nieuwe) streefdoelen worden schriftelijk vastgelegd. Het wordt aanbevolen de onderwijskwaliteiten, op basis van evaluatieresultaten, mee te laten wegen in het carrièreperspectief van de stafleden. 3.2.2 OKZ De medewerkers van de afdeling OKZ die worden ingezet voor evaluaties zijn deskundig op het gebied van test‐ en vragenlijstconstructie, overige kwantitatieve en kwalitatieve methoden van dataverzameling, ‐verwerking en –analyse, en sociaalwetenschappelijke onderzoekstechnieken in het algemeen. Eigen onderwijservaring (op universitair niveau) strekt tot aanbeveling.

4 KWALITEIT VAN HET EVALUATIE-INSTRUMENT 4.1 ONAFHANKELIJKHEID Onderwijsevaluatie is gericht op de kwaliteit van het onderwijs. Onderzoek naar en uitspraken over de mate waarin studieonderdelen of ‐programma´s aan kwaliteitseisen voldoen, dienen bij voorkeur te worden gedaan door personen en/of instanties die onafhankelijk zijn ten opzichte van de opleiding in kwestie. Dit te meer waar (onder meer als gevolg van de accreditatie) de positieve of negatieve evaluatiebevindingen in toenemende mate consequenties kunnen hebben voor opleidingen, c.q. de binnen die opleidingen werkzame personen. Binnen de Vrije Universiteit vervult de afdeling OKZ die rol.

4.2 EXPERTISE Daarnaast beschikt OKZ bij uitstek over de benodigde expertise op het gebied van onderwijsevaluatie. De afdeling OKZ kan worden geraadpleegd over, of worden ingezet voor, onder meer:



•

vragenlijstconstructie en ‐verwerking;

•

interpretatie van uitkomsten;

•

analyse van de studievoortgang en afzonderlijke tentamenresultaten;

•

onderzoek naar studielast en studeerbaarheid (nominale programma‐analyses);

•

onderzoek onder alumni en (hun) werkgevers;

•

exitonderzoek

•

evaluatie van stages, en bachelor‐ of masterthesis.

4.3 INSTRUMENTARIUM Evaluatiegegevens kunnen op verschillende manieren worden verkregen. Veel gebruikte instrumenten zijn onder meer gestandaardiseerde vragenlijsten, gesprekken met studenten(‐ panels) en/of docenten, observatie van onderwijs en de analyse van tentamenresultaten. Welk instrument (of combinatie van instrumenten) in een bepaalde situatie het meest geschikt is hangt af van de precieze vraag, maar ook van praktische omstandigheden (bijvoorbeeld het aantal studenten). Enkele voorbeelden zijn te vinden op VUNet.

4.4 BETROUWBAARHEID EN VALIDITEIT De onafhankelijkheid van de afdeling OKZ, de expertise op het gebied van meten en beoordelen en de kwaliteit van de gehanteerde instrumenten zijn alle voorwaardelijk voor de betrouwbaarheid en validiteit van het uitgevoerde evaluatieonderzoek. Betrouwbaarheid heeft betrekking op de mate waarin toevallige omstandigheden van invloed zijn op de onderzoeksuitkomsten. Hoe minder dit het geval is, hoe betrouwbaarder de resultaten, en hoe zekerder we kunnen zijn van de daarop gebaseerde uitspraken. Het oordeel van studenten over de kwaliteit van de docent moet niet (teveel) afhangen van de toevallige samenstelling van de groep studenten die dat oordeel geven. Andere studenten zouden in dezelfde omstandigheden (ongeveer) tot datzelfde oordeel moeten komen. Dit is een van de redenen waarom het aantal respondenten van belang is (zie voor verdere toelichting over het aantal respondenten paragraaf 3.5). Zo moet ook de interpretatie van OKZ van een bepaalde vragenlijstuitkomst (bijvoorbeeld de waardering van het gebruikte handboek) niet (teveel) afhangen van de medewerker die deze interpretatie geeft. Een andere medewerker zou op grond van dezelfde uitkomsten tot (ongeveer) dezelfde uitspraak moeten komen. Bij validiteit gaat het erom of gemeten wordt wat men wil meten. Zo moet het oordeel van studenten over de kwaliteit van een studieboek ook ´echt´ met die kwaliteit te maken hebben (duidelijkheid, overzichtelijkheid, volledigheid enzovoort van dat boek), en niet met de prijs ervan, of de kleur van het kaft. Bij toetsen is het hierbij van belang of de tentamenvragen voldoende representatief zijn voor de bestudeerde stof. Bij het oordeel over bijvoorbeeld de didactische vaardigheden van een docent is het, analoog daaraan, belangrijk of de bedoelde vaardigheden



(structurering, uitleg, onderscheid hoofd‐ en bijzaken, gebruik van leermiddelen, enzovoort) ook voldoende door het gebruikte meetinstrument worden bestreken.

4.5 DE RESPONS Het gegeven dat onderwijsevaluaties met ingang van het studiejaar 2013-2014 grotendeels digitaal zullen plaatsvinden impliceert dat dit gevolgen heeft voor de respons. Bij digitale evaluaties valt de respons in het algemeen lager uit dan bij papieren. Omdat betrouwbaarheid en validiteit van de evaluatieresultaten bij een (te) lage respons al gauw in het geding zijn, is het belangrijk te letten op factoren die de respons beïnvloeden. 4.5.1. Anonimiteit waarborgen In de eerste plaats staat vast dat een belangrijke oorzaak van de lagere respons bij digitale evaluaties te maken heeft met het vertrouwen dat de respondenten hebben in de anonieme verwerking van de resultaten. Dat zou ook gelden voor papieren evaluaties, maar sterker voor digitale: de angst bestaat al gauw dat in geval van een digitale afname gegevens gekoppeld kunnen worden aan andere databestanden waarbij de anonimiteit van de respondent gevaar loopt. Vandaar dat bij elke enquête waar men vreest voor een (te) lage respons, het zaak is niet alleen de anonimiteit bij de verwerking van de gegevens te garanderen, maar er ook alles aan te doen om de schijn te vermijden dat dit wel eens niet het geval zou kunnen zijn. Vanzelfsprekend is het niet wenselijk dat studenten gevraagd wordt hun e-mail adres op te geven. Maar het kan verleidelijk zijn informatie te vragen die vanuit het perspectief van onderwijskundig onderzoek relevant is (heeft men het tentamen al eerder gedaan, zo ja hoe vaak?). Ook deze vraag moet vermeden worden omdat hij twijfel kan zaaien of de anonimiteit wel gewaarborgd is. 4.5.2.Doel en belang duidelijk maken Een tweede responsverhogende factor is een duidelijke uitleg van het doel van de enquête. In geval van onderwijsevaluaties is dat - uiteraard- onderwijsverbetering, maar daarbij blijft vaak onderbelicht hoe waardevol de oordelen van studenten daarbij zijn. Waardevol, omdat studenten als enige groep betrokkenen het gegeven onderwijs daadwerkelijk ervaren, zodat hun perspectief ook niet overgenomen kan worden door andere betrokkenen. In die zin zijn zij ervaringsdeskundigen die niet gemist kunnen worden. Aanbevolen wordt dat uit te leggen, in samenhang met het verzoek aan de studenten een vragenlijst in te vullen. 4.5.3. Terugkoppeling resultaten en reactie docent Een veelgehoorde klacht van studenten (en mogelijk een oorzaak van een lage respons) is dat zij niet het idee hebben dat hun mening ertoe doet, men ziet zelden of nooit dat er iets verandert als gevolg van de moeite die men heeft genomen om een vragenlijst in te vullen. Met de start van het evalueren via VUnet is een veelbelovend begin gemaakt hier iets aan te doen doordat de studenten zodra de gegevens verwerkt zijn een samenvatting krijgen van de resultaten. Docenten worden geacht daarbij ook een reactie te geven: wat vinden zij van de resultaten en wat stellen zij zich voor ermee te gaan doen. De verwachting is dat naarmate de docent er beter in slaagt duidelijk te maken dat hij de mening van studenten serieus neemt en kan laten zien wat hij wil gaan veranderen, de bereidheid van studenten om vragenlijsten in te vullen zal toenemen.



4.5.4. Hoe groot moet de respons zijn? Van Os en van Beek (2011) 1 komen (o.a. op basis van onderzoek van Nulty (2008) 2) tot de conclusie dat men zich over een lage respons niet veel zorgen hoeft te maken zolang er meer dan 15 respondenten zijn. Het blijft dan mogelijk uitspraken te doen, zelfs over groepen die een veelvoud van 15 zijn. Bij relatief grote groepen is het wenselijk enkele respondenten meer te hebben. Bij een kleine groep kan een lager aantal respondenten volstaan. Onderstaande tabel geeft de relatie weer. Tabel 1: Verhouding tussen aantal cursisten, aanbevolen aantal respondenten en aanbevolen responspercentage (gebaseerd op Nulty, 2008) Aantal cursisten

Aantal respondenten

Respons (%)

10

7

75

20

12

58

30

14

48

40

16

40

50

17

35

60

18

31

70

19

28

80

20

25

90

21

23

100

21

21

Tenslotte: Een “te lage” respons betekent in het algemeen dat het niet verantwoord is te generaliseren naar de totale groep. Dat betekent niet dat de mening van de weinige studenten die de vragenlijst wel hebben ingevuld er helemaal niet toe doet. Als de oordelen van deze weinigen sterk met elkaar overeenkomen, zoals is af te leiden uit frequentieverdeling van de oordelen, wordt de betekenis al sterker. Maar afgezien daarvan: zelfs de mening van één respondent kan voor de docent nuttige of belangrijke of interessante informatie opleveren. Bovendien is het wenselijk elk evaluatieresultaat in zijn context te bekijken en in geval van een lage respons naar een verklaring te zoeken. Aanbevolen wordt dat de docent ook in geval van een ‘te lage’ respons de weinige studenten die wel gereageerd hebben laat weten wat hij van hun feedback vindt.

1

Van Os & Van Beek (2011). De lage respons bij digitale onderwijsevaluaties: een overschat probleem? Tijdschrift voor Hoger Onderwijs 2011 (29) 2

Nulty, D.D. (2008). The adequacy of response rates to online and paper surveys: What can be done? Assessment & Evaluation in Higher Education, 33, 301-314.

HANDBOEK ONDERWIJSKWALITEIT HOOFDSTUK ONDERWIJSEVALUATIE. Versie november 2013

Recommend Documents