Wagelmans and Paap on Elsevier University Rankings, October 2008
Albert Wagelmans en Richard Paap, 22 oktober 2008
Net als in voorgaande jaren ontvingen we deze zomer het verzoek
van ResearchNed om mee te werken aan de Elsevier Faculty Rating die
deze maand gepubliceerd is in het themanummer Studeren van het weekblad
Elsevier. Uiteraard zijn we geïnteresseerd in de kwaliteit van het
hoger onderwijs en we leveren graag een bijdrage aan het transparanter
maken van die kwaliteit. Het invullen van de vragenlijst zou slechts 10
minuten kosten. Toch hebben we niet meegedaan.
“De Beste
Universiteiten” staat er ook dit jaar weer boven het artikel waarin het
weekblad de resultaten van de enquêtes, die worden uitgevoerd door
ResearchNed, presenteert(1). Daarmee wordt meteen al
duidelijk dat het weekblad pretendeert op basis van enquêtes te kunnen
komen tot een rangschikking van universiteiten en opleidingen. De
aanpak die gevolgd wordt, is dat men zowel studenten als hoogleraren en
hoofddocenten ondervraagt. Studenten beoordelen hun eigen opleiding
door voor allerlei aspecten rapportcijfers te geven. Vervolgens worden
de opleidingen gerangschikt op basis van gemiddelde cijfers en hieruit
zou dan bijvoorbeeld volgen welke universiteit de beste
economieopleiding aanbiedt. Wie hierover wat langer nadenkt, zal echter
wel wat haken en ogen zien. Ten eerste wordt op deze manier niet zozeer
de kwaliteit van opleidingen gemeten maar de mate van tevredenheid van
studenten. Iedereen die in het onderwijs werkt, zal beamen dat die
begrippen niet verward moeten worden. Een tweede bezwaar is dat
studenten alleen hun eigen opleiding beoordelen en dat de resultaten
daarom niet zomaar mogen worden gebruikt om opleidingen te vergelijken,
laat staan te rangschikken. Verschillen in oordelen ten aanzien van
bepaalde aspecten zouden namelijk weleens te verklaren kunnen zijn uit
verschillen in de samenstelling van de studentenpopulatie (denk
bijvoorbeeld aan het percentage studenten van allochtone afkomst). Het
zou zelfs zo kunnen zijn dat opleidingen die veel nadruk leggen op het
aanbrengen van een kritische attitude alleen al daardoor lagere cijfers
krijgen van hun studenten dan opleidingen waarin dit aspect nauwelijks
aan bod komt.
Ook Elsevier realiseert zich dat studenten
geen vergelijking kunnen maken met opleidingen aan andere
universiteiten. Daarom worden naast de studentenoordelen ook de
zogenaamde hooglerarenoordelen (oordelen van zowel hoogleraren als
universitair hoofddocenten) gepubliceerd, want “hoogleraren … kunnen
universiteiten op hun eigen vakgebied wel vergelijken, zeker als het
gaat om het wetenschappelijk niveau van de staf. Dat is waar
hoogleraren het eerst op letten.” Tot zover wat ons betreft geen
probleem. Inderdaad zijn de wetenschappelijke prestaties van collega’s
uit binnen- en buitenland goed zichtbaar. Hun artikelen verschijnen in
wetenschappelijke tijdschriften die we allemaal lezen en we komen ze
tegen op allerlei congressen. Dit betreft echter hun
onderzoeksactiviteiten. Kijken we naar de vragenlijst van de Elsevier
Faculty Rating dan is de kwaliteit van de wetenschappelijke publicaties
slechts één van de vier aspecten die beoordeeld moeten worden.
De andere drie aspecten hebben betrekking op onderwijs, te weten de
samenstelling van het bachelorprogramma, het aanbod van de
masteropleidingen en de kwaliteit van de docenten. Van deelnemende
hoogleraren en uhd’s wordt gevraagd de Nederlandse opleidingen in hun
vakgebied te beoordelen door voor elk van de vier aspecten aan te geven
welke universiteit naar hun oordeel het beste presteert. De enige
beperking is dat niet op de eigen universiteit gestemd mag worden.
Wij durven te stellen dat de meeste hoogleraren en uhd’s niet in staat
zijn om een gefundeerd oordeel te geven over de genoemde
onderwijsaspecten. De reden hiervoor is simpelweg dat ze geen goed
zicht hebben op hoe de programma’s en opleidingen van andere
universiteiten ingericht zijn en hoe docenten aan andere universiteiten
presteren. Om een goed oordeel te vormen over de bachelorprogramma’s en
masteropleidingen moeten deze (allemaal!) in detail bestudeerd worden.
Zelfs als deze informatie voor een buitenstander gemakkelijk
toegankelijk is (wat vaak al niet het geval is), vergt dit een
aanzienlijke inspanning. Uit onze ruime ervaring met
opleidingsmanagement aan de ESE is gebleken dat docenten vaak zelfs van
hun eigen opleiding geen volledig beeld hebben en opleidingsmanagers
van onze zusterfaculteiten bevestigen dat de situatie bij hen niet
anders is. Het is dus onwaarschijnlijk dat men opleidingen en
programma’s van andere universiteiten goed genoeg kent om ze te
beoordelen. Evenzo zal men zelden in staat zijn een oordeel te geven
over de kwaliteit van de docenten aan andere universiteiten. Wie denkt
dat de kwaliteit van docenten direct kan worden afgeleid uit de wijze
waarop ze wetenschappelijke lezingen geven tijdens seminars en
congressen moeten we helaas teleurstellen: het gaat hier om twee
activiteiten met verschillende doelgroepen die op een geheel andere
wijze benaderd, bespeeld en begeleid moeten worden. Daarom zal het voor
de beoordeling van doceerprestaties op andere universiteiten toch
tenminste nodig zijn dat onderwijsactiviteiten zoals colleges worden
bijgewoond. Het is zeer onwaarschijnlijk dat hiervoor tijd wordt
vrijgemaakt. Wij hebben tot nu toe in ieder geval geen hoogleraren van
zusterfaculteiten in onze collegebanken mogen begroeten. Toch deden dit
jaar weer ongeveer 2.400 hoogleraren en uhd’s mee aan de Elsevier
Faculty Rating. Blijkbaar achten die zichzelf wel in staat om de
gevraagde oordelen te geven. En wie zijn wij dan om daar aan te
twijfelen? Laten we daarom deze oordelen eens als gegeven beschouwen.
Dan hebben we er toch nog steeds moeite mee dat op basis van de
oordelen van de respondenten een rangschikking wordt gemaakt en er weer
“beste” opleidingen en universiteiten worden aangewezen. De methode die
hierbij wordt gehanteerd is de volgende: voor bijvoorbeeld de
economieopleiding van de ESE wordt geteld hoe vaak deze door de
respondenten is genoemd als beste bij één van de vier aspecten.
Vervolgens wordt dit aantal gedeeld door het maximaal aantal te
ontvangen stemmen, dat berekend wordt door het totaal aantal
uitgebrachte stemmen (d.w.z. voor alle economieopleidingen) te
verminderen met het aantal uitgebrachte stemmen door hoogleraren en
uhd’s van de ESE (men mag immers niet op de eigen opleiding stemmen).
De deling van de twee grootheden geeft de score van de
economieopleiding van de ESE en deze kan vergeleken worden met de
analoog berekende scores van andere economieopleidingen. De opleiding
met de hoogste score wordt uitgeroepen tot “de beste” in het
hoogleraarsoordeel. Maar is dit laatste zinnig? Beschouw het volgende
voorbeeld.
Veronderstel dat er vijf universiteiten (A tot en
met E) zijn met een economieopleiding en dat er van iedere universiteit
één hoogleraar is die een oordeel geeft over de andere universiteiten.
In de kolommen van onderstaande tabel staan mogelijke oordelen van de
kwaliteit van de opleidingen volgens de vijf hoogleraren gerangschikt
van beste (1) tot slechtste (4) opleiding. Volgens de wijze waarop
Elsevier rangschikt heeft universiteit A de beste opleiding aangezien
twee hoogleraren deze opleiding het beste vinden. Universiteit E is het
slechtste aangezien geen enkele hoogleraar deze universiteit als de
beste beschouwt. Wanneer we echter kijken naar de gemiddelde rang over
de hoogleraren dan zien we dat universiteit E de beste (laagste)
gemiddelde rang heeft. Universiteit A staat dan op de derde positie.
Met andere woorden, een iets andere – in onze ogen even (on)redelijke –
wijze van rangschikken kan leiden tot geheel andere “beste
universiteiten”.
| Rangorde in kwaliteit volgens hoogleraar van Universiteit | Elsevier Score | Gem. Rang |
A | B | C | D | E |
Univ.A | - | 4 | 1 | 4 | 1 | 0.50 | 2.50 |
Univ.B | 1 | - | 3 | 3 | 2 | 0.25 | 2.25 |
Univ.C | 3 | 3 | - | 1 | 4 | 0.25 | 2.75 |
Univ.D | 4 | 1 | 4 | - | 3 | 0.25 | 3.00 |
Univ.E | 2 | 2 | 2 | 2 | - | 0.00 | 2.00 |
Dat Elsevier en ResearchNed zich blijkbaar niet goed realiseren wat de
consequenties zijn van de door hen gevolgde methodiek, mag ook blijken
uit de volgende bewering: “Niet stemmen, in de hoop dat de eigen
universiteit naar verhouding meer stemmen ontvangt, levert geen
voordeel op.” Het volgende voorbeeld laat echter zien dat niet stemmen
wel degelijk de eigen universiteit kan bevoordelen.
| Universiteit | Gestemd |
| A | B | C | Niet | Wel |
Univ. A | - | 0 | 0 | 20 | 0 |
Univ. B | 11 | - | 8 | 1 | 19 |
Univ. C | 9 | 9 | - | 2 | 18 |
score | 0.54 | 0.50 | 0.42 | |
In de tabel hierboven beschouwen we een situatie van drie
universiteiten (A,B,C) waarbij er bij iedere universiteit 20 potentiële
hoogleraren zijn die kunnen stemmen voor de beste universiteit.
Veronderstel dat geen van de hoogleraren van universiteit A meedoet.
Bij universiteit B stemmen 11 hoogleraren voor A, 8 voor C en 1
hoogleraar stemt niet. Bij universiteit C stemmen 9 hoogleraren voor A
en B en onthouden 2 hoogleraren zich van stemmen. Op basis van de
methodiek van Elsevier betekent dit dat universiteit A de beste score
heeft (20/37). Stel nu dat een aantal hoogleraren van universiteit A
alsnog besluit te stemmen en wel op universiteit B. Wanneer dit aantal
groter is dan 2, zal universiteit A haar leidende positie verliezen. In
onderstaande tabel is de situatie te zien in het geval 5 hoogleraren
van universiteit A op universiteit B stemmen. Universiteit B heeft nu
de beste score (14/23).
| Universiteit | Gestemd |
| A | B | C | Niet | Wel |
Univ. A | - | 5 | 0 | 15 | 5 |
Univ. B | 11 | - | 8 | 1 | 19 |
Univ. C | 9 | 9 | - | 2 | 18 |
score | 0.54 | 0.61 | 0.33 | |
Goed nieuws dus voor al onze collega-hoogleraren. Die hoeven zich
voortaan niet meer te verdiepen in de programma’s en opleidingen van
andere universiteiten. Ook is het voortaan niet meer nodig dat ze zich
persoonlijk op de hoogte gaan stellen van de doceerprestaties van hun
collega’s elders in het land. Evenmin hoeven ze voor te wenden dat ze
dit allemaal gedaan hebben, terwijl dat niet zo is. Net als wij kunnen
ze alle tijd die daarmee bespaard wordt steken in (nog) beter
onderwijs. En tegelijkertijd dragen ze wellicht bij aan een verbetering
van de score van hun eigen universiteit in de Elsevier Faculty Rating!
Albert P.M. Wagelmans is hoogleraar Management Science en directeur van het Econometrisch Instituut.
In de periode 2001-2006 was hij directeur van de bachelor- en
masteropleidingen Econometrie & Besliskunde (Econometrics &
Management Science). Vanaf 2005 was hij tevens opleidingsdirecteur
Economie & Informatica (Economics & Informatics). |
Richard
Paap is bijzonder hoogleraar Econometrie & Marketing bij het
Econometrisch Instituut aan de Erasmus School of Economics. Hij is bovendien coördinator van het bachelorprogramma Econometrie & Besliskunde. |
Terug naar
Econometrics in the Netherlands, Belgium and Luxembourg (Benelux)