08 Mar

Times Reputation Ranking: vooroordelen op een rijtje

(Deze blogpost verscheen eerder op bkbacademie.nl)

Het doel van universiteitsrankings is heel aardig: het objectief vaststellen van de kwaliteit van universiteiten om studenten te informeren en verbetering te stimuleren. Helaas is de methodologie dubieus, de data onbetrouwbaar en de presentatie op zijn minst bombastisch. Met de maandag gepresenteerde World Reputation Ranking van Times Higher Education (THE) wordt een nieuw dieptepunt bereikt: door reputatie vast te leggen in een ranking wordt subjectiviteit het hoogste criterium en lopen we hopeloos achter de feiten aan.

Enquête

De World Reputation Rankings worden dit jaar voor de derde maal gepubliceerd en zijn gebaseerd op een enquête onder academici over de hele wereld. Iedere academicus mag 15 instituten binnen het eigen vakgebied aanwijzen als “de beste ter wereld”. Er is een aparte top 15 voor het eigen continent en de hele wereld, evenals voor onderzoek en onderwijs. Een onderzoeker mag bijvoorbeeld de beste 15 universiteiten op het gebied van filosofie binnen Europa en in de hele wereld voor zowel onderzoek als onderwijs aangeven.

Het is onwaarschijnlijk dat een wetenschapper wereldwijd voldoende contacten heeft om (uit een grotere poule) de 15 beste universiteiten in zijn vakgebied aan te wijzen. Een vakgebied als “filosofie” is veel te groot om te overzien. Om naast onderzoekskwaliteit ook nog de onderwijskwaliteit op andere instituten in te schatten, is helemaal onmogelijk. Het gros van de wetenschappers heeft op hooguit 3 universiteiten daadwerkelijk vakken gevolgd.

Vooroordelen

De meest invloedrijke bron voor de wetenschapper voor de kwaliteit van universiteiten is wellicht niet zijn ervaring, maar de afgelopen edities van de reguliere Times Higher Education Ranking. De rankings genieten wereldwijd enorme bekendheid en worden door universiteiten gretig aangehaald wanneer men hoog scoort. Dit leidt er ongetwijfeld toe dat de reputatie van universiteiten – ook onder wetenschappers – niet meer dan een benadering van de eerdere rankings is.

Het doel van een ranking wordt hiermee dus overboord gegooid: in plaats van harde data zijn ingesleten vooroordelen het criterium. Een verrassende uitslag van de Reputation Ranking hoef je dan ook niet te verwachten: Harvard en MIT, ook bij de leek bekend als de beste universiteiten ter wereld, staan dit jaar voor de derde keer bovenaan. Terwijl in de reguliere THE ranking al twee jaar Calltech bovenaan staat, woekert het aloude idee dat Harvard de beste is dankzij de Reputation Ranking dus gewoon door.

Misschien is het tijd voor een ranking der rankings: de THE Reputation Ranking zou er niet hoog scoren.

(Deze blogpost verscheen eerder op bkbacademie.nl)

Afbeelding: Reality-check.