Slechte scores I

"RUG gaat slechte scores aanpakken" kopt de UK van 12 oktober op de voorpagina. In de Keuzegids Hoger Onderwijs scoort communicatiewetenschappen slecht. "Een laatste plaats kan gewoon niet", zegt de voorzitter van het RUG-bestuur Simon Kuiper. "We zullen het met hen (de betrokken studierichtingen) opnemen en er werk van moeten maken."

In de volgende UK (19 oktober 2006) reageert Kees de Glopper (hoogleraar Nederlandse Taalbeheersing) daarop met een ingezonden brief. Hij vindt het onderzoek waarop de Keuzegids zich baseert in methodologisch opzicht tekortschieten.

Hij merkt o.a. op: "Dat Kuipers deze ranglijstjes zo serieus neemt, is verbazend. Choice, het Leidse Centrum Hoger Onderwijs Informatie dat de enquêtes voor de Keuzegids uitvoert en rapporteert, geeft zelf toe dat zijn rapportcijfers strikt genomen geen vergelijkend oordeel vormen: de meeste studenten kennen immers alleen hun eigen opleiding."

Op dit moment wil ik niet ingaan op de methodologische problemen van het Choice-onderzoek. Mijn grootste probleem is dat onduidelijk blijft, hoe Choice precies aan haar steekproef komt en hoe groot die is.

Maar ook bij onderzoek van de Consumentenbond kun je vaak en terecht de nodige methodologische kanttekeningen plaatsen. Ook daar gebeuren veel onduidelijke dingen waarvan je je als methodoloog afvraagt of het niet beter kan. Maar ondanks al die methodologische bezwaren heeft dat onderzoek wel impact en je kunt er donder op zeggen dat het met dit onderzoek precies zo zal zijn. Want dit onderzoek is er en ligt in de kiosk en de methodologische bezwaren van Kees de Glopper liggen daar niet. En wanneer ze daar wel zouden liggen, is het nog heel erg de vraag of mensen daar echt van onder de indruk zouden zijn. Bij onderzoek is het nu eenmaal zo dat een onderzoek waar wat op aan te merken valt, meestal toch nog informatiever is dan geen onderzoek of als zodanig wordt opgevat.

Er zit ook een communicatiekundige kant aan deze reactie. Binnen de communicatiekunde is men het lang niet altijd met elkaar eens. Maar over één ding zijn de communicatiekundigen het wel behoorlijk eens. Bij crisis-management moet je het probleem nooit ontkennen, maar altijd serieus nemen. Wanneer er allemaal kinderen misselijk worden na het drinken van jouw cola, is er vermoedelijk met jouw cola niets aan de hand en is het fenomeen gewoon verklaarbaar als een vorm van massahysterie. Maar als cola-fabrikant is dat het domste dat je kunt zeggen. Het publiek redeneert: waar rook is, is vuur. Men ziet rook en jij zegt: "Er is niets aan de hand." Dat gelooft dus niemand ook al heb je vermoedelijk volledig gelijk.

Wat je moet doen, is onmiddellijk alle cola terugroepen. Advertenties plaatsen dat het publiek de cola beter terug kan brengen. De teruggeroepen cola laten onderzoeken en daarna in aanwezigheid van de pers vernietigen. Wat er dan bij het publiek blijft hangen, is dat je een colafabrikant bent, die adequaat reageert. Die bezorgd is over de veiligheid van de consument. Op die manier verander je de crisis in een stuk positieve reclame voor jezelf.

In de UK van 2 november 2006 doet emeritus-hoogleraar Wim Hofstee in feite precies deze suggestie. Ook al ben je misschien van plan er helemaal niets aan te doen, wek naar buiten toe in ieder geval de indruk dat je de zaak diepgaand gaat onderzoeken.

In zijn ingezonden brief doet Wim Hofstee ook de aanval op het Choice-onderzoek nog eens dunnetjes over door te stellen dat rangordes psychometrisch onbetrouwbaar zijn. Het zou voldoende zijn om helemaal niets te doen en gewoon te wachten. Door die onbetrouwbaarheid zal de score volgend jaar immers vermoedelijk totaal anders uitvallen. Inderdaad: rangordes kunnen onbetrouwbaar zijn, maar... ze hoeven dat niet altijd te zijn. (Dat hangt namelijk vooral af van de grootte van de verschillen tussen de deelnemers.)

In de Keuzegids Hoger Onderwijs kunnen we bijvoorbeeld lezen dat Toegepaste Communicatie van de Universiteit Twente opnieuw "net als in de voorgaande jaren" als beste uit de bus komt. Wanneer we de eerste keer als toeval beschouwen, is de kans dat dat daarna opnieuw 2x gebeurt in dit geval 1/9x1/9=1/81 of afgerond 1%. Dat is een beetje erg veel toeval. Ook kunnen we lezen in de Keuzegids dat van alle CIW-opleidingen Tilburg "wederom" de beste papieren heeft. Nog meer toeval dus!

In de analyse die ik van de gegevens in de Keuzegids gemaakt heb (zie hieronder) scoort de hoogstscorende opleiding (Enschede UT) voor WO Communicatie op de 10 onderzochte aspecten: 6 keer '++', 3 keer '+' en 1 keer '-'. Opnieuw wat erg veel toeval dus.

De slechtst scorende opleiding (Nijmegen RU Communicatiewetenschap) heeft daarentegen erg veel pech: 6 keer '--', 3 keer '-' en 1 keer '+/-'. Opnieuw dus akelig veel toeval.

In verhouding daarmee doet Groningen RUG (CIW) het nog niet zo slecht: 2 keer '--', 1 keer '-' en 7 keer '+/-'.

Maar het punt waar het mij eigenlijk om gaat, is: kunnen we uit deze gegevens iets leren over de sterke en zwakke punten per opleiding?

De Keuzegids Taal en Communicatie geeft op blz. 56 de gezochte tabel voor 4 opleidingen Communicatiewetenschap (CW) en voor 5 opleidingen Communicatie- en Informatiewetenschappen (CIW). Al deze 9 opleidingen zijn aan instellingen van het WO (universiteiten). De eerste groep opleidingen (de CW-studies) is bij de sociale wetenschappen. De tweede groep (de CIW-studies) is bij de letterenfaculteiten. De eerste groep ziet communicatiekunde vooral als een sociale wetenschap, de tweede groep is geneigd het meer als een kwestie van taal te zien.

De onderzochte opleidingen met daarachter het op 1decimaal afgeronde gemiddelde voor de 10 onderzochte aspecten:
1. Enschede UT (CW) ---------- 7.2
2. Tilburg UvT (CIW) --------- 7.1
3. Amsterdam UvA (CW) -------- 7.1
4. Amsterdam VU (CW) --------- 7.0
5. Amsterdam VU (CIW) -------- 7.0
6. Utrecht UU (CIW) ---------- 7.0
7. Nijmegen RU (CIW) --------- 7.0
8. Groningen RUG (CIW) ------- 6.9
9. Nijmegen RU (CW) ---------- 6.6


Bij het interpreteren van de tabel uit de Keuzegids doet zich het probleem voor dat je een opleiding het beste kunt vergelijken met alle overige opleidingen. Daarvoor moet je echter het gemiddelde hebben dat per aspect verschilt. Dit gemiddelde ontbreekt in de tabel die daardoor moeilijk interpreteerbaar wordt. Ik heb daarom die gemiddelden berekend. Dit leverde de volgende reeks (in de volgorde waarin ze in de tabel van de keuzegids staan). (De kopjes 'keuzeruimte' en 'samenhang' zijn in de oorspronkelijke tabel per ongeluk omgewisseld blijkens een mededeling op blz. 7 van de gids; ik heb ze hier correct weergegeven.)

Gemiddelden per aspect over alle 9 opleidingen met de bijbehorende SD.
---------------------------------------------------
inhoud -------------- 7.10 ------- 0.17*
keuzeruimte --------- 7.14 ------- 0.56
samenhang ----------- 6.92 ------- 0.12*
werkvormen ---------- 6.71 ------- 0.15
vb. loopbaan -------- 6.48 ------- 0.32
docenten ------------ 7.31 ------- 0.17*
communicatie -------- 6.58 ------- 0.34
studeerbaarheid ----- 7.07 ------- 0.21
gebouwen ------------ 6.98 ------- 0.27
faciliteiten -------- 7.36 ------- 0.24
TOTAAL -------------- 6.96 ------- 0.18
---------------------------------------------------
*SD's die in de buurt van de 0.10 komen, leveren mogelijk onbetrouwbare uitkomsten in de hierna volgende beoordelingen. Zie hiervoor de volgende notitie.



Een volgend probleem is dat je een maat moet hebben voor de grootte van een verschil. Gebruikelijk is daarvoor de standaarddeviatie (SD) te gebruiken. Omdat het in dit geval gaat om verschillen tussen onderwijsinstellingen leek het zinvol per aspect van de tabel de SD te berekenen. Gebruikelijk is dan om de afwijking van het gemiddelde uit te drukken (d.w.z. te delen door) de SD. De gevonden afwijkingen van het gemiddelde uitgedrukt in SD's zijn vervolgens volgens onderstaande tabel vertaald in eenvoudig interpreteerbare beoordelingen. Hierbij zijn als grenswaarden genomen 0.40 en 1.00.

afwijking in SD's .... beoordeling ten opzichte van gemiddelde
-------------------------------------------------
tussen -0.40 en +0.40 .... +/- .... gemidddeld
0.40 tot 1.00 ............ + ...... beter
-0.40 tot -1.00 .......... - ...... slechter
+1.00 en hoger ........... + + .... veel beter
-1.00 en lager ........... - - .... veel slechter
--------------------------------------------------


Ik geef eerst de beoordelingen voor de CIW-opleidingenvan de letteren-faculteiten.


................ UvT ... VU .... UU ... RU .... RUG
---------------------------------------------------
inhoud .......... + .... + ..... +/- ... - .... - -
keuzeruimte ..... +/- .. +/- ... + ..... + .... +/-
samenhang ....... + .... - ..... - - ... - - .. +/-
werkvormen ...... - .... +/- ... + + ... + .... +/-
vb. loopbaan .... +/- .. +/- ... +/- ... +/- .. +/-
docenten ........ + + .. +/- ... + ..... +/- .. -
communicatie .... +/- .. +/- ... -/- ... +/- .. +/-
studeerbaarheid . + + .. + ..... - ..... +/- .. - -
gebouwen ........ + + .. +/- ... - - ... - - .. +/-
faciliteiten .... + + .. - ..... + ..... +/- .. +/-
TOTAAL .......... + .... +/- ... +/- ... +/- .. -
--------------------------------------------------
In deze tabel is geen rekening gehouden met afwijkingen door steekproeffluctuaties. Zie daarvoor de notitie Scores III op deze blog hierboven.



In de bovenstaande tabel zien we dat de CIW-opleiding van de RUG veel slechter dan gemiddeld scoort op inhoud en op studeerbaarheid. Verder scoort ze slecht op docenten. De overige aspecten zijn gemiddeld.


Hieronder geef ik de beoordelingen van de CW-opleidingen van de sociale wetenschappen.

................ UT ...... UvA ...... VU ..... RU
---------------------------------------------------
inhoud* ......... - ....... + ....... + ...... -
keuzeruimte ..... + + ..... +/- ..... +/- .... - -
samenhang* ...... + + ..... +/- ..... + ...... +/-
werkvormen ...... + ....... - ....... +/- .... - -
vb. loopbaan .... + ....... + + ..... +/- .... - -
docenten* ....... + + ..... - - ..... +/-..... - -
communicatie .... + ....... + + ..... +/- .... - -
studeerbaarheid . + + ..... +/- ..... + ...... -
gebouwen ........ + + ..... +/- ..... +/- .... -
faciliteiten .... + + ..... +/- ..... - ...... - -
TOTAAL .......... + + ..... + ....... +/- .... -
-------------------------------------------------
In deze tabel is geen rekening gehouden met afwijkingen door steekproeffluctuaties. Zie daarvoor de notitie Scores III op deze blog hierboven.



De Universiteit Twente scoort op alle onderdelen beter of veel beter dan gemiddeld behalve op het punt inhoud. Daar scoort ze slechter op dan gemiddeld.

Samenvattend. Ik zie wel wat problemen op methodologisch gebied met het Choice-onderzoek. Het punt dat me het onduidelijkst is, is de herkomst en de grootte van de steekproef waarop men zich baseert. Maar het idee dat het hele Choice-onderzoek volstrekt onbetrouwbaar zou zijn, lijkt me wat erg sterk gesteld. Wanneer het Choice-onderzoek inderdaad gebaseerd is op een redelijke steekproef biedt het juist interessant vergelijkingsmateriaal dat de betrokken studierichtingen kunnen gebruiken om hun onderwijs gericht te verbeteren.

Kortom: het is zo als Simon Kuiper stelt. Het is tijd om in actie te komen.