Wanneer is een artikel goed en wanneer slecht ?

Een onderzoeker die een artikel schrijft voor een tijdschrift, krijgt te maken met een redactie. Die redactie beslist uiteindelijk of het een goed artikel is (dan wordt het geplaatst) of een slecht artikel (dan wordt het niet geplaatst). Mensen zijn dan snel geneigd aan te nemen dat zo'n redactie bestaat uit wetenschappers die min of meer objectieve normen zouden hanteren. Dat zou mooi zijn.

Een soortgelijk probleem doet zich voor bij het schrijven van een onderzoeksvoorstel dat ingediend wordt met het verzoek om geld voor het uitvoeren van het onderzoek. Deskundige mensen bekijken zo'n voorstel en kennen dan geld toe aan de beste voorstellen. Zo zou het moeten zijn en het zou mooi zijn als het zo was.

Meer in het algemeen zit je als schrijver van een stukje met het probleem dat dat stukje vroeg of laat beoordeeld wordt door iemand. Voor de journalist is dat misschien de hoofdredacteur. Zelfs bloggers zitten met dat probleem, want ook de blogs worden vroeg of laat gelezen en dan beoordeeld. Bij journalisten en bloggers is het duidelijk dat de lezer niet altijd objectieve normen zal en kan hanteren. Maar zou het bij het toekennen van onderzoek-subsidies en wetenschappelijke artikelen veel anders toegaan, vraag ik me af.

Waar wordt zo'n lezersoordeel precies door bepaald? Mensen nemen gemakshalve aan dat er in zo'n lezersoordeel een bepaalde logica zit. Maar is dat wel zo?

Als ik de gedragsanalyse hier op loslaat, krijg ik een veel eenvoudiger plaatje. We hebben 3 soorten stimuli. Positieve, negatieve en neutrale. Positieve zijn OK. Die zoeken we op en we proberen daar dichter bij te komen. Negatieve zijn verkeerd. We reageren daar emotioneel op, voelen ons gefrustreerd, we worden dan snel agressief en we proberen dit soort stimuli op afstand te houden en uit de weg te gaan. Op neutrale stimuli reageren we niet. Artikelen die ons bevallen, bevestigen en die passen bij hoe we denken, zijn goede artikelen. Artikelen die niet overeenstemmen met wat we denken te weten en die ons noodzaken ons standpunt te heroverwegen, zijn slechte artikelen.

NRC Handelsblad van gisteren (3 mei 2007) bevat op p. 7 twee artikelen over het Europafonds van Buitenlandse zaken (Geld BZ vooral naar pro-Europa projecten en Het ondoorgrondelijke Europafonds). Dit fonds dat per jaar 2,5 miljoen Euro besteedt aan subsidies voor Europa-projecten honoreert niet of amper kritische en eurosceptische projecten, aldus deze artikelen. Gewoon slechte voorstellen dus, al die eurosceptische projecten.

Op p. 9 van NRC Handelsblad van die dag is een bijna nog fraaier staaltje van dit principe aan te treffen: Planten stoten geen methaan uit. Nature publiceerde op 12 januari 2006 een artikel van Frank Keppler en andere atmosferische chemici dat methaan-uitstoot onder hogere planten kennelijk heel gewoon is. De plantenfysioloog Tom Dueck c.s. van Plant Research International (Wageningen) besloot deze proeven te repliceren. Zij vonden geen methaan-productie. Behalve dat ze geen methaan-productie waarnemen, merken ze ook nog op: "Uitstoot van methaan door hogere planten in aanwezigheid van zuurstof is volstrekt onlogisch."

Dueck bood het desbetreffende artikel aan aan Nature. Maar Nature had dit resultaat na 3 maanden nog niet gepubliceerd. Nature vond dat Dueck moest bewijzen dat Keppler e.a. een fout hadden gemaakt. Met andere woorden: het artikele van Dueck was niet echt overtuigend, vond Nature. Inmiddels is het artikel van Dueck on-line gepubliceerd in New Phytologist.

Het foute in het artikele van Dueck is dat het voor Nature geen welkom nieuws is. Het argument dat Dueck moet aantonen dat Keppler een fout gemaakt heeft, is natuurlijk onzin, want zijn replicatie laat dat precies zien. Meer dan dat kun je wetenschappelijk gezien niet vragen.

De zaak wordt nog interessanter als je kijkt naar het commentaar dat Thomas Rockmann van de groep van Keppler geeft op het artikel van Dueck c.s. "Zeker is dat zij geen methaan hebben gemeten en wij wel. Anderzijds: zij hebben meer ervaring met planten en gebruiken een goede techniek. Het zou jammer zijn."

Met andere woorden: Thomas Rockmann gelooft onmiddellijk dat zij in het controle-experiment geen methaan hebben gemeten. Dat is heel merkwaardig als je het zelf wel gemeten hebt. Normaal bij chemici is dat zo'n onderzoek op zijn minst tweemaal en zo nodig nog vaker wordt uitgevoerd tot je absoluut zeker bent van de juistheid van je uitkomsten. Maar Thomas is er zeker van dat de andere groep inderdaad geen methaan gemeten heeft. Verder geeft hij ook nog eens aan dat hun groep minder ervaring met planten en mogelijk een minder goede techniek gebruikt heeft. Kortom, hij geloofde het eigen verhaal ook maar half.

Waarom dan toch publiceren? Wel, publicaties en zeker in Nature tellen! Dus, waarom zou je niet publiceren? Jammer, dat het 'bedrog' zo snel uitkomt, vindt hij. Kennelijk had hij de ontmaskering al verwacht, maar het blijft voor hem 'jammer'. Ook al is het onderzoek van Dueck op alle punten beter, hij blijft het artikel van Dueck c.s. negatief evalueren.

Een gevolg van dit mechanisme is natuurlijk wel dat zowel onderzoekers als journalisten alle informatie die de lezers niet leuk vinden, proberen te mijden. Want het moet allemaal natuurlijk wel leuk en gezellig blijven.