Testimonials zonder effect?

Soms doe je keurig onderzoek en komt er ogenschijnlijk toch niet zo veel uit. Dat lijkt Judith Huitenga met haar bachelorscriptie te zijn overkomen. De verleiding is dan groot alles in het archief te zetten en er verder geen aandacht aan te besteden. Dat is jammer, omdat je op die manier eigenlijk nooit leert van de dingen die er misschien net niet helemaal goed gingen.

In de bachelorscriptie van Judith Huitenga staan testimonials centraal. Een testimonial is een verklaring (een getuigenis) van een persoon dat het produkt uit de advertentie de moeite waard is. Als iemand wordt het liefst een bekend persoon met een zekere status gebruikt, b.v. een filmster, bekende sporter, etc. Maar het is ook mogelijk een onbekend iemand te gebruiken, die als deskundige wordt opgevoerd. Niemand kent mijnheer Pieterse, maar hij is wasmachine-reparateur en zegt: betere wasmachines dan deze (van merk X) zijn er niet.

Huitenga gebruikt een zelfgemaakte koffie-advertentie die ze voorlegde aan 100 studenten. De onafhankelijke variabelen in haar onderzoek waren: status (hoog/laag) en bekendheid (hoog/laag). Daarnaast had ze een controleconditie zonder testimonial zodat ze als onafhankelijke variabele ook de aanwezigheid (wel/niet) van een testimonial had.

Van de zelfgemaakte koffie-advertentie waren er 5 verschillende versies. De vraag waar het om ging was of status verantwoordelijk is voor het testimonial-effect of bekendheid of dat de combinatie van die twee (de interactie) vooral goed werkt.

Advertentie versie 1 had een fotootje van Jan-Peter Balkenende met de tekst: Ook minister-president Jan-Peter Balkenende drinkt BioBio-koffie: "De dag begint voor mij met een kopje biobio-koffie. Dat geeft mij een goed gevoel." (Status: hoog, bekendheid: hoog)

Versie 2 was dezelfde advertentie maar dan met een fotootje van Conny Breukhoven en de tekst: Ook zakenvrouw Conny Breukhoven drinkt BioBio-koffie, etc. (Status: laag, bekendheid: hoog).

Versie 3 was de advertentie met een foto en overeenkomstige tekst voor Minister van Ontwikkelingswerk Agnes van Ardenne (Status: hoog, bekendheid: laag).

Versie 4 was de advertentie maar dan met Junior Consultant Esther van Gerven, een leuk maar onbekend meisje (Status: laag, bekendheid: laag).

Versie 5 had op de plek van de testimonial een fotootje van een kop koffie met de tekst: Begin de dag met een kopje BioBio-koffie. Dat geeft u een goed gevoel! Deze conditie was bedoeld om na te gaan of de 4 testimonials wel een effect sorteerden ten opzichte van deze controle-conditie.

De 5 versies werden aselect aan de respondenten toegewezen. Uit een vooronderzoek was al bekend dat voor de testimonials gebruikte personen inderdaad wel of niet bekend waren en wel of niet als hoog in status werden gezien.

Omdat er gewerkt werd, met een betrekkelijk klein aantal proefpersonen (20 per conditie), werd getracht de verschillen in mate van positief/negatief reageren tussen de proefpersonen te meten via een voormeting: advertentie 1. Deze advertentie was dus voor alle condities hetzelfde. (De advertentie die dus per conditie verschilde was advertentie 2.) Advertentie 1 was ook weer een zelfgemaakte advertentie voor BioBio-koffie.

Als methode om te bepalen wat men vond van de advertenties, gebruikte Huitenga een open methode. De proefpersoon werd gevraagd om gedurende 2 minuten alle gedachten op te schrijven die de advertentie opriep. Dit moest dus eerst voor advertentie 1 gedaan worden en daarna nog een keer voor advertentie 2. Deze associaties zijn vervolgens door 4 beoordeelaars beoordeeld als 'positief', 'negatief' en 'neutraal.

Deze 3 categorieën zijn per beoordeelaar samengevat in 2 getallen: het totaal aantal reacties en de proportie positieve reacties min de proportie negatieve reacties. Vervolgens zijn deze 2 getallen gemiddeld over de 4 beoordeelaars.

De beoordeling van het aantal reacties leverde een gemiddelde onderlinge beoordeelaarscorrelatie van .44 en .37. De overeenkomstige coëfficiënten alfa waren .73 en .70.

De beoordeling van het verschil tussen de proportie positieve en negatieve reacties leverde gemiddelde beoordeelaarscorrelaties van 0.70 en 0.79 met alfa's van 0.90 en 0.93 voor 4 beoordeelaars. Op basis van deze beoordelingen kon dus in ieder geval het verschil in de proportie positieve-negatieve reacties goed vastgesteld worden.

Hoewel advertentie 1 bedoeld was om iets te zeggen over de mate waarin een persoon dit soort advertenties positief beoordeelde, bleek (de proportie positief-negatief van) advertentie 1 niet te correleren met de overeenkomstige beoordeling van advertentie 2. De correlatie was 0.09 (p= 0.36 2-zijdig, N=100). De voormeting had dus achteraf gezien geen nut.

Wel was er een duidelijk verband tussen de totale hoeveelheid reacties. Respondenten die bij advertentie 1 veel reacties leverden deden dat ook bij advertentie 2 (r=0.53, p=0.00, N=100). Maar dit lijkt op zich niet zo verwonderlijk. Mensen die gemakkelijk wat associaties opdenken de eerste keer, doen dat de tweede keer weer gemakkelijk.

Uit de statistische analyse (variantie-analyses zowel 2x2 als 1x5 en een covariantie-analyse) bleken geen significante effecten vindbaar (op 5% tweezijdig). Doe je een keurig onderzoek en komt er niets significants uit.

Hoe kan dat? Achteraf is het makkelijk praten. De meest waarschijnlijke opties geef ik hierna.

1. Uit de statistische resultaten blijkt duidelijk dat de voormeting niet correleert met de hoofdmeting en dus in feite niet goed werkt. Vermoedelijk hebben de respondenten het na die eerste advertentie wel gehad. De tweede advertentie lijkt daar zo sterk op, dat het moeilijk is die opnieuw onbevangen tegemoet te treden na die 2 minuten vrij associëren.

2. Een probleem dat vooraf al redelijk duidelijk was, was dat de groepen in verhouding tot het effect waar het om gaat, te klein zijn. In dit geval zou je naar verwachting minstens een 100 personen per conditie moeten kunnen gebruiken om de kleine verschillen nog als significant aan te tonen.

3. De zelfgemaakte advertentie 2 is -- achteraf gezien -- vrij vol. Bovenin, in de rechterhoek 3 kleine fotootjes van koffieboeren. Een heel stuk tekst in de midden. Onderin de testimonialfoto met de testimonial tekst, daarna nog weer gevolgd door 'De dag begint voor mij met een kopje biobio-koffie. Dat geeft mij een goed gevoel.' Dit alles op een bonte achtergrond van koffiebonen die van dichtbij zijn gefotografeerd. In deze drukte is de testimonial mogelijk wat ondergaan en niet al te nadrukkelijk in beeld gekomen.

4. Het kan zijn dat de open meetmethode (het opschrijven van associaties in reactie op de advertentie) niet goed werkt. Het zou b.v. kunnen dat de eerste associatie bepalend is voor de volgende associaties en dat daardoor het effect van de advertentie in de associaties snel verdwijnt. Het zou kunnen dat iets dergelijks bij een gesloten vragenlijst minder sterk optreedt.

Kortom, meer vragen dan antwoorden. Stof voor vervolgonderzoek! Dank zij Huitenga kan het vervolgonderzoek net weer iets beter en slimmer vormgegeven worden dan zonder haar bijdrage mogelijk zou zijn geweest.

Meer mensen in sociaal isolement?

Op de blogs van NRC Handelsblad vind ik:

-------------------------
zondag 25 juni 2006 door Marie-José Klaver

Amerikanen zeggen minder vriendschappelijke contacten te onderhouden dan twintig jaar geleden. Dat blijkt uit het onderzoek Social Isolation in America: Changes in Core Discussion Networks Over Two Decades (PDF) van sociologen van Duke University en de University of Arizona. Bijna een kwart van de deelnemers aan het onderzoek zegt weinig mensen te kennen met wie ze belangrijke en vertrouwelijke dingen kunnen bespreken. Dat is bijna twee keer zoveel als in 1985, toen hetzelfde onderzoek werd uitgevoerd. De oorzaak voor het afnemen van sociale contacten is volgens de onderzoekers dat mensen veel tijd op het werk en op internet doorbrengen. “Deze veranderingen zijn slecht voor onze samenleving. Het hebben van nauwe banden met anderen zorgt voor een vangnet”, aldus Lynn Smith-Lovin, hoogleraar sociologie aan de Duke University. De onderzoekers tekenen wel aan dat de resultaten van het onderzoek misschien vertekend zijn omdat communicatie tegenwoordig voor een belangrijk deel digitaal verloopt. Nieuwe communicatiemiddelen als MSN en e-mail zijn niet in het onderzoek opgenomen.
-------------------------

Het oorspronkelijke onderzoek is via een link als PDF-bestand down te loaden. Wat wil een mens nog meer.

Wanneer het bericht juist is en het verschil niet kan worden toegeschreven doordat er in het onderzoek iets fout is gegaan (de laatste zin zou daarop kunnen wijzen) dan zou het best vrij ernstig zijn, lijkt mij.

Is het iedereen duidelijk of een zinnetje grammaticaal correct is of niet?

Een centraal uitgangspunt in veel taalkunde is dat 'native speakers' (moedertaalsprekers) gewoon weten of een zin grammaticaal correct is of niet. Ook al heb je die zin nog nooit eerder gezien of gehoord, toch kun je onmiddellijk aangeven of het wel of niet een correcte zin is. Kennelijk is het dus zo dat mensen die de desbetreffende taal beheersen, een soort regelsysteem in hun hoofd hebben op basis waarvan ze weten dat een zin wel of niet correct is.

De zin 'De koningin verheugde zich op de voordracht van gedichten door de kinderen,' beoordelen we op deze manier als correct. De zin 'De koningin zich op de voordracht van gedichten door de kinderen verheugde,' beoordelen we als niet-correct.

Maar klopt dit uitgangspunt wel? Zijn 'native speakers' het op dit punt wel altijd met elkaar eens? Taalkundigen gaan hier wel voortdurend vanuit, maar er lijkt weinig onderzoek te bestaan dat hier daadwerkelijk op ingaat.

Frins (2005) vond in een onderzoek naar het Limburgs (Karolingisch-Fränkisch) vrij lage gemiddelde correlaties tussen de verschillende beoordeelaars van een reeks zinnetjes. Hij gebruikte 144 zinnetjes en legde deze voor aan Duitsers en Nederlanders in het voormalige hertogdom Limburg. De gemiddelde onderlinge correlaties die hij vond, lagen gemiddeld tussen 0.27 en 0.31 dit afhankelijk van de groep beoordeelaars. Zijn doel was echter aan te tonen dat er geen verschil zat in de beheersing van het Limburgs tussen Duitsers en Nederlanders, wat hij ook realiseerde. De relatief lage gevonden correlaties waren in feite een bijzaak en het zou kunnen zijn dat deze uitkomsten vooral het Limburgs golden.

Voor de bachelorscriptie van Grietjse Sijbrandij werd dit echter de hoofdvraag. Zij gebruikte voor haar onderzoek 2 groepen zinnetjes. Een groep van 50 Nederlandstalige en een groep van 50 Friestalige zinnen. Iedere groep bevatte 25 correcte zinnen en 25 niet-correcte zinnen, d.w.z. zinnen waar de volgorde van de woorden in de zin niet klopte. Als respondenten gebruikte ze 35 Nederlanders (die van huis uit Nederlands spraken) en 35 Friezen (die van huis uit Fries spraken).

De uitkomsten van haar onderzoek laten zich eenvoudig samenvatten (ik wijk daarbij wat af van de data-analyse in haar scriptie) via de gemiddelde onderlinge beoordeelaarscorrelatie (1). Om beter interpreteerbaar te zijn, kan die gemiddelde onderlinge correlatie omgezet worden naar het percentage verklaarde variantie. Ik geef eerst de correlatie en daarna het percentage verklaarde variantie hieronder.

-------------------------------------------------------
Nederlanders met Nederlandstalige zinnen: 0.89 en 79%
Nederlanders met Friestalige zinnen: 0.40 en 16%
Friezen met Friestalige zinnen: 0.68 en 46%
Friezen met Nederlandstalige zinnen: 0.71 en 50%
-------------------------------------------------------

1. De Nederlanders zijn het over de Nederlandse zinnen behoorlijk eens. Een gemiddelde onderlinge beoordeelaarscorrelatie van 0.89 is heel hoog. Ze zijn het voor bijna 80% eens.

2. De Nederlanders zijn het over de Friese zinnen veel minder eens. Het percentage verklaarde variantie is gemiddeld maar 16%. Dit is ook begrijpelijk, omdat Nederlanders niet goed Fries spreken en de taal niet goed beheersen.

3. De Friezen zijn het over de Friestalige zinnen wel behoorlijk maar niet perfect eens. Het percentage verklaarde variantie is gemiddeld 46%.

4. De Friezen zijn het over de Nederlandstalige zinnen ook behoorlijk eens. Het percentage verklaarde variantie is gemiddeld 50%. Dat is niet zo vreemd, omdat alle Friezen behoorlijk Nederlands kunnen.

Wat in deze 4 uitkomsten opvalt, is dat de Friezen het over de Friestalige zinnetjes eigenlijk maar matig eens zijn. De Nederlanders scoren in het overeenkomstige geval 79%, de Friezen slechts 46%. Hoe kan dit?

De verklaring is kennelijk dat Nederlanders door hun scholing en cultuur heel goed getraind worden in wat wel en wat niet acceptabel Nederlands is. Voor het Fries is die scholing en de cultuur veel minder restrictief. Het gevolg daarvan is dat de overeenstemming belangrijk lager is.

Wat kunnen we nu zeggen over de hoofdvraag?

Voor een officiële taal als het Nederlands die op school geleerd wordt, bestaat er tussen de 'native speakers' geen perfecte, maar wel een vrij hoge overeenstemming met een gemiddelde onderlinge correlatie tussen 2 beoordeelaars van bijna 0.90.

Voor een niet-officiële taal als het Fries die niet of amper op school geleerd wordt en die minder nadrukkelijk gebruikt wordt voor boeken, briefen e.d., ligt de overeenstemming voor het wel of niet grammaticaal zijn van een zin, veel lager. De gemiddelde onderlinge correlatie tussen 2 beoordeelaars ligt dan zelfs onder de 0.70.

Kennelijk is het dus bij een gewone, niet-officiële taal helemaal niet iedereen automatisch duidelijk wat wel en wat niet grammaticaal correct is. Dit centrale uitgangspunt van veel taalkundige theorie is dus mogelijk niet automatisch juist.


-------
(1)Voor het bereken van correlaties tussen beoordeelaars dienen de zinnen in SPSS de cases te zijn. Iedere beoordeelaar heeft dus een kolom/variabele.


Bronnen:
- Jean Frins. Syntaktische Besonderheiten im Aachener Drei-Länder-Eck. Rijksuniversiteit Groningen, mei 2005.
- Grietsje Sijbrandij. Taalvermogen: Alles of niets? Ba-scriptie. Juni 2006. Communicatie- en Informatiewetenschappen, Rijksuniversiteit Groningen.

Kritische kinderen die zich juist door reclame laten beïnvloeden?

Stukjes in de krant en in boeken over onderzoek zijn altijd vrij kort en proberen vooral te vertellen wat er allemaal voor leuks ontdekt is. Als lezer krijg je daardoor een nogal verwrongen beeld van wetenschap en onderzoek doen. Aan de ene kant lijken de interessante conclusies voor het oprapen te liggen, aan de andere kant is het vaak ook vrij onbegrijpelijk doordat er veel specifieke informatie in een te kort bestek wordt gedrongen. De werkelijkheid van onderzoek doen, is dat er vaak veel mis gaat en als er tenslotte iets wordt gevonden, het vaak onduidelijk is wat dat nu precies waard is of eigenlijk heel erg voor de hand liggend.

Joann Hebben probeerde in haar bachelorscriptie een verband aan te tonen tussen de mening over een reclame om meer fruit te eten en de mening over reclame (voor voedingsmiddelen) in het algemeen. In haar scriptie schrijft ze hierover(p. 5):
Een attitude ten aanzien van reclame wordt door Lutz (1985) gedefinieerd als 'een aangeleerde predispositie om op een consistent positieve of negatieve manier te reageren op reclame in het algemeen' (Wuisman 2005:7). Een positieve attitude van reclame in het algemeen leidt tot een positieve attitude ten aanzien van specifieke reclame. Wanneer kinderen een positieve attitude ten aanzien van reclame hebben, zijn ze makkelijker te beinvloeden.

Wel, het klinkt allemaal heel logisch. Maar het leuke van onderzoek is nu juist dat zulke uiterst logisch klinkende zaken soms heel hardnekkig kunnen blijken.

Als controle legde ze haar 18 respondenten (kinderen uit groep 8 van een basisschool) eerst ook nog een snoepadvertentie (lolly) voor, waar ze in beginsel dezelfde vragen over stelde als over de fruitadvertentie.

In totaal ging het in haar onderzoek dus om 3 variabelen:
1. de mening over de lolly-advertentie (8 vragen);
2. de mening over de fruit-advertentie (dezelfde 8 vragen);
3. de mening over (voedsel)reclame in het algemeen (8 algemene vragen).

De vragen over de lolly-advertentie bleken onderling positief gecorreleerd (0.19) en dus betrouwbaar (alfa coefficient: 0.70) te meten. Door het verwijderen van 2 slecht passende items steeg de gemiddelde onderlinge correlatie zelfs naar 0.30 en de alfa naar 0.77.

Precies dezelfde vragenlijst voor de fruit-advertentie bleek echter niet betrouwbaar. De gemiddelde onderlinge correlatie tussen de items bedroeg nu slechts 0.07 en de alfa die daarbij hoorde was 0.42. Ook het verwijderen van enkele slecht passende items hielp niet echt. De gemiddelde onderlinge correlatie werd nu 0.12 en de alfa 0.47, wat als te laag geldt om betrouwbaar te meten.

Ook een schaalanalyse over de algemene vragen leverde niet een bevredigende alfa van 0.65 of hoger. Pas na inspectie van de volledige correlatiematrix van deze vragen werden er 3 vragen gevonden die een alfa van 0.59 leverden (bij een gemiddelde onderlinge correlatie van 0.45).

Deze 3 vragen samen (dus de somvariabele daarvan) bleken weer hoog te correleren met 3 vragen van de fruitadvertentie. Deze 3 vragen van de fruitadvertentie bleken onderling gemiddeld 0.45 te correleren met een bijbehorende alfa van 0.70. Uitgaande van deze 3 vragen was er dus nu ook een betrouwbare index voor de fruit-advertentie.

De uitkomsten kunnen nu kort worden samengevat.
1. Tussen de mening over de lolly-advertentie en de fruit-advertentie werd geen significante correlatie (r=-0.30, p=0.22) gevonden. Beide advertenties leken nogal op elkaar, maar voor de respondenten was dat kennelijk niet het punt. De ene keer gaat het om een lolly en de andere keer om fruit en dat is kennelijk veel relevanter dan het gelijksoortige uiterlijk van de advertenties.

2. De correlatie tussen de 3 fruit-items (leuk, vervelend na omcoderen en lekker) en de 3 algemene vragen bedroeg -0.77 en was significant (p=0.000). De 3 algemene vragen waren:
- reclame over voedingsmiddelen is leuk: ja / weet ik niet / nee;
- je kunt altijd geloven wat mensen in een reclame zeggen: ja / weet ik niet / nee;
- producten waar de meeste reclame voor wordt gemaakt, zijn het beste om te kopen: ja / weet ik niet / nee.

Kinderen die dus kritisch staan tegenover reclame vinden de reclame voor fruit vaker leuk, niet-vervelend en het afgebeelde fruit lekkerder dan hun minder kritische klasgenootjes.

Wat was ook al weer de hypothese? De hypothese was dat kinderen die kritisch staan tegenover reclame zich door reclame juist minder laten beïnvloeden. Wanneer we de som van de 3 algemene vragen gebruiken als index voor dit kritisch ten opzichte van reclame staan, dan vinden we 2 correlaties. De ene voor het verband met de lolly-advertentie. Deze bedraagt 0.26 (p=0.29) en is dus niet-significant. De andere is voor het verband met de fruitadvertentie en die is -0.77 (p=0.000). Dus sterk negatief in plaats van sterk positief en volstrekt significant.

Joann vindt dus precies het tegenovergestelde van wat ze verwachtte te vinden.

Laten we eerst eens terug gaan naar de literatuur. Geeft Joann echt onderzoeksuitkomsten waaruit blijkt dat de attitude ten opzichte van reclame in het algemeen van invloed is op een specifieke reclame? Nee, dus. Ze haalt een definitie van Lutz aan, vermeld in Wuisman, maar geen onderzoek.

Vervolgens vindt ze twee correlaties. Volgens de 'snoep'-correlatie is er geen verband. Volgens de 'fruit'-correlatie is er een heel duidelijk, maar omgekeerd verband. Maar in geen van de twee gevallen, vindt ze dus het verwachte verband.

Kennelijk is de algemene attitude ten opzichte van reclame dus geen goede voorspeller of je je door reclame zult laten beinvloeden. De theorie is mooi, maar de data trekken zich er niets van aan.

Toch wordt deze theorie wel degelijk aangehangen. Je kunt dat b.v. zien in lesmateriaal dat de Consumentenbond maakt voor scholen. Het idee daarachter is dat als je kinderen leert dat reclame vooral is om iets te verkopen en dat je reclame niet automatisch moet geloven, dat je dan de invloed van reclame op kinderen zou kunnen beperken. Dat is een nobel streven. Als je niet bereid bent om dit te geloven, kun je bijna wel ophouden met het maken van zulk lesmateriaal, lijkt het, want je kunt natuurlijk nooit alle mogelijke advertenties voorzien van kritisch commentaar. Maar of die benadering echt werkt?

Hoe kunnen we die sterk negatieve correlatie tussen de fruit-advertentie en de houding tegenover reclame wel verklaren?

De eenvoudigste verklaring lijkt me dat kinderen thuis een bepaalde attitude ten opzichte van fruit leren. Fruit moet, fruit is gezond! Dezelfde ouders die hechten aan het belang van fruit, staan vaak ook wat kritischer tegenover reclame en media. Ik verwacht dus dat variabelen als Sociaal Economische Status en Opleidingsniveau Ouders de onderliggende variabelen vormen die de hoog negatieve correlatie kunnen verklaren. Maar voorlopig is dat niet meer dan een hypothese.

Duidelijk mag in ieder geval zijn dat een algemene attitude ten opzichte van reclame niets zegt over de beoordeling van een specifieke reclame. Een hoog opgeleid persoon mag heel kritisch staan tegenover reclame in het algemeen. Maar wanneer Kruidvat dan komt met een onweerstaanbare aanbieding, moeten we niet vreemd opkijken als ons hoogopgeleide als eerste naar het Kruidvat-filiaal holt.

Bron: Joann Hebben. Voedingsreclame & kinderen. Onderzoek naar het verband tussen attitude ten aanzien van voedingsreclame en de waardering van voedingsadvertenties. Bachelorscriptie. Juni 2006. Communicatie- en Informatiewetenschappen, Rijksuniversiteit Groningen.