Testimonials zonder effect?

Soms doe je keurig onderzoek en komt er ogenschijnlijk toch niet zo veel uit. Dat lijkt Judith Huitenga met haar bachelorscriptie te zijn overkomen. De verleiding is dan groot alles in het archief te zetten en er verder geen aandacht aan te besteden. Dat is jammer, omdat je op die manier eigenlijk nooit leert van de dingen die er misschien net niet helemaal goed gingen.

In de bachelorscriptie van Judith Huitenga staan testimonials centraal. Een testimonial is een verklaring (een getuigenis) van een persoon dat het produkt uit de advertentie de moeite waard is. Als iemand wordt het liefst een bekend persoon met een zekere status gebruikt, b.v. een filmster, bekende sporter, etc. Maar het is ook mogelijk een onbekend iemand te gebruiken, die als deskundige wordt opgevoerd. Niemand kent mijnheer Pieterse, maar hij is wasmachine-reparateur en zegt: betere wasmachines dan deze (van merk X) zijn er niet.

Huitenga gebruikt een zelfgemaakte koffie-advertentie die ze voorlegde aan 100 studenten. De onafhankelijke variabelen in haar onderzoek waren: status (hoog/laag) en bekendheid (hoog/laag). Daarnaast had ze een controleconditie zonder testimonial zodat ze als onafhankelijke variabele ook de aanwezigheid (wel/niet) van een testimonial had.

Van de zelfgemaakte koffie-advertentie waren er 5 verschillende versies. De vraag waar het om ging was of status verantwoordelijk is voor het testimonial-effect of bekendheid of dat de combinatie van die twee (de interactie) vooral goed werkt.

Advertentie versie 1 had een fotootje van Jan-Peter Balkenende met de tekst: Ook minister-president Jan-Peter Balkenende drinkt BioBio-koffie: "De dag begint voor mij met een kopje biobio-koffie. Dat geeft mij een goed gevoel." (Status: hoog, bekendheid: hoog)

Versie 2 was dezelfde advertentie maar dan met een fotootje van Conny Breukhoven en de tekst: Ook zakenvrouw Conny Breukhoven drinkt BioBio-koffie, etc. (Status: laag, bekendheid: hoog).

Versie 3 was de advertentie met een foto en overeenkomstige tekst voor Minister van Ontwikkelingswerk Agnes van Ardenne (Status: hoog, bekendheid: laag).

Versie 4 was de advertentie maar dan met Junior Consultant Esther van Gerven, een leuk maar onbekend meisje (Status: laag, bekendheid: laag).

Versie 5 had op de plek van de testimonial een fotootje van een kop koffie met de tekst: Begin de dag met een kopje BioBio-koffie. Dat geeft u een goed gevoel! Deze conditie was bedoeld om na te gaan of de 4 testimonials wel een effect sorteerden ten opzichte van deze controle-conditie.

De 5 versies werden aselect aan de respondenten toegewezen. Uit een vooronderzoek was al bekend dat voor de testimonials gebruikte personen inderdaad wel of niet bekend waren en wel of niet als hoog in status werden gezien.

Omdat er gewerkt werd, met een betrekkelijk klein aantal proefpersonen (20 per conditie), werd getracht de verschillen in mate van positief/negatief reageren tussen de proefpersonen te meten via een voormeting: advertentie 1. Deze advertentie was dus voor alle condities hetzelfde. (De advertentie die dus per conditie verschilde was advertentie 2.) Advertentie 1 was ook weer een zelfgemaakte advertentie voor BioBio-koffie.

Als methode om te bepalen wat men vond van de advertenties, gebruikte Huitenga een open methode. De proefpersoon werd gevraagd om gedurende 2 minuten alle gedachten op te schrijven die de advertentie opriep. Dit moest dus eerst voor advertentie 1 gedaan worden en daarna nog een keer voor advertentie 2. Deze associaties zijn vervolgens door 4 beoordeelaars beoordeeld als 'positief', 'negatief' en 'neutraal.

Deze 3 categorieën zijn per beoordeelaar samengevat in 2 getallen: het totaal aantal reacties en de proportie positieve reacties min de proportie negatieve reacties. Vervolgens zijn deze 2 getallen gemiddeld over de 4 beoordeelaars.

De beoordeling van het aantal reacties leverde een gemiddelde onderlinge beoordeelaarscorrelatie van .44 en .37. De overeenkomstige coëfficiënten alfa waren .73 en .70.

De beoordeling van het verschil tussen de proportie positieve en negatieve reacties leverde gemiddelde beoordeelaarscorrelaties van 0.70 en 0.79 met alfa's van 0.90 en 0.93 voor 4 beoordeelaars. Op basis van deze beoordelingen kon dus in ieder geval het verschil in de proportie positieve-negatieve reacties goed vastgesteld worden.

Hoewel advertentie 1 bedoeld was om iets te zeggen over de mate waarin een persoon dit soort advertenties positief beoordeelde, bleek (de proportie positief-negatief van) advertentie 1 niet te correleren met de overeenkomstige beoordeling van advertentie 2. De correlatie was 0.09 (p= 0.36 2-zijdig, N=100). De voormeting had dus achteraf gezien geen nut.

Wel was er een duidelijk verband tussen de totale hoeveelheid reacties. Respondenten die bij advertentie 1 veel reacties leverden deden dat ook bij advertentie 2 (r=0.53, p=0.00, N=100). Maar dit lijkt op zich niet zo verwonderlijk. Mensen die gemakkelijk wat associaties opdenken de eerste keer, doen dat de tweede keer weer gemakkelijk.

Uit de statistische analyse (variantie-analyses zowel 2x2 als 1x5 en een covariantie-analyse) bleken geen significante effecten vindbaar (op 5% tweezijdig). Doe je een keurig onderzoek en komt er niets significants uit.

Hoe kan dat? Achteraf is het makkelijk praten. De meest waarschijnlijke opties geef ik hierna.

1. Uit de statistische resultaten blijkt duidelijk dat de voormeting niet correleert met de hoofdmeting en dus in feite niet goed werkt. Vermoedelijk hebben de respondenten het na die eerste advertentie wel gehad. De tweede advertentie lijkt daar zo sterk op, dat het moeilijk is die opnieuw onbevangen tegemoet te treden na die 2 minuten vrij associëren.

2. Een probleem dat vooraf al redelijk duidelijk was, was dat de groepen in verhouding tot het effect waar het om gaat, te klein zijn. In dit geval zou je naar verwachting minstens een 100 personen per conditie moeten kunnen gebruiken om de kleine verschillen nog als significant aan te tonen.

3. De zelfgemaakte advertentie 2 is -- achteraf gezien -- vrij vol. Bovenin, in de rechterhoek 3 kleine fotootjes van koffieboeren. Een heel stuk tekst in de midden. Onderin de testimonialfoto met de testimonial tekst, daarna nog weer gevolgd door 'De dag begint voor mij met een kopje biobio-koffie. Dat geeft mij een goed gevoel.' Dit alles op een bonte achtergrond van koffiebonen die van dichtbij zijn gefotografeerd. In deze drukte is de testimonial mogelijk wat ondergaan en niet al te nadrukkelijk in beeld gekomen.

4. Het kan zijn dat de open meetmethode (het opschrijven van associaties in reactie op de advertentie) niet goed werkt. Het zou b.v. kunnen dat de eerste associatie bepalend is voor de volgende associaties en dat daardoor het effect van de advertentie in de associaties snel verdwijnt. Het zou kunnen dat iets dergelijks bij een gesloten vragenlijst minder sterk optreedt.

Kortom, meer vragen dan antwoorden. Stof voor vervolgonderzoek! Dank zij Huitenga kan het vervolgonderzoek net weer iets beter en slimmer vormgegeven worden dan zonder haar bijdrage mogelijk zou zijn geweest.