Dat blijkt uit een grootschalig onderzoek in de Verenigde Staten naar de verkoop effecten van 4 jaar adverteren op TV voor 288 verschillende merken. (Shapiro, B.T., Hitsch, G.J. en Tuchman, A.E.: Generalizable and Robust TV Advertising Effects) Daaruit kwam naar voren dat TV reclame zeker effect kan hebben, maar wel aanzienlijk minder dan wat de afgelopen 50 jaar is gepubliceerd aan onderzoek in wetenschappelijke tijdschriften. De auteurs wijten dat vooral aan de ‘publication bias’. Een artikel dat niet of nauwelijks effect laat zien van TV reclame heeft veel minder kans om in een wetenschappelijk tijdschrift terecht te komen dan een artikel waarin spectaculaire resultaten kunnen worden gemeld. Ik vroeg aan Brad Shapiro of die‘publication bias’dan ook niet geldt voor artikelen over de effectiviteit van andere mediumtypen. Zijn onderkoelde reactie: ‘Niets in ons onderzoek sluit die mogelijkheid uit’.
Algemene uitspraken over effectiviteit
Wat heb je nodig om algemene uitspraken te kunnen doen over de effectiviteit van TV reclame? Je wilt onderzoek hebben naar zoveel mogelijk verschillende productcategorieën. En je wilt onderzoek hebben waarmee je causale verbanden kunt aantonen. TV reclame voor bier lijkt altijd effectief. Dat komt omdat de meeste bierbrouwers starten met hun campagnes in maart, april, als de ook temperatuur en daarmee de verkoop begint te stijgen. Maar gaan mensen meer bier kopen door de reclame of omdat de mussen van het dak vallen? Als je de ROI (Return On Investment) van TV reclame voor bier wilt berekenen moet je corrigeren voor dat seizoenseffect.
Publication bias
Er zijn in het verleden een aantal grote ‘meta-studies’ gedaan naar de effectiviteit van TV. In een meta-studie worden alle onderzoeken die eerder gepubliceerd zijn in wetenschappelijke tijdschriften op een rijtje gezet om zo tot algemene en generaliseerbare conclusies te komen. Over reclame onderzoek worden vaak case-studies gepubliceerd, onderzoeken die betrekking hebben op één productcategorie, één merk of één campagne. Het probleem daarbij is dat vooral de positieve uitschieters in druk verschijnen. Als een campagne niet of nauwelijks iets doet is er weinig reden om een artikel te schrijven. En ook redacties van wetenschappelijke tijdschriften publiceren liever succesverhalen: de ‘publication bias’. Maar dat betekent dat de meta-studies gaan over een verzameling van gepubliceerde geslaagde campagnes.
Onderzoeksopzet
Shapiro, Hitsch en Tuchman hebben gebruik gemaakt van Nielsen data over reclamebestedingen van 500 merken, gecombineerd met de verkoopcijfers van 40.000 supermarkten en de aankoopcijfers van 60.000 huishoudens in het Nielsen Homescan Panel over de periode van 2010 tot en met 2014.
De televisiemarkt in de Verenigde Staten is verdeeld in DMA’s (Designated Market Area). TV campagnes worden niet altijd in elke DMA uitgezonden. De onderzoekers maken daar gebruik van om te controleren voor bijvoorbeeld seizoenseffecten en promotie-effecten. Omdat ze al hun modellen rapporteren (met en zonder correctie) zie je direct waarom het zo belangrijk is dat je voor dergelijke effecten controleert. Reclame lijkt (ten onrechte) veel effectiever als je dat niet doet.
Zo weten ze uiteindelijk het netto causale effect van de TV-campagnes voor 288 merken te isoleren (Niet alle merken adverteerden op TV, sommigen waren te klein om betrouwbare verkoopcijfers vast te stellen). In het paper zie je niet alleen het gemiddelde effect van een TV-campagne terug maar ook de verdeling van de verkoopeffecten. Gecontroleerd voor verstorende variabelen blijkt de gemiddelde reclame-elasticiteit van een TV-campagne uit te komen op 0.0233. Bij 7.3% van de campagnes was sprake van een significant negatief effect, en in 66.3% van de campagnes verschilde het effect van de TV campagne statistisch niet van 0. Overall is het effect behoorlijk wat minder dan bijvoorbeeld de gemiddelde reclame-elasticiteit van 0.23 uit een recent gepubliceerde grote meta-studie.
Om te checken of hun hypothese over de ‘publication bias’ klopte, hebben de onderzoekers gekeken wat er gebeurde als ze alle cases met geen of een negatief effect uit de database verwijderden. Dan bleek de reclame-elasticiteit van TV vergelijkbaar met wat je in de literatuur aantreft.
Transparant model
In het paper wordt de methodologie die is gebruikt uitgebreid beschreven en op de website van de universiteit kun je zelf de data en de analyses bekijken. Zo transparant en goed gedocumenteerd maak je het zelden mee. Ik had toch nog een aantal vragen die ik heb gesteld aan Brad Shapiro. Zo wordt er in het paper niet ingegaan op de invloed van campagne bestedingen in andere media, naast TV. Een terechte opmerking, maar volgens Shapiro zijn de effecten van andere media over de verschillende DMA’s meestal constant. En daarbij heeft dat tot gevolg dat die effecten in het model nu eigenlijk worden toegekend aan de TV-inzet. Dus in de modellen profiteert TV van de inzet van overige media. Mijn tweede vraag betrof het gebruik van data op supermarkt niveau. Dat betekent dat vooral de grotere merken in het onderzoek terecht komen. Misschien is TV wel effectiever voor nieuwe (kleinere) merken? Shapiro antwoordt dat er wel degelijk een aantal nieuwkomers in de dataset zitten. Op de website kun je zelf de merken sorteren op grootte. En dan blijkt merkgrootte geen systematisch effect te hebben.
De publication bias geldt ook voor andere media
Als onderzoeker kun je alleen maar jaloers zijn op zo’n mooie dataset en zo’n grondig onderzoek. Betekent dit nu het einde voor de TV reclame? Dat lijkt me een te snelle conclusie. Want is die ‘publication bias’ niet net zo groot voor het onderzoek dat is gepubliceerd over de effectiviteit van andere mediumtypen? ‘Niets in ons onderzoek sluit die mogelijkheid uit’, zegt Brad Shapiro. Ik zou TV dus niet bij voorbaat afschrijven, zie ook dit pleidooi van Mark Ritson. Er bestaan effectieve campagnes, op TV, maar vast ook buiten op straat, op de radio, in print en online. Dit onderzoek toont genadeloos aan dat het maken van een effectieve campagne geen vanzelfsprekendheid is. Als Nielsen, IRI of GfK in Nederland ook zo’n mooie dataset willen bouwen houd ik me overigens aanbevolen.
Recent Comments