Op 9 april 2008 werd er in het gebouw van de 200-jarige Koninklijke Nederlandse Akademie voor Wetenschappen (KNAW) een symposium gehouden over de vraag ‘Wat is goed survey-onderzoek?’ De bijeenkomst was georganiseerd door DANS, wat frivoler klinkt dan het is, want de afkorting staat voor Data Archiving and Networked Services. De zaal zat vol professoren, aangevuld met de nodige overheidsdienaren, werkzaam bij statistische instellingen als het Centraal Bureau voor de Statistiek (CBS) en het Sociaal en Cultureel Planbureau (SCP), benevens nog wat verdwaalde onderzoekers afkomstig van de grotere marktonderzoekbureaus. Blijkens de interrupties was het pak hooggeleerden voornamelijk afkomstig van de Vrije Universiteit te Amsterdam. Het klonk niet echt als een representatieve vertegenwoordiging. Behalve Frans Louwen van GfK, die als spreker optrad, lieten de commerciële marktonderzoekers zich niet horen. Ze waren er waarschijnlijk voor de relatiemarketing. Overheden en universiteiten betalen veel geld voor ‘goed onderzoek’. Ze denken ook dat ze de enigen zijn die in Nederland onderzoek doen.
Ineke Stoop van het SCP gaf een stereotypie van het survey onderzoek. Dat bestaat volgens haar uit statistiek, universitair onderzoek en opinie-onderzoek (Lees: Maurice de Hond).
Er gaan miljoenen om in surveys naar mediabereiksonderzoek, merken- en media-tracking en reclame-effectonderzoek, maar in het plaatje van de weledelzeergeleerde dames en heren komt het niet voor! En als er ergens behoefte is aan goed onderzoek, dan is het daar wel. Goed bereiksonderzoek is minstens zo relevant als goed beleidsonderzoek. Openingsspreker Paul Schnabel van het SCP maakte dat maar al te zeer duidelijk toen hij enigszins zuur refereerde aan “de Belevingsmonitor waaraan wij nu nieuwe vorm moeten geven omdat de resultaten zo desastreus waren dat het niet goed was voor de geestelijke gezondheid van de leden van het kabinet”. “Er bestaan geen kwaliteitscriteria voor goed onderzoek” zo stelde hij, “Er is alleen kritiek achteraf”. Om een bereiksonderzoek te wijzigen moet er toch meer aan de hand zijn dan een uitgever met hoofdpijn.
Jelke Bethlehem van het CBS en de UvA presenteerde een tamelijk algemeen lijstje van criteria waaraan goed onderzoek moet voldoen:
– Relevantie
– Nauwkeurigheid
– Tijdigheid en punctualiteit
– Toegankelijkheid en duidelijkheid
– Vergelijkbaarheid
– Samenhang
Centrale vraag in zijn betoog: kun je CAPI- en CATI-surveys (onderzoek met een laptop bij mensen thuis en telefonisch computergestuurd onderzoek – JHF) vervangen door web-surveys? Als probleem van web-surveys zag hij onderdekking (niet iedereen heeft internet), zelf-selectie, afwezigheid van de interviewer, en de onmogelijkheid van controles in de vragenlijst. Ik hoorde het met stijgende verbazing aan. Bijna al het commerciële marktonderzoek in Nederland is vandaag de dag al 100% web-survey onderzoek. Dat moet een autoriteit als Bethlehem toch weten? Hij is nota bene als ‘deskundige’ verbonden aan het zelfselecterende opiniepanel van EénVandaag. Ga naar EenVandaag en u kunt vandaag nog meedoen!?
Professor Joop Hox van de RijksUniversiteit Utrecht leek als enige nog niet alle aansluiting met de realiteit verloren te hebben. Hij verwees naar NEN-ISO20252, waarin al heel veel over goed onderzoek is vastgelegd en het voorstel voor ISO26362, waarin omschreven wordt waaraan een goed access-panel moet voldoen. In de ESOMAR richtlijnen zijn veel van deze ISO regels opgenomen.
Jammer alleen, dat als je die richtlijnen toepast, je al het onderzoek in Nederland op de schroothoop kunt gooien. Panelleden moeten bijvoorbeeld afkomstig zijn van een ‘gedocumenteerde’ bron en ‘het rapporteren van steekproefmarges bij panels waar mensen zichzelf voor kunnen opgeven is misleidend’. We doen niet anders. Maar zoals Hox ook stelde: “Het gebruik van nieuwe technologie (mobiele telefoon, web) in het onderzoek is onvermijdelijk. Verzet is nutteloos”.
Er komt een Nederlands Platform voor Survey Onderzoek. Laten we hopen dat de geleerde goden een stukje willen afdalen van hun statistische en akademische Olympus om de onderzoekers die elke dag met hun voeten in de bagger van de access-panels staan de hand te reiken.
De slides over goed onderzoek kunt u vinden op de website van DANS onder het kopje ‘Symposia’.
Recent Comments