Veel onderzoeken lopen vanaf de tekentafel al mank

Binnen de onderzoekswereld tekent zich een scheiding af tussen denkwerk en veldwerk. Het werk van de architect en het werk van de aannemer. Richtlijnen voor de aannemer zijn er te over, maar richtlijnen voor de architect zijn er nauwelijks. Veel onderzoeken lopen vanaf de tekentafel al mank. Nadenken gebeurt meestal achteraf, als de aanbevelingen op papier moeten worden gezet.

Dit is de boodschap van Wat is de vraag? van Erik de Kort en Durk Bosma, een nieuw boek over marktonderzoek dat al een paar gunstige recensies op zijn naam heeft staan. De auteurs proberen te expliciteren wat voorbereiding van onderzoek precies inhoudt. Honderd bladzijden worden gewijd aan probleemanalyse: wat wil de opdrachtgever bereiken, welke beslissing moet hij nemen, hoe zit de markt in elkaar, is de scope van het onderzoek breed of diep (beide is vaak te ambitieus), wat is de oplossingsruimte, kun je een conceptueel model maken? Er resteren dan nog zeventig bladzijden voor de feitelijke architectuur van het onderzoek: de keuzes op het gebied van dataverzameling, vragenlijst en steekproef. De kracht van het boek zit in het eerste deel: systematisch en diepgravend, zeker afgezet tegen wat gangbare handboeken bieden op het gebied van probleemanalyse. Het tweede deel onderscheidt zich minder van de bestaande literatuur. Het hoofdstuk over steekproeven (‘één van de lastigste onderwerpen binnen het marktonderzoek’ zeggen de auteurs) is zelfs wankel te noemen, vooral waar het gaat om het nut en belang van representativiteit versus de ‘relevantie’ van de steekproef. Open deuren, herhalingen van zetten en over het geheel genomen weinig verhelderend. 

Doen andere standaardwerken dat beter? De derde editie van Marktonderzoek van De Pelsmacker en Van Kenhove (in 1996 in dit blad omschreven als ‘het allesomvattende handboek’) is allicht dikker en uitgebreider dan De Kort en Bosma. De verhandeling over steekproeven is hier onberispelijk. Moeilijke onderwerpen zoals de generaliseerbaarheid van gelegenheidssteekproeven gaan de auteurs niet uit de weg. Op het gebied van analyse gaat het boek de diepte in, maar staat het ook bladzijdenlang stil bij veelvoorkomende technieken zoals de analyse van kruistabellen. De Pelsmacker zegt minder over probleemanalyse dan De Kort, maar een slecht figuur slaat het boek zeker niet. Zo bevat het boek een interessant overzicht van goede en slechte redenen om onderzoek te doen. Conclusie: De Pelsmacker blijft onontbeerlijk, De Kort en Bosma vormen een mooie aanvulling.

Een ander standaardwerk is het ESOMAR-handboek, waarvan de laatste editie alweer vijf jaar geleden verscheen. Het Handboek heeft niet de ambitie om een handleiding te geven voor het  aannemerswerk, dus zaken als steekproeftrekking en vragenlijstconstructie worden summier beschreven. De ambitie is wel om onderzoekers te helpen écht waarde toe te voegen op basis van onderzoek – en dat staat toch dicht bij het uitgangspunt van De Kort en Bosma. Wat het Handboek biedt is een goed geschreven eerste hoofdstuk, dat ingaat op het doel van marktonderzoek en hoe dat kan worden bereikt (‘Always start at the end’). In een appendix wordt nog omschreven wat een research briefing inhoudt. Maar verder niets wat lijkt op de gedegen probleemanalyse van De Kort en Bosma. Hiermee is overigens niet gezegd dat het ESOMAR-handboek verder weinig te bieden heeft, integendeel: als je het even ter hand neemt dan zit je snel een paar uur te lezen. Door het grote aantal auteurs zijn de stukken wel van wisselende kwaliteit. De artikelen die vanuit een helikoptervisie naar de branche kijken (zoals dat van Ray Poynter) zijn het sterkst. En voor een volgende editie is aan te bevelen om De Kort en Bosma uit te nodigen om een hoofdstuk aan probleemanalyse te wijden.

---

Wicher van Vreden
Clou

Eindelijk een boek dat uitgebreid ingaat op onderwerpen als probleemanalyse en de vertaling hiervan in een onderzoeksprobleemstelling

Het aantal publicaties over marktonderzoek is zonder meer indrukwekkend te noemen. Deze boeken gaan dan meestal over de statistische aspecten van het vakgebied en over  de methoden en technieken van het marktonderzoek. Maar het is net als met tennis. Je kan wel van alles leren over de techniek van het serveren, de volley en de smash, maar dat betekent nog niet dat je geleerd hebt hoe je een wedstrijd moet spelen. Dit maakt dit boek uniek in zijn soort.

Eindelijk een boek dat uitgebreid ingaat op onderwerpen als probleemanalyse en de vertaling hiervan in een onderzoeksprobleemstelling. Daarnaast ruim aandacht voor de vertaling van de onderzoeksprobleemstelling in een onderzoeksopzet en een onderzoeksmethodologie.

Pas wanneer dit proces doorlopen is kan nagedacht worden over de juiste vraagstelling. De sleutelwoorden hierbij zijn effectiviteit van het onderzoeksaanpak en efficiency van de onderzoeksuitvoering.

Je kan merken dat beide auteurs ervaren onderzoekers zijn die dan ook ruimhartige kunnen vertellen over de valkuilen binnen het marktonderzoek. Dat zijn er nog al wat. Wij zouden iedere marketeer die te maken krijgt met marktonderzoek, daarom aanraden dit boek te bestuderen zodat hij weet waar hij op moet letten als hij in gesprek gaat met marktonderzoekspecialisten. Vertrouwen is goed, maar het onder controle houden van het marktonderzoek project is beter.

---

Dr. A.J. Olivier

Niet alleen kopen dus, maar ook grondig bestuderen, en daarna toepassen in je eigen, professionele praktijk!

Een boek met als hoofdtitel: “Wat is de vraag?” is intrigerend, ofwel maakt nieuwsgierig. Gaat het hier om een snelcursus ‘omgaan met lastige interviewers’, bedoeld voor aankomende politici? De ondertitel is echter al meer richtinggevend. Deze geeft het domein van het boek aan – marktonderzoek -, maar bewaart nog steeds zorgvuldig het geheim van het inhoudelijke thema van het boek.

Wellicht is dit zo omdat het onderwerp zowel fascinerend als inherent moeilijk is. Het boek gaat namelijk over de probleemanalyse in het marktonderzoek. Er wordt betoogd dat een ‘goede’ probleemanalyse een voorwaarde is voor ‘effectiever en efficiënter marktonderzoek’. En natuurlijk is dat zo. Tegelijkertijd weet iedereen die over dit onderwerp doceert dat hier een abstract soort, modelmatig denken vereist is dat niet iedereen is gegeven. Alle hulp is dus welkom, en dat is wat de beide auteurs moeten hebben gedacht bij het schrijven van dit boek. De tekst biedt een uitputtende behandeling van de onderzoeksdoelstelling, de onderzoeksvragen en het conceptueel model. Maar deze bespreking is helemaal ingebed in de context en de cultuur van het commerciële marktonderzoek, en dat biedt steun voor de professional uit dit vakgebied. Vervolgens laten de auteurs zien welke de consequenties zijn voor de gekozen onderzoeksmethode, en het steekproefontwerp. Daarbij behandelen ze het kwantitatieve en het kwalitatieve onderzoek als gelijkwaardige onderzoeksbenaderingen. Ten slotte wordt de problematiek zowel belicht vanuit het perspectief van de uitvoerende onderzoeker als dat van de opdrachtgever. Daarmee is het duidelijk dat dit boek voor deze beide partijen van belang is. Maar is het ook een goed boek? Goed in de zin van praktisch, en nuttig in het gebruik? Hieronder ons commentaar en onze beoordeling.

Inhoud van het boek

Het boek is in vier delen onderverdeeld. Het begint met de presentatie van ‘drie mythes over marktonderzoek.’ Hieruit moge blijken welke functie het marktonderzoek heeft in het marketingproces van bedrijven en instellingen, welke begrenzingen bestaan voor wat betreft het stellen van vragen aan respondenten in vragenlijstonderzoek, en dat in ideale, maar uitzonderlijke gevallen een marketeer geen onderzoek nodig heeft. De teneur van deze drie mythes lijkt te zijn dat onder omstandigheden die de auteurs zorgvuldig nuanceren, marktonderzoek altijd een meerwaarde heeft. De rest van dit deel van het boek wordt besteed aan de introductie van de probleemanalyse. De opbouw ervan is zodanig dat zelfs een sceptische lezer het nut en het belang van een goede probleemanalyse niet kan ontgaan.

Deel twee is gewijd aan de wijze waarop een onderzoeker (of een opdrachtgever) de analyse van het onderzoeksprobleem zou moeten uitvoeren. De auteurs hebben zich goed gerealiseerd dat de moeilijkheid van een probleemanalyse zit in het feit dat er enerzijds systematische stappen te zetten zijn, maar dat anderzijds een probleemanalyse niet een invuloefening is die volgens een voorgekookt stappenplan, en dus zonder echt analytisch nadenken, blindelings kan worden uitgevoerd. Het is in wezen een creatief proces, waarbij zowel een interne analyse (het managementprobleem) als een externe analyse (markt en doelgroepen) betrokken wordt. Deze aspecten worden in het boek systematisch uitgewerkt, en gelardeerd met aansprekende voorbeelden.

Deel drie vormt, naar onze mening, het hart van het boek. Dit deel gaat in op de samenhang van de onderdelen van een probleemanalyse: het managementprobleem, de onderzoeksdoelstelling, de onderzoeksvragen, het conceptueel model (waarbij het gebruik van bestaande modellen en theorieën).Als insteek is hier gekozen voor het ontwikkelen van de onderzoeksvragen. Deze worden enerzijds afgeleid uit het onderzoeksdoel, anderzijds moeten ze aan praktische eisen voldoen. Ze moeten bijvoorbeeld kunnen leiden tot onderzoeksaanbevelingen, ze moeten meetbaar zijn (operationalisatie), en moeten ‘haalbaar’ (uitvoerbaar) zijn. Dergelijke criteria wekken natuurlijk geen verbazing. Het interessante van deze benadering is echter dat deze criteria expliciet ten tijde van de probleemanalyse aan de orde worden gesteld. En dat is helemaal terecht.

Het laatste, en vierde deel onderscheidt zich van de eerdere delen in dier voege dat het hier een verhandeling betreft van methoden en technieken om het onderzoek (kwantitatief of kwalitatief) te ontwerpen. Ook traditionele en nieuwe (‘River Sampling’) vormen van de steekproeftrekking worden hier behandeld. Een belangrijke rechtvaardiging om dit deel aan het boek toe te voegen lijkt de verbinding met de probleemanalyse, en met name de onderzoeksvragen te zijn. En dit is dan ook wat de auteurs doen. Uiteraard is dit deel ook nodig om tot een volledig onderzoeksvoorstel te komen.

Dit laatste deel besluit met het beantwoorden van de vraag wat een ‘goed onderzoeksvoorstel’ is. Curieus genoeg beschrijven de auteurs hier twee voorwaarden die, als zodanig, los staan van hetgeen ze daarvoor hebben betoogd: de centrale plaats van de probleemanalyse. Het gaat nu om het creëren van een ‘gevoel van urgentie’ en een ‘gevoel van relevantie’ bij de opdrachtgever. In deze context wordt zelfs een typologie (een tweedeling van soorten opdrachtgevers) gepresenteerd. De checklist waarmee het boek eindigt is alleen bedoeld om vast te stellen of het onderzoeksvoorstel ‘volledig’ is. Men zou hier verwachten dat de kwaliteit van de uitgevoerde probleemanalyse een prominente rol speelt in het lijstje van voorwaarden, of criteria.

Opbouw en structuur van het boek

Als we de opbouw en structuur van dit boek vergelijken met die van internationale boeken (zie bijvoorbeeld Sekaran en Bougie, 2010) over het opzetten, uitvoeren, analyseren en rapporteren van toegepast en wetenschappelijk onderzoek dan vallen twee zaken op. In de eerste plaats staat de probleemanalyse in het boek van Erik de Kort en Durk Bosma centraal, en de overige aspecten van het onderzoeksvoorstel worden ontwikkeld in samenhang met deze probleemanalyse. Dat is een aanpak die recht doet aan het centrale belang van de probleemanalyse. Het is dan ook een logische keuze van de auteurs.

In de tweede plaats behandelt het boek het onderzoeksvoorstel volledig in de context en cultuur van het commerciële marktonderzoek. Dat betekent dat parameters als tijd en budget een plaats krijgen in de ontwikkeling van het onderzoeksvoorstel, en hetzelfde geldt voor de percepties en oordelen van de opdracht gevende partij. Het is duidelijk dat achter de conceptie van dit boek zeer veel praktijkkennis aanwezig is, en is benut. 

Enige specifieke observaties

Een boek over de probleemanalyse en het onderzoeksvoorstel in het domein van het marktonderzoek volgt idealiter de wetenschappelijke aanpak, maar vertaalt deze aanpak naar de commerciële praktijk. 

Dit betekent, zoals eerder al is gezegd, dat men onder meer rekening houdt met de factoren tijd en budget, en met het feit dat het onderzoek moet worden verkocht aan de opdrachtgever. Het feit dat hier deze ideale aanpak is gevolgd blijkt wanneer we de structuur en componenten van de gepresenteerde probleemanalyse vergelijken met die van de zog. ‘ANNABEL’-benadering (Groenland, 2009): 

• Het managementprobleem
• Achtergrond onderzoek
• Aanleiding onderzoek
• Beoogd gebruik onderzoek
• Onderzoeksdoelstelling
• Vraagstellingen
• Conceptueel model
• Deliverables

De ANNABEL-benadering is (primair) ontwikkeld voor gebruik op een business universiteit. Dat wil zeggen: voor toegepast (en wetenschappelijk) onderzoek op wetenschappelijke basis. De componenten die hier worden onderscheiden lijken sterk op die welke in het boek worden gepresenteerd. Hiermee hebben de beide auteurs een brug weten te slaan tussen een wetenschappelijk verantwoorde werkwijze én een werkwijze die past in de context en cultuur van het commerciële marktonderzoek. 

Een tweede punt betreft de generaliseerbaarheid van de uitkomsten van kwalitatief onderzoek (pag. 140 e.v.; pag. 182). De auteurs stellen het volgende: “de resultaten van kwalitatief onderzoek mogen niet direct van toepassing worden verklaard op de onderzochte populatie. Immers, de steekproef is klein en is vooraf geselecteerd op bepaalde kenmerken”. In de eerste plaats kan men zich afvragen wat wordt bedoeld met ‘niet direct’ (van toepassing verklaren). Hier dienen de auteurs klare wijn te schenken. Wat betreft het ‘kleine’ van de steekproef lijkt zich hier toch een kwantitatieve manier van denken te verraden. In kwalitatief onderzoek gelden echter niet de principes van ‘grote’ steekproeven in kwantitatieve zin. Zoals de auteurs zelf opmerken is een steekproefcel van 4-5 waarnemingen in het algemeen voldoende om stabiliteit te verkrijgen in de uitkomsten na analyse van een dergelijke cel. Een alternatieve kijk op de generaliseerbaarheid van kwalitatieve onderzoeksuitkomsten wordt gegeven door Groenland (2001): “De resultaten [van kwalitatief onderzoek] zijn kwalitatief representatief als de steekproef zodanig is samengesteld dat alle relevante variaties in meningen, opvattingen, gevoelens en motivaties de mogelijkheid krijgen om zich te manifesteren binnen de steekproef en binnen het onderzoek. In die zin spreken we van representativiteit in kwalitatief onderzoek”. Met andere woorden: alle patronen (gedrag, motivatie, gevoelens) die worden gevonden in de kwalitatieve steekproef zullen als zodanig ook voorkomen in de achterliggende populatie. De daarbij in het geding zijnde aantallen personen dienen uiteraard door middel van kwantitatief onderzoek te worden bepaald.

Op dezelfde plaats in het boek wordt ook gesproken over het vinden van patronen met betrekking tot het onderzochte voor subgroepen in de steekproefopzet. Daaraan valt nog toe te voegen dat de onderzoeker hier bij de analyse probeert een zog. ‘Leitmotiv’ te vinden. “Het Leitmotiv is een kenmerkende factor die relaties tussen deeluitkomsten op een meer abstract niveau verklaart, vaak in de vorm van een leidend hoofdmotief” (Groenland & Jansen, 2010). “Dit onderdeel draagt bij aan het ‘bewijs’ van de juistheid van de uitspraken die gedaan worden met behulp van kwalitatief onderzoek”, (pag. 141 van het boek).

Aan online kwalitatief onderzoek wordt een korte passage gewijd (pag. 145). De auteurs stellen dat ‘de belangrijkste vraag die je moet beantwoorden om een keuze te maken tussen de verschillende opties [van online kwalitatief onderzoek], is of je wel of geen interactie tussen respondenten wilt’. Dit moge zo zijn, maar hieraan dient, onzes inziens, het volgende nog te worden toegevoegd: “Aandacht verdient ook de wijze waarop de moderator intervenieert, interacteert met, en feedback geeft aan respondenten tijdens de onderzoekssessies” (Groenland, 2001). Enerzijds kan men besluiten tot ‘rondes’ in een online kwalitatief onderzoek, waarbij de moderator telkens antwoorden samenvat, en met gerichte vervolgvragen terugbrengt naar de deelnemers in een nieuwe ronde. Anderzijds kan worden besloten om niet in het proces te interveniëren, en de online gemeenschap van deelnemers, en het onderzoeksprobleem, zich op organische, natuurlijke wijze te laten ontwikkelen.

Ten slotte, het boek bespreekt de probleemanalyse en het onderzoeksvoorstel in al zijn structuurfacetten. In die zin ontbreken er geen onderdelen, en is het compleet. Vanuit die observatie wekt het verwondering dat er drie hele bladzijden worden gewijd aan het marktonderzoek van een generatie geleden (pag. 17 t/m 19). Hoewel wij destijds werden opgeleid met het gebruik van ponskaarten voor het vastleggen van gegevens ten behoeve van de analyse, is niet helemaal duidelijk welke functie dit onderdeel vervult in het geheel van dit boek. Overigens, met name voor degenen die zelf met ponsmachines en ponskaarten hebben gewerkt is dit een onverwachte en fascinerende terugblik in onze jeugd!

Een persoonlijk oordeel

De auteurs hebben er expliciet voor gekozen om de onderzoeksopzet, respectievelijk het onderzoeksvoorstel vanuit de probleemanalyse te benaderen. Niet nadrukkelijk genoeg kan worden gezegd hoe terecht deze werkwijze is. Het alternatief van de ‘Procrustes’-benadering, waarin alle onderzoeksproblemen ‘passend’ gemaakt worden aan een ex ante, impliciet of expliciet gekozen model of benadering, roept vele risico’s op in termen van suboptimale, of zelfs niet-functionele probleemanalyses.

Los daarvan biedt deze aanpak ook veel handvatten voor het aanleren van de naar voren gebrachte werkwijze bij het ontwikkelen van de probleemanalyse. Dit geldt met name voor de jonge professionals die zich deze vaardigheid nader eigen willen maken. Voor zover het mogelijk is om door middel van een boek zich de vaardigheid van het uitvoeren van een probleemanalyse eigen te maken is dit boek een prima keuze. De stapsgewijze benadering biedt steun aan zowel onderzoekers in het uitvoerende als in het opdrachtgevende domein.

De gemaakte opmerkingen in de vorige paragraaf tasten de waarde van het boek niet wezenlijk aan. Dit is een compleet boek, zonder werkelijke tekortkomingen. Voor het domein van het marktonderzoek is het ook een uniek boek, en naar inhoud en opzet bepaald vernieuwend te noemen. Niet alleen kopen dus, maar ook grondig bestuderen, en daarna toepassen in je eigen, professionele praktijk!

Nyenrode, augustus 2012, Prof. Dr. Edward Groenland

Referenties

• Groenland, E.A.G. (2001). Online kwalitatief marktonderzoek. Een deerne van vele zinnen. Oratie. Breukelen: Universiteit Nyenrode. 67 blz. ISBN 90-7331-46-X;
• Groenland, E.A.G. (2009). ANNABEL Toolbox – Problem Analysis (English version, Dutch version). Nyenrode Business Universiteit, NRI Research Paper Series, pp. 1-18
• Groenland, E.A.G. and Harrie Jansen (2010). Kwalitatieve analyse in marktonderzoek: de Matrixmethode. Kwalon, 41, (2010, jaargang 15, nr. 1), pp. 43-48
• Sekaran, U. and Roger Bougie (2010). Research Methods for Business. A skill building approach. Fifth Edition. UK: John Wiley & Sons, Inc. ISBN 978-0-470-74479-6

---

Prof. Dr. Edward Groenland
Professor of Business Research Methodology
Nyenrode Business Universiteit