Waar je op moet letten als je marktonderzoek
onderdeel is van afstudeerscripties, stageverslagen
en praktijkopdrachten
onderdeel is van afstudeerscripties, stageverslagen
en praktijkopdrachten
Hoe herken en voorkom ik foutief gebruik
van marktonderzoek
Drs Peter van Westendorp
Dr Lex Olivier
Valkuilen in onderzoek
Waar je
op moet letten als je marktonderzoek uitvoert, analyseert en interpreteert als
onderdeel van afstudeerscripties, stageverslagen en praktijkopdrachten.
Voorwoord - De bedoeling van deze brochure.
Onderzoek is dikwijls nieuws - er
gaat geen week voorbij, waarin het Nederlandse publiek niet geconfronteerd
wordt met de resultaten van markt-, opinie-, of sociaal beleidsonderzoek. Directies
nemen beslissingen op basis van feiten uit marktonderzoek. Resultaten van
onderzoek komt men tegen in de actualiteitenrubrieken van radio en TV, in de
redactionele kolommen van kranten en tijdschriften en zelfs in allerlei
advertenties.
Het uitvoeren van onderzoek -
meestal met behulp van enquêtes - is een vak. Moeilijker dan je denkt, ook al
lijkt het vaak eenvoudig om 'een paar vraagjes' aan de bevolking te stellen.
Veel verschillende factoren hebben invloed op de onderzoekresultaten die in de
huiskamer zo simpel op het scherm verschijnen en het op de juiste wijze interpreteren
van onderzoekresultaten is dan ook niet altijd even gemakkelijk.
Door de beschikbaarheid van
internet is het organiseren van markt- en opinie-onderzoeken laagdrempeliger
geworden. Het onderzoek wordt goedkoper en de resultaten zijn sneller beschikbaar.
Daarnaast kom je zonder inschakelen van marktonderzoeksexperts een heel eind.
Op zichzelf genomen is deze
ontwikkeling positief te noemen. Echter alleen:
·
Wanneer de uitkomsten een afdoende
nauwkeurige weergave van de werkelijkheid zijn. We noemen dit representatief.
·
Wanneer de resultaten objectief en waarheidsgetrouw
worden weergegeven.
·
De privacy van de deelnemers aan
het onderzoek afdoende wordt afgeschermd.
Studenten komen veelvuldig in
aanraking met marktonderzoek als onderdeel van afstudeerscripties , stageverslagen en praktijkopdrachten.
Marktonderzoek is daarbij vaak een essentieel hulpmiddel om de doelstellingen
van het werkstuk te kunnen realiseren. Bijvoorbeeld het maken van verantwoorde
keuzes en het doen van beleidsaanbevelingen.
Er bestaan dikke gespecialiseerde
handboeken over statistiek en marktonderzoek.
Het is vaak een heel gepuzzel om daarin te vinden waar je als student
rekening mee moet houden als je marktonderzoekresultaten opneemt in je
werkstuk.
Je wilt immers geen marktonderzoek
specialist worden maar je wilt toch meer weten over het gebruik van
marktonderzoek. Daarnaast wil je weten waar de docent op let als deze een eindcijfer
aan je werkstuk gaat geven.
Vandaar deze brochure. Deze brochure vormt geen inleiding in de theorie en
techniek van het onderzoek. Hij omvat slechts een aantal raadgevingen en
aanwijzingen voor studenten die marktonderzoekresultaten willen gebruiken voor scripties
en werkstukken.
De basistekst van deze brochure
werd in eerste instantie door Peter van Westendorp opgesteld. De brochure bleek in 2014 onverminderd
actueel. Lex Olivier heeft de tekst geactualiseerd en uitgebreid. Met dank aan
drs. Terry Häcker, drs. Philip Todd en Janny Lok voor hun redactionele inzet en
bijdragen.
Drs. P.H. van
Westendorp – Dr. A.J. Olivier januari
2014
Email:
lexolivier@gmail.com
============================================================
Samenvatting. De 10 gouden aandachtspunten
1.
Onderzoek moet representatief zijn
voor de doelgroep. Rapporteer niet over de mening van de Nederlander als U
bedoelt: De mening van de bezoekers van de Website van GroenLinks.
2.
Rapporteer je onderzoekresultaten
in tabelvorm, dan is het tevens noodzakelijk de gestelde vraag af te drukken
boven de tabel. Niet alleen dus het onderwerp van vraagstelling.
3.
In tabellen waarin resultaten van
onderzoek gebaseerd op steekproeven worden vermeld, moeten altijd de aantallen
ondervraagde personen worden aangegeven. Alleen dan kan men zich een oordeel
vormen over de waarde van de resultaten.
4.
Wie rapporteert over
onderzoekresultaten zal altijd op de marges moeten letten die gelden bij de
uitkomsten. Het maakt daarbij een enorm verschil of slechts 150 mensen werden
ondervraagd, of dat 1.200 mensen bij het onderzoek werden betrokken
5.
De grootte van de marges bij
steekproef uitkomsten hangt niet samen met de omvang van de populatie (b.v
inwoners van Nederland of Volendam) waaruit de steekproef werd getrokken. Voorwaarde
is dat het toeval bepaalt of iemand deelneemt aan onderzoek.
6. Wanneer een percentage stijgt/daalt ten opzichte van de vorige
meting kan dit veroorzaakt worden door vier factoren: Steekproefafwijking. Verandering in de
steekproefsamenstelling. Procesafwijkingen. Ontwikkelingen in de tijd.
7. Bekijk bij evaluatie en interpretatie van onderzoeksresultaten
altijd de originele vraagstelling. Uitkomsten zijn mede afhankelijk van:
o
Hoe je de vraag stelt.
o
In welke context je de vraag stelt.
o
Welke antwoordmogelijkheden je
biedt.
8. Een volledige rapportage bevat de volgende
onderdelen
o
Een exemplaar van de gebruikte
vragenlijst.
o
Een volledige verantwoording over
de gebruikte steekproef.
o
Een compleet overzicht van de
resultaten verkregen bij alle vragen van het onderzoek.
o
De identiteit van de opdrachtgever.
o
De periode waarin het veldwerk werd
uitgevoerd.
9. Zelfselektie: Als respondenten zelf mogen bepalen of ze
meedoen met onderzoek reageren vooral mensen met uitgesproken meningen.
1 Non-response: Niet iedereen doet mee aan het onderzoek. Dit kan
de validiteit van onderzoeksresultaten in gevaar brengen wanneer niet
deelnemers andere antwoorden geven op onderzoek vragen dan deelnemers.
=============================================================
HOOFDSTUK 1 - Eisen waaraan iedere onderzoekrapportage
moet voldoen
Waarom wordt marktonderzoek
onderdeel van een scriptie? Een niet onbelangrijke zaak. Deze motieven immers
kunnen aanmerkelijke invloed hebben op de verkregen resultaten en de
interpretatie daarvan. Dit zijn de belangrijkste motieven voor het instellen
van een marktonderzoek:
1.
Vergroten van kennis,
wetenschappelijke nieuwsgierigheid.
2.
Het nemen van, met cijfers
onderbouwde, beslissingen.
3.
Het monitoren van kengetallen ter
beoordeling van beleid (marketing beleid of sociaal beleid).
4.
Om interessante feiten aan docenten
en/of scriptiebegeleiders te kunnen bieden.
5.
Om het directiebeleid via het
presenteren en/of opsturen van onderzoeksrapporten te beïnvloeden.
Het voorkomen van onjuiste
interpretatie van bestaande onderzoeksresultaten
·
Heb je als student de beschikking
over de originele onderzoekresultaten met vragenlijst ? Of is er alleen sprake
van een uittreksel. Als dat laatste het geval is, is extra voorzichtigheid
geboden.
·
Let in het bijzonder op hetgeen bij
dergelijke onderzoeken niet werd gevraagd (dikwijls zaken waarbij voor de
opdrachtgever onwelgevallige informatie zou zijn verkregen) en ook op de wijze
waarop naar bepaalde informatie wel is gevraagd.
·
Is er sprake van suggestieve en/of
manipulerende vraagstellingen?
·
Is het onderzoek een afdoende
representatieve weergave van de werkelijkheid. We moeten niet rapporteren over
de mening van de Nederlander als we bedoelen: De mening van de bezoekers van de
website van GroenLinks.
Zo gaat dat dikwijls...
In het onderzoekrapport staat: Bezoek aan de voorjaarsbeurs te XYZ
VRAAG: Heeft u in de afgelopen 7
dagen een bezoek gebracht aan de voorjaarsbeurs, of was dat niet het geval?
ANTWOORDEN:
·
brachten een bezoek aan de
voorjaarsbeurs 15%
·
brachten geen bezoek aan de
voorjaarsbeurs 7%
·
hadden niet van de beurs gehoord
(vraag dus niet gesteld) 78%
ondervraagden
(750) = 100%
In het 'persbericht' staat:
Grote aantallen mensen brachten een
bezoek aan de voorjaarsbeurs - bekijk de cijfers van Bureau ABC:
·
brachten bezoek aan de
voorjaarsbeurs 68%
·
brachten geen bezoek aan de
voorjaarsbeurs 32%
100%
Sprekende cijfers!
Tussen twee haakjes: het weglaten
van percentages 'weet niet’, 'geen antwoord' e.d. is een veel voorkomend trucje
om de cijfers 'beter te laten spreken' - 't is maar dat je het weet. Er komt
vrijwel nooit een vraag voor waarop iedereen een antwoord geeft!
Gegevens die bij geen enkele rapportage
mogen ontbreken:
·
Naam van de opdrachtgever: bij voorbeeld Dagblad de Klaroen, Provinciale
Voorlichtingsdienst, etc.
·
Naam van de uitvoerder: Bij voorbeeld
Instituut voor Bevolkingsonderzoek, Bureau Promar, etc.
·
Bevolkingsgroep (populatie) waaruit
de steekproef werd getrokken: Bij voorbeeld alle Nederlandse
gezinnen, mannen van 16 jaar en ouder, directeuren van ondernemingen met meer
dan 100 werknemers, etc.
·
Een responseverantwoording: Als men kan vermoeden, dat de non-response een aanmerkelijke invloed kan hebben op de
betrouwbaarheid van de resultaten. Bij voorbeeld: bij deze schriftelijke
enquête zond 15% van de aangeschrevenen de formulieren terug ; 35%
weigerde medewerking aan het onderzoek, etc.
·
Methode van onderzoek: Bij voorbeeld: mondelinge enquête, online panel telefonische enquête, schriftelijk onderzoek,
etc.
·
Omvang van de ondervraagde groep: De totale omvang van de bereikte steekproef te vermelden, maar
ook in iedere tabel omtrent deelgroepen, de omvang van die deelgroepen
(bij voorbeeld leeftijdsgroep 16 – 24 jaar: n = 120).
·
Vraagstellingen: De letterlijke
vraagstelling bij iedere uitkomst die wordt behandeld. (Af te drukken
boven de tabel).
·
Scheiding van resultaat en
interpretatie: Onderzoekuitkomsten
en interpretaties daarvan dienen in de rapportage zorgvuldig gescheiden
te worden.
·
Tijdstip waarop het onderzoek
plaats vond: Dit kan noodzakelijk zijn, als men
kan vermoeden dat gebeurtenissen invloed gehad kunnen hebben op de
resultaten.
Voorbeeld van een tabel die aan de
eisen voldoet
Het lezen van de Klaroen door
huisvrouwen.
Vraag: Welke van deze bladen heeft
u in 2014 wel eens gelezen of ingezien ? - 10 bladen werden opgenoemd.
Tabel 1
|
leeftijd van de huisvrouw
|
||
de Klaroen
|
totaal
|
35 jaar en jonger
|
en 36 jaar en ouder
|
%
|
%
|
%
|
|
gelezen/ingezien
|
50
|
34
|
56
|
niet gelezen/ingezien
|
34
|
49
|
28
|
geen antwoord/weet niet
|
16
|
17
|
16
|
100%
|
100%
|
100%
|
|
steekproef :
|
(n=735)
|
(n=210)
|
(n=525)
|
Bron: telefonisch onderzoek Promar -
januari 2014 – week 3
Het symbool ‘n’ wordt altijd
gebruikt ter aanduiding van de grootte van de steekproef .
Bij management rapportages op basis van onderzoek zal
het zelden mogelijk zijn, het hele onderzoekrapport te rapporteren. Dit
betekent, dat een deel van de onderzoekverantwoording en een deel van het
materiaal buiten beschouwing zullen blijven.
Ook zal het dikwijls noodzakelijk zijn tabellen met
cijfermateriaal te vereenvoudigen.
Hierbij zal te allen tijde één
regel moeten gelden:
·
Rapporteer je over een selectie van
gegevens, dan zal je je er te allen tijde van dienen te overtuigen, dat er géén
andere gegevens voorkomen in het niét gerapporteerd materiaal die
mogelijkerwijs in strijd zijn met de wél gerapporteerde gegevens, of de daaraan
verbonden conclusies ontkrachten.
·
Rapporteer je onderzoekresultaten
in tabelvorm, dan is het tevens noodzakelijk de gestelde vraag af te drukken
boven de tabel. Niet alleen dus het onderwerp van vraagstelling.
Voorzichtigheid is in het bijzonder
geboden bij het vergelijken van resultaten afkomstig uit verschillende
onderzoeken. Het gebeurt zelden, dat
zowel de vraagstelling, als de steekproef, als de onderzoekomstandigheden
precies gelijk zijn. Alertheid is derhalve geboden.
Wij komen hier op blz. 12 op terug.
Enkele voorbeelden - onjuiste
selectie of onvolledige rapportage
·
Bij presentatie van een onderzoek
werd niet vermeld, dat alleen mensen met een mobiele 4G verbinding werden
ondervraagd.
·
Bij een onderzoek onder lezers van
een blad werd wel vermeld, dat 45% van de mensen een blad lezen of inzien. doch
niet, dat 23% uitsluitend de strip op de achterzijde leest, terwijl dit wel
bekend was uit hetzelfde onderzoek.
·
Bij de rapportage van resultaten
van een vraag naar de inburgering van botox behandelingen werd niet vermeld,
dat 30% van de vrouwen geweigerd heeft de vraag te beantwoorden.
·
Bij de rapportage van een vraag
omtrent het geregeld gebruik van een pijnstiller merk X werd niet vermeld, dat
45% van de huisvrouwen die zeiden merk X geregeld te gebruiken, het merk niet
aan de enquêtrice konden tonen.
·
Bij de rapportage van resultaten
van opinieonderzoek naar de doodstraf werd niet vermeld, dat het ging om de eens/oneens
reactie op een voorgelegde 'bewering' ('eigenlijk zou in Nederland de doodstraf
voor zeer ernstige misdrijven weer moeten worden ingevoerd') en niet om het
antwoord op een vraag.
·
Bij de rapportage van resultaten van een schriftelijk onderzoek
werd niet vermeld, dat maar 20% van de aangeschreven mensen het formulier
ingevuld retour zond.
========================================================================
Hoofdstuk 2 - Wat is dat eigenlijk,
een steekproef?
|
Stel je een bak voor met een
groot aantal knikkers, bij voorbeeld 10.000. Daarin is 70% van de knikkers
rood en 30% zwart
|
Als het om de hele bevolking gaat, of grote groepen
daarvan, wordt altijd een zeer beperkt aantal mensen ondervraagd. Dat noemt men
dan een steekproef. Hoe is het mogelijk dat men op grond van een onderzoek bij
zo'n 500 of 1000 Nederlanders toch een redelijk betrouwbaar beeld kan krijgen
omtrent de gedragingen en meningen van de hele bevolking? Dat is iets, waar
veel mensen erg veel moeite mee hebben en hier vinden we dan ook een bron van
onterecht wantrouwen in het enquête-onderzoek.
Je haalt nu steeds op willekeurige
wijze (dat is erg belangrijk) 100 knikkers uit de bak. Je kijkt nu bij iedere
100 hoeveel rode en hoeveel zwarte knikkers je hebt gekregen.
Dan zul je zien dat de verhouding
tussen rood en zwart steeds in de buurt ligt van 7 : 3.
Als je een groot aantal malen 100
knikkers trekt, dan zult je vele malen 70 rode knikkers aan treffen, een minder
aantal malen 71 knikkers, en weer iets minder groot aantal malen 72 knikkers,
enz.
Een enkele maal gebeurt er iets
vreemds - je treft misschien 87 rode knikkers aan of 52.
Doe je deze proef een groot aantal
malen, dan zul je zien, dat je gemiddeld 70 rode knikkers hebt aangetroffen. De
statistiek nu heeft formules ontwikkeld, waarmee je precies kunt berekenen, wat
de kans is, dat je een bepaald aantal rode knikkers in je steekproef aantreft -
als die steekproef maar volgens de regels van de kunst (representatief)
getrokken is.
Dit zijn de berekende uitkomsten
als je de proef een groot aantal malen (100 keer) zou herhalen...
Aantal steekproeven waarin je een
bepaald aantal knikkers aantreft bij een steekproef van steeds 100 knikkers.
Tabel 2
|
||
Aantal getrokken rode knikkers
|
Aantal steekproeven waarin dit
resultaat wordt gevonden
|
|
59 of minder
|
1
|
|
60
|
1
|
|
61
|
1
|
|
62
|
2
|
|
63
|
||
64
|
3
|
|
65
|
5
|
|
66
|
6
|
|
67
|
7
|
|
68
|
|
|
69
|
9
|
|
70
|
9
|
|
71
|
8
|
|
72
|
7
|
|
73
|
7
|
|
74
|
6
|
|
75
|
5
|
|
76
|
4
|
|
77
|
3
|
|
78
|
2
|
|
79
|
1
|
|
80
|
1
|
|
81 of meer
|
1
|
|
Je ziet, dat er slechts een gering
aantal steekproeven voorkomt waarin je 62 of minder knikkers zult aantreffen
(5%) terwijl er in feite 70% rode knikkers in de bak zitten waaruit je de
steekproeven trekt. Al even klein is de kans dat je meer dan 77 knikkers
aantreft (5%). Maar: slechts in ongeveer 9% van de gevallen krijg je bij uw
grote aantal steekproeven van 100 precies het juiste aantal. Namelijk 70.
Twee zaken zijn hierbij van erg
veel belang:
·
Als er een schatting gemaakt wordt
op basis van een steekproef dan zal het slechts in weinig gevallen voorkomen
dat die schatting precies juist is - in veel gevallen vind je 67,68 ,69, of 71,
72, 73... enz. knikkers.
·
De statisticus kan echter ongeveer
aangeven bij welke aantallen een bepaalde schatting erg onwaarschijnlijk wordt:
komen er 70% rode knikkers voor in de bak, dan is het zeer onwaarschijnlijk
-maar niet uitgesloten, dat je er b.v. 60 in een steekproef zou vinden.
Het voorbeeld: nader uitgewerkt.
Wat gebeurd er als ik 1000 of 50 knikkers in mijn steekproef opneem?
Tabel 3
Rode knikkers in de bak
|
Steekproef
omvang
|
Verwachte uitkomst
(Afgerond)
|
Waarschijnlijkheid
|
70%
|
1000
|
72% - 68%
|
90%
|
70%
|
100
|
77% - 62%
|
90%
|
70%
|
50
|
81% - 59%
|
90%
|
Deze redenering zou niet opgaan,
als niet alle knikkers in de bak evenveel kans hadden om door jou getrokken te
worden - is dit wel zo, dan spreekt men van een a-selecte steekproef. Dit is
erg belangrijk. Gewapend met deze elementaire kennis zullen wij nu het
onderzoek bij de bevolking eens nader bekijken.
Onderzoek bij de bevolking:
steekproeftheorie toegepast
Wij stellen aan 500 zorgvuldig a-select
getrokken Nederlandse gezinnen waarbij wij ofwel het mannelijk, ofwel het
vrouwelijk gezinshoofd ondervragen, de vraag: heeft u de beschikking over een
eigen mobiele telefoon?
Uitkomst hebben een mobiele telefoon:
68% (n = 500).
Nu zou het, omdat wij werken met
een steekproef, heel toevallig zijn, als in werkelijkheid precies 68% van de
gezinnen een mobiele telefoon had. We weten, gezien de hierboven geschetste
theorie wel, dat het aantal in de buurt moet liggen.
De onderzoeker kan je gelukkig wel
wat meer exactheid geven.
Hij kan je het volgende vertellen:
Als je bij 500 gezinnen in 68% van de gezinnen een mobiele telefoon aantreft,
dan...
Tabel 4
N=500
Uitkomst 68%
|
||
Heb je een kans van….
|
Dat de geschatte werkelijkheid
ten minste is:
|
Dat de geschatte werkelijkheid
niet meer is dan:
|
60%
|
66%
|
70%
|
90%
|
64,5%
|
71,5%
|
95%
|
64%
|
72%
|
99%
|
62,5%
|
73,5%
|
Praktijk: Meestal wordt een
nauwkeurigheidsniveau van 95% gehanteerd.
Belangrijkste conclusies:
·
Binnen zekere marges kan je een
schatting kunt maken van het mobiele telefoonbezit bij de bevolking.
·
Naarmate je meer zekerheid wenst moet
de steekproefomvang vergroot worden, zodat de marges kleiner worden.
Met andere woorden, als je een heel zekere uitspraak
wenst te doen over het mobiele telefoon bezit bij gezinnen (met 99% kans dat
het werkelijk % telefoons binnen een bepaald interval ligt), dan kun je
hoogstens zeggen, dat het aantal gezinnen met mobiele telefoon zal liggen
tussen 62.5% en 73.5% .
Wil je een nauwkeurigere schatting
met echter een groter risico (vaak gezien het doel van het onderzoek, want daar
gaat het om, best verantwoord) dan kun je met 90% zekerheid zeggen dat het mobiele
telefoonbezit ligt tussen 64.5% en 71.5%
Een dergelijke redenering kan en
moet worden toegepast bij ieder onderzoek dat gebaseerd is op steekproeven.
Waar hangt de steekproefmarge van
af?
De marges waarvan hierboven sprake
is (men noemt ze meestal nauwkeurigheidsmarges) hangen van drie belangrijke
factoren af :
·
De mate van zekerheid die je wenst
(dat hebben we hierboven al gezien).
·
De aard van het gevonden percentage
in de steekproef (naarmate het percentage verder van 50% af ligt, naar boven of
beneden, zijn de marges kleiner).
·
De grootte van de steekproef die
werd ondervraagd.
En nu iets zeer belangrijks:
De grootte van de marges bij steekproef
uitkomsten hangt niet samen met de omvang van de bevolking waaruit de
steekproef werd getrokken mits slechts een fractie van de bevolking werd
ondervraagd. Dit is bijna altijd het geval bij enquêtes.
Met andere woorden: als je het
telefoonbezit bij de bevolking wilt schatten met een steekproef van 500
gezinnen maakt het niets uit of dat nu gaat om een bevolking van 100.000
gezinnen of om 4.2 miljoen gezinnen!
De nauwkeurigheid van een uitkomst
hangt niet af van de grootte van de bevolking! Bij een wisselende omvang van
een populatie geldt, dat een zelfde grootte van een steekproef dezelfde
nauwkeurigheid oplevert.
Wel is het van groot belang dat de
steekproeftrekking verantwoord (a-select) werd verricht. Dan spreken wij over
een representatieve steekproef . Vanzelfsprekend is het veel moeilijker een
verantwoorde steekproef van n=1.000 te trekken in China dan in Luxemburg.
Letten op marges
Wie rapporteert over
onderzoekresultaten zal altijd op de marges moeten letten die gelden bij de
uitkomsten. Het maakt daarbij een enorm verschil of slechts 150 mensen werden
ondervraagd, of dat er 1.200 mensen bij het onderzoek werden betrokken.
Het kan ook eenvoudiger: In de bijlage is een nomogram opgenomen. Je
kunt met behulp van dit nomogram bij benadering de marges vaststellen bij
steekproeven van verschillende omvang (horizontaal) en verschillende
percentages voor uitkomsten (de curven). De marges (die je moet optellen en
aftrekken van het gevonden percentage) vind je dan op de verticale as.
Er is ook speciale software
beschikbaar die de exacte berekeningen voor je kunnen uitvoeren.
Marges hangen af van de omvang van
de subgroepen
Als een steekproef wordt
onderverdeeld in groepen, bij voorbeeld naar geslacht en leeftijd, dan hangen
marges af van het aantal mensen in die groepen en niet van de omvang van de
totale steekproef.
Onderzoek onder thuiswonende kinderen
in de leeftijd van 4 – 20 jaar.
Aan de ouders werd toestemming
gevraagd.
Heb je in de afgelopen zomer een
bezoek aan dierentuin X gebracht?
Tabel 5
Bezoek aan Dierentuin X naar leeftijdgroepen
|
Leeftijdsgroep
|
|||
totaal
|
4-10
jaar
|
11-15 jaar
|
16 jaar en ouder
|
|
%
|
%
|
%
|
%
|
|
Brachten een bezoek
|
15
|
21
|
15
|
9
|
Brachten geen bezoek
|
85
|
79
|
85
|
91
|
Totaal
|
100%
|
100%
|
100%
|
100%
|
Aantal ondervraagden
|
350
|
110
|
120
|
120
|
Verschillen tussen percentages
binnen een steekproef.
Hierboven hebben we gezien, dat
uitkomsten uit onderzoek bij steekproeven altijd schattingen zijn - bij die
uitkomsten gelden marges. Dat betekent natuurlijk, dat we erg voorzichtig
moeten zijn met het interpreteren van verschillen tussen percentages.
Dergelijke verschillen moeten op
hun betekenis getoetst worden, hetgeen wil zeggen dat nagegaan moet worden, in
hoeverre zij veroorzaakt worden door 'toevallige' steekproef- afwijkingen.
In het voorbeeld hierboven bleek
uit het steekproefonderzoek, dat 21% van de kinderen in de leeftijdsgroep 4 -
10 jaar een bezoek bracht aan de dierentuin, terwijl dat bij de leeftijdsgroep
11 - 15 jaar 15% is.
De vraag is nu, in hoeverre er
zekerheid bestaat, dat deze percentages ook in werkelijkheid (bij de bevolking
waaruit de steekproef werd getrokken) van elkaar zullen verschillen. Men kan nu
(alweer met behulp van een formule) berekenen dat er een grote kans bestaat,
dat er bij een dergelijke uitkomst geen verschil bij 'de bevolking 'aanwezig is
(die kans ligt in de buurt van .25). We blijven dan aan de veilige kant als we
aannemen, dat het gevonden verschil geen werkelijke betekenis heeft, doch te
wijten is aan steekproef-onnauwkeurigheid.
Een belangrijke regel:
In tabellen waarin resultaten van
onderzoek gebaseerd op steekproeven worden vermeld, moeten altijd de aantallen
ondervraagde personen worden aangegeven. Alleen dan kan men zich een oordeel
vormen over de waarde van de resultaten.
Verschillen tussen percentages
wanneer steekproeven op verschillende tijdstippen worden vergeleken.
Bedrijven
willen natuurlijk vaak weten of bepaalde kengetallen veranderen. Men wil
bijvoorbeeld de bekendheid van een product verhogen of men wil weten hoe het
imago van het product of de dienst zich in de tijd ontwikkeld. Door middel van
marktonderzoek kan men de ontwikkeling wekelijks, maandelijks of jaarlijks
volgen. We noemen dit het monitoren van kengetallen. Bij stage opdrachten
bestaat er een gerede kans dat men je vraagt de cijfers te interpreteren.
Nu volgt weer een belangrijke regel. Altijd even controleren.
Wanneer een
percentage stijgt/daalt ten opzichte van de vorige meting kan dit veroorzaakt
worden door vier factoren:
1/Een steekproefafwijking.
Dit verschijnsel hebben wij reeds uitgebreid aan de orde gesteld. Zie
tabel 4.
2/Een verandering in de steekproefsamenstelling.
Denk even aan het voorbeeld van dierentuin X in tabel 5. Stel dat er in de
categorie “16 jaar en ouder” geen 120 personen waren ondervraagd maar slechts 30. Dan was het percentage bezoekers binnen
de totale steekproef op 17% uitgekomen. Altijd even controleren derhalve of de
steekproefopbouw van meting 1 voldoende vergelijkbaar is met de
steekproefopbouw van meting 2. Is dit niet het geval dan moeten de
onderzoekgegevens herwogen worden.
Dit betekent dat iedere waarneming in de categorie
“16 jaar en ouder” met 4 moet worden vermenigvuldigd. (4x30=120). Let dan wel
op dat er in de categorie “16 jaar en ouder” voldoende waarnemingen hebben
plaatsgevonden. Het aantal waarnemingen (30) is in dit geval te gering om een
betrouwbare schatting van de resultaten van de deelcategorie te kunnen maken.
De vuistregel zegt dat er tenminste 75 waarnemingen in een herwogen steekproefsegment
moeten zitten om zinvol te kunnen herwegen.
3/ Procesafwijkingen.
Ook veranderingen in vraagstellingen, vraagvolgorde, onderzoeksopzet en
respondenten selectie kunnen de uitslagen sterk beïnvloeden en onvergelijkbaar
maken. Vooral in situaties waarin het veldwerk door verschillende bureaus werd
uitgevoerd is zeer grote waakzaamheid geboden.
4/ Ontwikkelingen in de
tijd
Pas wanneer we hebben
vastgesteld dat de factoren 1,2,en 3 onder controle zijn kunnen we spreken van
een echte verandering.
============================================================
============================================================
Hoofdstuk 3 - Regels voor rapportage
in verband met de steekproefmethode
·
Een onderzoekrapport hoort een
beschrijving te omvatten van de steekproeftechniek die gehanteerd werd door het
marktonderzoekbureau. Wil je weten in hoeverre die van invloed is geweest op de
resultaten dan dient een deskundige geraadpleegd te worden - de
steekproeftheorie vormt een moeilijke materie.
·
Houdt bij interpretatie van
uitkomsten en verschillen daartussen altijd rekening met marges.
·
Bij alle uitkomsten altijd de
aantallen ondervraagden vermelden.
·
Bij bepaalde onderzoekmethoden
(schriftelijk of telefonisch onderzoek) speciaal oppassen: steekproeven daarbij
zijn aan belangrijke beperkingen onderhevig (we bespreken die nog).
Rekening houden met de mate van
zekerheid waarmee gesteld kan worden dat een uitkomst tussen twee marges ligt:
bij opinieonderzoek wordt vaak gewerkt
met een niveau van 90 of 95%. Dat betekent dat af en toe een uitkomst zeer
belangrijk kan verschillen van de werkelijkheid (zelfs in een casino verschijnt
soms negen maal achter elkaar de kleur rood bij de roulette, ook al is de kans
daarop heel klein (0,00195%). Absolute zekerheid omtrent een uitkomst bestaat
helaas niet bij steekproefonderzoek.
Een andere storende factor
Het komt nooit voor, dat alle
personen die in een uitgangssteekproef voorkomen ook werkelijk ondervraagd
kunnen worden. Zelfs bij de best geleide en gecontroleerde onderzoeken zal men
zelden meer dan ongeveer 70% van de mensen kunnen bereiken.
Een aantal mensen weigert om
uiteenlopende redenen medewerking aan enquêtes. Verder zijn mensen soms ondanks
veelvuldig herbezoek door de enquêteur niet thuis te treffen, of zijn ziek,
overleden, etc.
Bereikbaarheid en weging
In principe zou non-respons, zoals
we dit verschijnsel noemen, niet erg zijn, als de onderzoeker er zeker van zou
kunnen zijn, dat de mensen die niet meewerken dezelfde kenmerken hebben als de
mensen die dat wél doen. Vaak echter blijkt dat bepaalde bevolkingsgroepen
(welgestelden, jongere alleenstaanden, allochtonen) minder makkelijk bereikt
kunnen worden dan anderen. Deze factor zal dan de resultaten van het onderzoek
beïnvloeden, ook al kan men de uitkomsten van de enquête enigszins corrigeren
voor onder-gerepresenteerde groepen door weging.
Verantwoording van de respons
Een onderzoekrapport dat aan
wetenschappelijke eisen voldoet, geeft in de technische onderzoekverantwoording
een overzicht van de behaalde respons mét de redenen, waarom een groep mensen
niet meewerkte.
Bij interpretatie van uitkomsten
gebaseerd op enquêtes met zeer lage respons (20% is bij schriftelijk onderzoek
geen uitzondering) moet men erg voorzichtig zijn: de kans is groot dat het
resultaat door de non-respons ernstig vertekend is.
Tenslotte dient
men altijd na te gaan, welke (bevolkings)groep bij de enquête werd betrokken.
Sommige enquêtes bij voorbeeld worden uitgevoerd bij huisvrouwen, andere bij
mannelijke gezinshoofden, weer andere bij personen van 16 - 50 jaar, etc.
Uitkomsten mogen uiteraard nooit
gegeneraliseerd worden buiten de (bevolkings)groep waaruit de steekproef werd
getrokken!
De regels die hier werden gegeven
zijn kunnen als volgt worden samengevat:
·
Bij evaluatie en interpretatie van
enquêtegegevens moet worden gelet op de omvang en de aard van de non-respons
(personen uit de originele steekproef die om een of andere reden niet
meewerkten).
·
Let op de (bevolkings)groep die bij
het onderzoek werd betrokken: generalisatie daarbuiten is niet verantwoord.
Onderzoekmethoden en hun invloed op
de onderzoekresultaten
Onderzoek waarover gerapporteerd
wordt, berust vrijwel altijd op ondervraging van mensen. Dit betekent, dat
mensen die deel uitmaken van een steekproef ondervraagd worden met behulp van
een (digitale) vragenlijst of door middel van online chats.
Het vraaggesprek kan dan op
verschillende wijze plaats vinden:
·
Face-to-face. In direct contact
tussen ondervraagde en enquêteur.
·
Schriftelijk (met een vragenlijst
die wordt toegezonden of overhandigd).
·
Telefonisch onderzoek.
·
Online Panel onderzoek.
·
Online community onderzoek.
·
Website recruitering.
Face-to-Face De meest klassieke onderzoeksvorm. Door de relatief hoge kosten
en de afnemende bereikbaarheid van respondenten heeft deze vorm van onderzoek
aan belang ingeboet. In het geval van huis-aan-huis enquêtes verdient het aanbeveling om een adres
meerdere malen te bezoeken in een geval van “niet thuis”. Dit om een betere
representativiteit van de onderzoeksresultaten te verkrijgen. In een aantal situaties is face-to-face
contact noodzakelijk. Bijvoorbeeld wanneer er zaken moeten worden geproefd. Tonen kan ook on-line, maar niet
3-dimensionaal en niet op ware grootte.
Ook straat enquêtes zijn nog steeds
populair. Het is hierbij makkelijk om respondenten te selecteren. Hier staat
tegenover dat men weinig weet over de representativiteit van de deelnemers. Of
dat een bezwaar is, is afhankelijk van de doelstelling van het onderzoek. Het komt ook voor dat is respondenten op
straat geselecteerd worden en dat hen vervolgens gevraagd wordt mee te gaan naar
een zaaltje of caravan om vragen te
beantwoorden.
Schriftelijk Deze methode is in Nederland niet populair. Het aantal
ontvangers die de enquête terugsturen is gering. Onder de 20%. Daarnaast is
niet bekend wie de onderzoeksvragenlijst daadwerkelijk heeft ingevuld. Online
panels kennen deze nadelen niet en deze methode verdient derhalve de voorkeur.
Zie hieronder.
Telefonisch Vroeger het logische alternatief voor face-to-face onderzoek.
Tegenwoordig minder vaak toegepast. Het onderzoek kan snel (computergestuurd)
worden uitgevoerd. De representativiteit staat echter onder druk om dat steeds
meer huishoudens hun vaste lijnverbinding vervangen door (meerdere) mobiele
telefoonabonnementen. Marktonderzoek met behulp van mobiele telefoons is
daarnaast moeilijker omdat veel respondenten hiervan niet gediend zijn. Een
panel van mobiele telefoonbellers is natuurlijk wel mogelijk. Telefonisch
onderzoek is daarnaast een nog steeds veel gebruikte methode als het gaat om business-to-business
onderzoek. Managers/werknemers bij bedrijven zijn nu eenmaal beter te bereiken per
telefoon.
Online Panels De meeste online panels zijn opgebouwd met behulp van
non-probability sampling. Dat wil zeggen: Er is geen steekproef getrokken uit
een van te voren gedefinieerd universum. Panel deelnemers komen tijdens het
surfen in contact met het online panel of gaan bewust op zoek naar online
panels. Motieven: Willen meepraten over onderwerpen, deelgenoot worden van een
groep, beloningen ontvangen. Opdrachtgevers waarderen de lage kosten van
dataverzameling en de snelle levertijden.
Uit het gevormde panel worden
vervolgens, ten behoeve van projecten, random steekproeven getrokken. De
representativiteit van de socio-demografische kenmerken kan dan, middels een
zeer verfijnde stratificatie, zelfs beter worden gewaarborgd dan bij de
traditionele methoden van dataverzameling. Het probleem van de non-respons is
nagenoeg verdwenen en door de verfijnde quoteringsmogelijkheden kan zelfs een
betere statistische nauwkeurigheid worden verkregen. Dit geldt met name als
face-to-face onderzoek vervangen wordt door onderzoek met behulp van online
access panels.
Waarschuwing: Een
online panel beheren is een vak apart. Met name als het gaat om de om de opbouw
en beheer van het panel en het opstarten en beëindigen van projecten. Foute
procedures kunnen tot zeer onbetrouwbare onderzoeksresultaten leiden.
Online community De methode waarbij een “dedicated online panel” exclusief
geselecteerd wordt voor een specifieke opdrachtgever. Een opdrachtgever staat
daarmee in een soort permanente verbinding met zijn klanten of doelgroep en kan
hen voor allerlei onderzoeken gebruiken. Wordt veelvuldig ingezet t.b.v.
productinnovatie, klanttevredenheidsregistraties en het monitoren van meningen
binnen publieksgroepen. De methode wint snel aan populariteit. Voor de
dataverzameling zijn vragenlijsten minder gebruikelijk. Bij voorkeur werkt men
met chatprocedures en specifieke opdrachten zoals fotograferen, filmen en story-telling.
Website recruitering Websites kunnen
worden gebruikt om onderzoeksdeelnemers te rekruteren wanneer deze een website
bezoeken. Een goedkope selectiemethode. Dit heeft een tweetal nadelen. Niet
alleen is hier sprake van non-probability sampling. Dat wil zeggen. Je hebt
geen idee wie de website bezoekers precies zijn en er is daarnaast ook sprake
van zelfselektie. Website bezoekers kunnen zelf bepalen of zij meedoen met het
onderzoek. Dit impliceert dat gedreven aanhangers en ontevreden
websitebezoekers eerder zullen reageren dan ongeïnteresseerden en gematigd
tevredenen. De representativiteit van dit type onderzoek is derhalve beperkt.
Een voorbeeld:
onderzoek naar drankgebruik onder jongeren kan niet meer representatief zijn
nadat respondenten toegang hebben verkregen tot het onderzoek via een link op
een site die erop gericht is jongeren met een alcoholprobleem op te vangen. Dit
lijkt logisch maar is in de praktijk daadwerkelijk gedaan door een
gerenommeerde niet-gouvernementele organisatie die is opgericht om alcoholmisbruik
te bestrijden.
De naamgeving van een ’feeder website’ (recruiterings
website) of ‘portal website’ dient
strikt neutraal te zijn: fileleed.nl , alcoholproblemen.nl, etc. zijn
ongeschikte feeder sites als het gaat om de recruitering van respondenten. Wij
geven enige voorbeelden van correcte en incorrecte website recruitment. De lijst in onderstaande tabel is niet bedoeld
als uitputtende opsomming, maar een overzicht van website selecties die wij in
het afgelopen periode zijn tegen gekomen.
Tabel 6: Voorbeelden van foutief en juist gebruik van
feeder links op websites.
Voorbeeld
|
Advies
|
Onderzoek onder Nederlanders door
middel van een banner op de website van een landelijk dagblad.
|
Niet doen
|
Onderzoek onder huisartsen door
middel van een banner op de website
van een nieuwszender.
|
kan wel mits goed gescreend
|
Onderzoek onder huisartsen door
middel van een banner op de website van een politieke partij over onderwerp
met een politieke lading.
|
Niet doen
|
Onderzoek naar job satisfactie
door middel van een banner op de website van een uitzendbureau.
|
Niet doen
|
Onderzoek naar job satisfactie
door middel van een banner op de website van een uitzendbureau die doorlinkt
naar de website: www.hetnationalewerkonderzoek.nl
|
Niet doen
|
Onderzoek naar latent
homoseksueel gedrag onder hetero-seksuelen. Gelet op het specifieke karakter
van de te onderzoeken doelgroep zijn alle sampling methoden toegestaan.
|
enige mogelijkheid
|
Online Onderzoek – Het voorkomen
van meervoudige participatie
Het onderzoek moet zodanig worden
opgezet en/of geprogrammeerd dat het meerdere malen meedoen aan hetzelfde
onderzoek niet tot de mogelijkheden behoort. Bij korte simpele onderzoeken is
de kans op substantiële meervoudige deelname aanmerkelijk groter dan bij
onderzoeken waarvan het invullen van de vragenlijst een tijdrovende bezigheid
is. Onder alle omstandigheden moet een ‘digital fingerprinting’ programma meervoudige
deelname traceren en elimineren. Respons verhogende
incentives zoals geldelijke vergoeding en deelname aan wedstrijden of
populariteitstoetsingen dienen, gelet op het gevaar dat respondenten meerdere
malen gaan deelnemen, dan ook achterwege
te blijven.
Online Onderzoek - Doelgroep
definiëring
Bij onderzoek onder beperkte
specifieke doelgroepen dient te worden vastgesteld of de deelnemer inderdaad
tot de doelgroep behoort. Bij online panels kan deze verificatie worden
uitgevoerd op basis van eerder verzamelde gegevens. Adhoc selecties via
websites zijn gebaseerd op zelfselektie van respondenten en dit betekent dat de
verificatie achteraf zal moeten plaatsvinden.
Online Onderzoek - Populariteitsmetingen
Populariteitsmetingen lenen zich
niet voor website recruitering Het is
zelfs de vraag of hier sprake is van marktonderzoek. Bekend zijn de voorbeelden
waarbij de nieuwe Bijbelvertaling de NS Publieksprijs voor het Nederlandse Boek
2005 won. Hierbij speelde een rol dat het Nederlands Bijbelgenootschap (NBG)
campagne voerde om geloofsverwanten te bewegen mee te doen en op de Bijbel te
stemmen. Het toiletreinigingsmerk “WC eend” won in 2007 de GVR prijs als meest
populaire slagzin aller tijden door een oproep van Geenstijl op het internet.
Online Onderzoek - Over welke
doelgroep doen we uitspraken
Er dient nauwkeurig te worden
aangegeven voor welk universum de onderzoeksresultaten representatief zijn.
Niet alleen in de inleiding of in de onderzoeksverantwoording, maar door de
gehele tekst van de rapportage. Omschrijvingen zoals “De Nederlander”, “de
burger”, “men” dienen niet te worden gebruikt als dit niet op waarheid berust.
Online Onderzoek - Waar komt de respondent vandaan
Onder alle omstandigheden dient een
verifieerbare registratie plaats te vinden van de herkomst van de onderzoek deelnemer.
Voorbeeld: Hoe kwam men op de site terecht?
Dit is vooral van belang bij volgtijdelijk
onderzoek. Hiermee bedoelen wij onderzoeken die op een later tijdstip worden
herhaald om veranderingen te registreren.
Online
Onderzoek –Kwaliteitsbeoordeling van steekproeven uit panels
De kwaliteit van de diverse
online panelaanbieders loopt fors uiteen. Er is derhalve behoefte aan een
kwaliteitsvergelijking. Hierbij kunnen de volgende dimensies worden
onderscheiden:
·
Zij de
socio-demografische kenmerken in overeenstemming met die van de
onderzoeksdoelgroep?
·
Hoeveel
tijd heeft de online respondent aan het onderzoek besteed?
·
Hoe
consistent waren de antwoorden?
·
Hoe
genuanceerd was de invulling van schalen?
·
Hoe
uitgebreid waren de antwoorden op open vragen?
·
Hoe
bruikbaar waren de antwoorden op open vragen?
·
Hoe
tevreden was de respondent na invulling van de vragenlijst?
·
Waarom
heeft de respondent aan het onderzoek meegedaan?
Opdrachtgevers willen dit weten (of
zouden dit moeten willen weten) in verband met het volgende:
·
Opdrachtgevers willen zekerheid
hebben over de kwaliteit van de steekproefsamenstelling
·
Opdrachtgevers willen de
volgtijdelijke ontwikkelingen op de markt monitoren. Dat kan natuurlijk alleen
maar zuiver worden vastgesteld als de steekproeven vergelijkbaar zijn.
·
Opdrachtgevers willen de
panelkwaliteit van diverse aanbieders kunnen beoordelen.
=======================================================================
Hoofdstuk 4 - Vragen en vragenlijst: altijd speciale aandacht
waard
De vragenlijst vormt een zeer
belangrijk onderzoekinstrument: de waarde van de uitkomsten hangt er voor een
belangrijk deel van af. We zullen dan ook eerst enkele opmerkingen daarover
maken.
Niet voor niets bevat elk (deugdelijk)
onderzoekrapport een exemplaar van de bij het onderzoek gebruikte vragenlijst.
De wijze van vraagstelling namelijk
kan een zeer belangrijke invloed hebben op de antwoorden die de onderzoeker
krijgt. Wij geven een praktijkvoorbeeld:
Tabel 7
Vraagstelling
|
Voor
|
Steekproef
|
Bent U voor of tegen een forse
stijging in overheidsuitgaven voor mogelijkheden en voorzieningen voor armen,
zodat zij meer kans hebben om vooruit te komen in het leven.
|
72%
|
n=1000
|
Bent U voor of tegen een forse
stijging in overheidsuitgaven voor mogelijkheden en voorzieningen voor armen,
zelfs als dit leidt tot hogere belastingen.
|
44%
|
n=1000
|
Een belangrijke regel bij evaluatie
en interpretatie van onderzoekresultaten is dan ook:
Bekijk bij evaluatie en
interpretatie van onderzoeksresultaten altijd de originele vraagstelling.
Dikwijls vind je in
onderzoekrapporten boven de tabellen een zeer beknopte weergave van het
onderwerp van vraagstelling.
Dit is niet voldoende voor een
oordeel omtrent de waarde van de resultaten - daarvoor is het bestuderen van de
gestelde vraag absoluut noodzakelijk.
Waar je bij vragenlijsten op kunt
letten...
·
Was de gestelde vraag helder
geformuleerd, ondubbelzinnig, niet suggestief?
·
Was de aard van de vraag een open
vraag (waarbij de respondent een 'vrij' antwoord kan geven) of een gesloten
vraag (waarbij hij alleen maar kan reageren met voorgelegde antwoord
mogelijkheden), of een bewering die werd voorgelegd (waarbij de ondervraagde
kan zeggen, in hoeverre hij het er mee eens is). Deze vraagtechnieken leiden
tot verschillende antwoorden.
·
Op welke plaats stond de vraag in
de vragenlijst... is er gevaar dat het antwoord beïnvloed is door eerdere
vragen?
·
Is het waarschijnlijk dat de
respondent de vraag kán beantwoorden: beschikt hij over de informatie waarnaar
gevraagd wordt, is het waarschijnlijk dat hij een mening heeft over het
onderwerp waarnaar de vraag werd gesteld?
·
Wat was de lengte van het
vraaggesprek; in welke situatie werd het
gevoerd; welke enquêteurs werden ingeschakeld; hoe werden de enquêteurs
geïnstrueerd en gecontroleerd?
Twee aspecten verdienen speciale
aandacht:
Onder andere bij opinieonderzoek
komt het voor, dat mensen gevraagd wordt naar opinies die voor het vraaggesprek
niet bij hen bestonden ("Wat vindt u... moet Palestina lid worden van de
Verenigde Naties, of vindt u dat Palestina geen lid moet worden?").
Aangezien mensen nogal eens het
gevoel hebben dat het dom staat
tegenover de enquêteur om géén mening te hebben ("weet niet") krijgt
men bij dergelijke vragen nogal eens antwoorden die niet zo erg relevant zijn -
het antwoord hangt dan meer af van de gesprekssituatie of de wijze van
vraagstelling dan van een eerder bestaande mening bij de respondent. Dit geldt
natuurlijk speciaal bij gecompliceerde zaken.
Voorts zijn er natuurlijk allerlei
gebieden, waarop men van geënquêteerden slechts in beperkte mate een
"eerlijk" antwoord kan verwachten (seks, drugsgebruik, zwart werken,
belastingontwijking, etc.). Mensen doen zich nu eenmaal tegenover enquêteurs,
precies als tegenover andere "vreemden", graag aardig, intelligent en
fatsoenlijk voor, ook als daar, zoals bekend, in de praktijk van het dagelijks
leven nogal eens het één en ander aan ontbreekt.
Het zou te ver voeren je te
vertellen, welke maatregelen de geroutineerde onderzoeker kan nemen om deze
effecten zoveel mogelijk te beperken. Hij kan bijvoorbeeld een belangrijke
vraag bij de helft van de steekproef in een andere vorm stellen om na te gaan,
welke invloed de wijze van vraagstelling op de antwoorden heeft. Hij kan in dezelfde
enquête vragen in negatieve en positieve vorm stellen, etc., etc.
Onderzoek wordt ook nogal eens
schriftelijk uitgevoerd, meestal met een vragenlijst die de mensen wordt
toegezonden. Deze techniek deugt in de eerste plaats niet erg voor
opinie-onderzoek omdat niet bekend wie de onderzoeksvragenlijst daadwerkelijk
heeft ingevuld en of anderen de antwoorden hebben beïnvloed. Voorts dient bij
schriftelijk onderzoek in het bijzonder gelet te worden op de verkregen
respons. Worden er geen speciale maatregelen genomen om die te stimuleren
(beloningen, reminders, e.d.), dan liggen de deelnamepercentages vaak ruim
onder de 20 %.
De effecten die dan optreden - men
kan b.v. aannemen dat het mensen zijn met speciale eigenschappen die de moeite
nemen om te antwoorden - kan men niet compenseren door het nemen van grotere
steekproeven (ook al verbeelden sommigen zich dat wel). Bij evaluatie van
schriftelijk onderzoek dient men dan ook in de eerste plaats te kijken naar
aard en omvang.
====================================================================
Hoofdstuk 5 -
Codes voor het markt- en opinieonderzoek - Zelfregulatie
De markt- en opinieonderzoekers
zijn zich er al in vroeg stadium van bewust geworden, dat een zekere mate van
'regulatie' op hun werkterrein noodzakelijk is. Dit ter bescherming van de belangrijkste
partijen die bij het onderzoek betrokken zijn: de opdrachtgevers, het publiek
en de uitvoerende instituten.
De code die algemeen wordt gevolgd
is die welke tot stand is gekomen door samenwerking tussen ESOMAR (European
Society for Opinion and Marketing
Research) en de Internationale Kamer van Koophandel. Deze code geldt ook voor
leden van de Marktonderzoek-associatie (MOA). Belangrijke aspecten van de code
zijn onder meer:
·
een exemplaar van de gebruikte
vragenlijst moet beschikbaar zijn.
·
een volledige verantwoording van de
aard en de omvang van de bij het onderzoek gebruikte steekproef.
·
een compleet overzicht van de
resultaten verkregen bij alle vragen van het onderzoek.
Bescherming van de respondenten:
Er wordt strikt de hand gehouden
aan de anonimiteit van informanten: instituten die onderzoek verrichten mogen
géén namen of adressen van respondenten doorgeven aan derden. Ook mogen onder geen enkele voorwaarde
verkoopactiviteiten bedreven worden onder het mom van 'marktonderzoek' (helaas
komt deze praktijk, ondanks alle pogingen van de MOA om hier een eind aan te
maken) , nog steeds voor.
Bescherming van de opdrachtgevers:
Van belang is, dat in de codes
strikte richtlijnen worden gegeven omtrent de rapportering van onderzoek. Er
wordt omschreven, aan welke voorwaarden een onderzoekrapport behoort te
voldoen. De opdrachtgever behoort zich een mening te kunnen vormen over de
waarde van het onderzoek en het rapport dient dan ook onder meer te omvatten:
·
een exemplaar van de gebruikte vragenlijst.
·
een volledige verantwoording van de
aard en de omvang van de bij het onderzoek gebruikte steekproef.
·
een compleet overzicht van de
resultaten verkregen bij alle vragen van het onderzoek.
·
De identiteit van de opdrachtgever.
·
De periode waarin het veldwerk werd
uitgevoerd.
