Online non-probability sampling.
Veranderende paradigma’s in het marktonderzoek
Lex Olivier
Samenvatting
Dit artikel moet gezien worden als een discussiestuk dat ingaat op de vraag in welke mate online non-probability sampling de traditionele probability sampling zal en kan vervangen.
De stormachtige ontwikkelingen die zich op dit moment binnen het marktonderzoek voltrekken, maken een grondige herbezinning noodzakelijk van de wijze waarop wij tegen een aantal kernwaarden binnen ons vak aankijken. Zo kan de vraag gesteld worden wat er overblijft van het begrip representativiteit wanneer minder dan twintig procent van de potentiele respondenten uiteindelijk aan het onderzoek deelneemt. Doordat marketeers over steeds meer interne informatie kunnen beschikken, zijn zij dan ook steeds meer geneigd om representativiteit in te wisselen voor snelheid en frequentie. Dit impliceert dat marktonderzoek zich, naast het verwerven van ‘insights’, steeds meer zal gaan bezig houden met de waarom-vraag en steeds minder met de wat-vraag. De mogelijkheden die online en de sociale media het marktonderzoek bieden versnellen deze paradigma verschuivingen. Marktonderzoek zal hierdoor veranderen, waarbij ervoor gewaakt moet worden dat het goede niet verloren gaat. Dit geldt met name als het gaat om de validiteit van onderzoeksresultaten. De representativiteit van een steekproef is één van de meest belangrijke kwaliteitskenmerken binnen het marktonderzoek en in dit artikel wordt ingegaan op de vraag wat het betekent als non-probability sampling de traditionele random steekproef in belangrijke mate gaat vervangen. Centraal in het artikel staat ‘online river sampling’. Onder ‘online river sampling’ verstaan wij het werven van respondenten door met hen contact te zoeken tijdens hun openbaar toegankelijke internet activiteiten.
1 Inleiding
De voortschrijdende technologische ontwikkelingen veroorzaken opnieuw drastische veranderingen in het marktonderzoek landschap. Dit heeft gevolgen voor de wijze waarop er binnen het marktonderzoek over steekproeftrekking en onderzoeksvaliditeit wordt gedacht.
Dit artikel moet gezien worden als een discussiestuk dat ingaat op de vraag in welke mate online non-probability sampling de traditionele probability sampling zal en kan vervangen.
Nog steeds zijn er wetenschappers die blijven wijzen op het feit dat alleen op basis van random steekproeven gegeneraliseerd mag worden naar de totale populatie. Desondanks mag verwacht worden dat in de dagelijkse praktijk van het marktonderzoek non-probability sampling in de toekomst sterk aan terrein zal winnen. Dit ten koste van probability sampling; beter bekend als kanssteekproef . Een probability sample is een steekproef waarbij elk element uit de populatie een bekende kans (groter dan 0) heeft om getrokken te worden. Dit in tegenstelling tot een non-probability sample waarbij geen sprake is van een bekende trekkingskans.
Non- probability sampling is populairder dan menigeen denkt. Zo gebruiken marktonderzoekers bij grote levensmiddelen concerns al sinds decennia veelvuldig non-probability quota samples; o.a. bij de uitvoering van smaaktesten. Dan is er weliswaar sprake van een, mogelijk minder representatieve, non-probability sample maar de mogelijkheden om marketing (sub) doelgroepen gequoteerd te kunnen selecteren werd en wordt nog steeds als een belangrijk voordeel gezien van deze werkwijze. Daarnaast leerde de ervaring dat, door de homogeniteit van het universum, de onderzoeksuitkomsten bij deze vorm van quota sampling niet wezenlijk afweken van de uitkomsten van probability samples.
Iedere vorm van steekproeftrekking heeft zo zijn eigen nadelen. Bij straatselektie ontstaat de kans dat de werkende bevolking ondervertegenwoordigd is en een telefonische steekproef selectie (door middel van random digit dialing) zal ertoe leiden dat de jongeren slecht vertegenwoordigd zijn. Deze groep is veelal niet thuis en steeds vaker alleen maar via een mobiele telefoon bereikbaar. Daar tegenover staat het feit dan ouderen minder vaak gebruik maken van de mogelijkheden die de sociale media bieden en minder actief zijn op internet. Wij constateren dan ook een ware versplintering van het respondentenlandschap waarbij geen enkele methode van steekproef trekken de volledige populatie nog in beeld brengt. De Leeuw (2009) pleit voor Mixed Mode opzetten waarbij verschillende methoden van dataverzameling in een steekproef worden benut. Nu staat de methode van dataverzameling in principe los van de wijze van steekproeftrekking, maar het is denkbaar dat bij elke wijze van dataverzameling een verschillende wijze van steekproeftrekken wordt benut.
Response percentages van telefonisch onderzoek komen steeds verder onder druk te staan (Stoop 2005) en naarmate de telefonische non-response hoger wordt zullen degenen die wel aan het onderzoek deelnemen steeds minder representatief zijn voor degenen die niet aan het onderzoek deelnemen. De verwachting is dat non-probability sampling in het algemeen en “online river sampling” in het bijzonder door al deze ontwikkelingen snel aan populariteit zal winnen.
Onder “online river sampling” verstaan wij het werven van respondenten door met hen contact te zoeken tijdens hun openbaar toegankelijke internet activiteiten. Er is weliswaar nog erg weinig onderzoek gedaan naar de validiteit van deze online river sampling als methode van steekproef trekken, maar verwacht mag worden dat daar snel verandering in gaat komen.
2 De trade-off tussen snelheid en kwaliteit
De marketeer heeft welbeschouwd geen marktonderzoek nodig om te weten te komen hoe zijn verkopen zich ontwikkelen. Door de voortschrijdende automatisering binnen bedrijven zijn er daarnaast steeds meer interne gegevens ter beschikking gekomen ten behoeve van de besluitvorming. Deze informatie wordt veelal ‘realtime’ verzameld en middels ‘dashboards’ gepubliceerd. Deze interne informatie is bij steeds meer bedrijven en instellingen volledig, actueel, betrouwbaar en bovendien zonder substantiële meerkosten beschikbaar.
Wat de marketeer aanvullend nodig heeft is informatie over de totaalmarkt en belangrijker; informatie over de oorzaken van de gesignaleerde ontwikkeling.
Op de, begin november 2010 gehouden, strategische heroriëntatie‐sessie “Visie op de toekomst” wordt dan ook terecht geconcludeerd dat de waarom-vraag in het toekomstige marktonderzoek nog meer aan belang zal winnen ten koste van de wat-vraag. Daarnaast wil de marketeer antwoord op de vraag welke actie is gewenst en ook hier vervult marktonderzoek een sleutelrol. Wanneer bekend is waar en in welke mate vertekeningen in het marktonderzoek zich voordoen zal de marketeer het verantwoord vinden om, op basis van het totaal aan interne en externe informatie, beleid te formuleren. In de ‘trade-off’ tussen snelheid en nauwkeurigheid blijkt de balans steeds meer te verschuiven naar het snel en frequent verkrijgen van afdoende betrouwbare resultaten.
De vraag kan gesteld worden of dit een bedreiging is voor marktonderzoek. Geenszins. Wel zal het vak marktonderzoek hierdoor in de komende jaren opnieuw drastisch veranderen. Marktonderzoek wordt een steeds geïntegreerder onderdeel van de ‘business intelligence’ van een bedrijf, overheidsinstantie en instelling . Geen verkeerd uitgangspunt wanneer men zich realiseert dat de populariteit van ‘business intelligence’ in de komende vijf jaar nog aanmerkelijk zal toenemen.
3 AAPOR over non-probability sampling
De mogelijkheid om onderzoek via internet uit te voeren werd door marktonderzoekers vrij snel erkend en met verve geïmplementeerd. Met name uit de hoek van de “probability sampling adepten” ontstond de nodige scepsis en wellicht dat dit de aanleiding was voor de online pioniers om massaal voor een veilige weg van de panelmethodologie te kiezen. Immers een panel kan zorgvuldig worden geselecteerd en vervolgens kunnen uit dit panel probability samples worden getrokken.
AAPOR (American Association for Public Opinion Research) is een vereniging die beoogt een platform te zijn voor producenten en gebruikers van onderzoeksresultaten. Een speciaal door hen in het leven geroepen commissie (2010) heeft een groot aantal onderzoeken doorgelopen waarin de uitkomsten van telefonische dataverzameling (CATI) en face-to-face onderzoek (F2F) worden vergeleken met uitkomsten verkregen middels online access panels. Hoewel het rapport zich volledig toelegt op de het vergelijk tussen CATI/F2F en online access panels, wordt ook kort stilgestaan bij de vergelijkbaarheid van probability samples met non-probability samples. Men stelt vast dat er aanzienlijke en onverwachte verschillen zijn tussen de methoden en dat non-probability samples niet geschikt zijn als het gaat om census onderzoek of ander onderzoek waarbij nauwkeurige schatting gemaakt moeten worden van de werkelijkheid. AAPOR waarschuwt derhalve dat men de claim “landelijke representativiteit” moet vermijden wanneer onderzoeksuitkomsten zijn gebaseerd op non-probability panels. Men komt echter tegelijkertijd tot de terechte conclusie dat er situaties denkbaar zijn waarbij de keuze voor een steekproef uit een non-probability panel de juiste keuze is. Een marktonderzoeker die zich bezig houdt met toegepast commercieel onderzoek zal dit zonder meer beamen. Bijvoorbeeld wanneer er sprake is van een monadische vergelijking tussen alternatieven, wanneer campagne-effecten middels pre- en postmetingen worden gemeten, wanneer imagoverschuivingen moeten worden geregistreerd, dan kunnen non-probability samples wel degelijk een, voor het doel geschikt, onderzoeksresultaat opleveren. AAPOR pleit tevens voor “propensity sampling” als middel om de betrouwbaarheid van non-probability samples te verbeteren.
Huizing en van Ossenbruggen et al. (2007) pleiten eveneens voor “Propensity Sampling” als een alternatief om de onderzoek representativiteit te verbeteren. Deze techniek wordt gebruikt voor steekproeven die niet aselect zijn getrokken en waarbij sprake is van zelfselectie. Propensity sampling impliceert dat aan iedere paneldeelnemer, op voorhand, een propensity score wordt toegekend. Deze propensity score bepaalt dan de kans dat een respondent deelneemt aan het onderzoek.
4 Een herbezinning op de methoden van onderzoekvalidatie
4.1 De traditionele onderzoeksvalidatie
Veel aanbieders van online marktonderzoek initiëren onderzoeken die aantonen dat de uitkomsten van de door hun aangeboden methode representatief dan wel vergelijkbaar zijn met bestaande en goed ingevoerde marktonderzoeksmethoden. Hierbij worden dan een drietal vormen van bewijsvoering gebruikt:
• Een vergelijking van non-response percentages
• Een vergelijking tussen de samenstelling van het panel of de steekproef en de beschikbare census data
• Een vergelijking tussen de onderzoeksuitkomsten van een reeds ingeburgerde methode met de onderzoeksuitkomsten van het nieuwe alternatief.
Men kan zich de vraag stellen waarom de beoordeling van representativiteit van de steekproef meestal plaatsvindt op basis van de socio-demografische kenmerken zoals leeftijd, geslacht, en woonplaats. Zowel het retail-panel als het consumenten-panel, waarvan de validiteit door Leeflang en Olivier (1980) werd onderzocht, blonken uit door een perfecte fit voor wat betreft de traditionele representativiteitskenmerken. Desondanks werden forse onderdekkings- en overdekkingsverschillen aangetroffen. In het consumenten-panel waren laag geprijsde producten oververtegenwoordigd en bij een retail-panel was het omgekeerde het geval.
Uiteindelijk bleek non-response de oorzaak van deze afwijkingen te zijn. Op basis van de standaard socio-demografische kenmerken (leeftijd - regio - opleiding -gezinssamenstelling) voldeed het consumentenpanel volledig aan de strengste statistische eisen. Er waren echter bepaalde groepen respondenten die nauwelijks bereid bleken deel te nemen aan het panel
(o.a. jongeren, hoog opgeleiden en full time werkenden). Door een uiterste krachtsinspanning kwamen deze groepen uiteindelijk wel evenredig voor in het consumentenpanel. Echter door de extreem hoge non-response binnen deze groepen (hoger dan 80%) waren de panel-deelnemers niet meer representatief voor hun subgroep. Nader onderzoek leerde dat het consumentenpanel hierdoor af week van de censusgegevens op dimensies als godsdienst, aantal uren betaalde arbeid per maand en leesgedrag.
Het retail panel werd eveneens geconfronteerd met non-response door de weigering van retailers, zoals Aldi, om mee te werken aan de retail audit.
Deze destijds gesignaleerde wetmatigheden bestaan nog steeds. Wanneer de opbouw van online panels beoordeeld wordt, is het niet onverstandig de lessen uit het verleden ter harte te nemen.
De meerderheid van online valideringsonderzoeken (bijvoorbeeld Walker (2005)) komen tot de conclusie dat de onderzoeksuitkomsten meestal onderling nauwelijks verschillen wanneer de onderzoeksresultaten van online access panels vergeleken worden met de uitkomsten van telefonisch onderzoek. De afsluitende boodschap is dan ook bijna altijd dat het gebruik van de nieuwe online methode verantwoord is. Op zichzelf genomen is dit een hoopgevende, en commercieel gezien aantrekkelijke, conclusie. Het venijn schuilt in het woordje “meestal”. Zelfs indien 80% van de onderzoeksuitkomsten vergelijkbaar is, blijft het noodzakelijk na te gaan wanneer de onderzoeksuitkomsten niet vergelijkbaar zijn en waardoor dit wordt veroorzaakt. Als hierover geen duidelijkheid bestaat is er sprake van misleidende geruststelling.
4.2 Onderzoekvalidatie en online non-probability sampling
4.2.1 Een nieuwe visie op onderzoekvalidatie
Voor marktonderzoekers is het begrip representativiteit een sleutelwoord. In de traditionele zin van het woord betekent dit dat men representatief wil zijn voor het gekozen steekproef universum en de vraag is dan hoe men dit gaat bereiken of benaderen.
Wij spreken hier bewust van een benadering omdat er altijd een verschil kan zijn tussen de bruto steekproef en de netto steekproef, o.a. door de eerder genoemde non-respons.
De praktijk leert overigens dat een hoge non-response weliswaar een hoge kans geeft op onderzoeksvertekeningen maar dat dit geen automatisme is.
Daarnaast wijst de praktijk uit dat ook een onderzoek met een lage non-response in ernstige mate vertekend kan zijn.
Bij een op non-probability gebaseerde steekproef is de representativiteitsvraag minder opportuun. Het is wellicht beter om de redenering om te draaien en te redeneren vanuit de respondent en niet vanuit het universum. De gerekruteerde deelnemers aan het onderzoek kunnen representatief zijn, maar de vraag is dan voor welke populatie de uiteindelijke deelnemers aan het onderzoek representatief zouden kunnen zijn. Het aantal mogelijkheden is legio: het access panel, de klanten, de lezerskring, de website bezoekers, de “market research online community” (MROC). Indien hierover afdoende bekend is kan de tweede vraag gesteld worden: heb ik voldoende vertrouwen in deze groep respondenten om er mijn beleid op te baseren?
Teneinde de validiteit van non-probability samples afdoende te kunnen beoordelen kan dan ook niet volstaan worden met de traditionele valideringsmethoden. Alvorens een opdrachtgever zijn besluitvorming baseert op deze vorm van steekproeftrekking zal hij moeten vaststellen of de methode voldoende robuust is. De wijze waarop dit plaatsvindt verschilt per markt, per product en per type probleem. Wij noemen een tweetal noodzakelijke aanvullende valideringsmethoden:
• De analyse van responsepatronen
• De reproduceerbaarheid van onderzoeksuitkomsten
4.2.2 De analyse van responsepatronen
De vergelijking tussen de antwoord karakteristieken van reeds ingeburgerde methoden met de onderzoeksuitkomsten van nieuwe online onderzoeksmethoden. Wij doelen hierbij op de wijze waarop de vragenlijst werd ingevuld.
Het gaat hierbij om een antwoord op de volgende vragen:
• Hoeveel tijd heeft de respondent aan het onderzoek besteed?
• Hoe consistent waren de antwoorden?
• Hoe genuanceerd was de invulling van schalen?
• Hoe uitgebreid waren de antwoorden op open vragen?
• Hoe bruikbaar waren de antwoorden op open vragen?
• Hoe tevreden was de respondent na invulling van de vragenlijst?
• Waarom heeft de respondent aan het onderzoek meegedaan?
4.2.3 De reproduceerbaarheid van onderzoeksuitkomsten
De eis dat een marktonderzoek bij een herhaling hetzelfde resultaat op moet opleveren is essentieel. Bij kanssteekproeven speelt dit nauwelijks omdat reeds een groot aantal malen is aangetoond dat de wetten van de statistiek dit, binnen nauwkeurig te berekenen betrouwbaarheidsintervallen, garanderen. Dit is veel minder vanzelfsprekend wanneer non-probability sampling wordt ingezet als steekproeftrekkingsmethode. Dit is dus ook het geval bij river sampling.
River sampling leunt in hoge mate op respondenten die zichzelf selecteren en waar bij het traditionele marktonderzoek (face-to-face en telefonisch) de reproduceerbaarheid vanzelfsprekend was doordat respondenten worden uitgenodigd door de onderzoeker, ontbreekt deze garantie bij river sampling. Reproduceerbaarheid is met name van belang bij effectmetingen. Als de doelstelling van een onderzoek betrekking heeft op het kiezen uit alternatieven op basis van monadische oordelen of het volgtijdelijk meten van effecten van marketing of media inspanningen is vergelijkbaarheid van de steekproefopbouw belangrijker dan socio-demografische representativiteit.
Onderzoeksrepresentativiteit geldt altijd ten aanzien van bepaalde kenmerken uit het onderzoek. Welke kenmerken dat zijn is een keuze van de onderzoeker. Socio-demografische kenmerken zijn bruikbaar maar er zijn alternatieven mogelijk. Een heel bruikbaar valideringscriterium, toepasbaar op grote commodity markten als wasmiddelen, margarine en bier, is bijvoorbeeld het merkgebruik. Deze maatstaf geeft niet alleen een indicatie over de mate waarin steekproeven met elkaar vergeleken kunnen worden maar kan daarnaast gebruikt worden om onderzoeksresultaten, waar nodig, te herwegen.
5 Methoden van online non-probability sampling
Er is bestaat op dit moment geen eenduidige classificatie van non-probability sampling methoden. Voor de online varianten van non- probability sampling methoden geldt dat nog nadrukkelijker. De meeste namen die worden gehanteerd zijn afgeleid van de wijze waarop de steekproef werd samengesteld (Trochim 2000). Enige voorbeelden: Haphazard sampling, Judgement sampling, Plausability sampling etc. Het illustreert op hoeveel verschillende manieren online non-probability sampling kan worden georganiseerd. Wij onderscheiden een zestal methoden waarbij we ons mede baseren op de indeling die door Poynter (2011) wordt gehanteerd. De zes omschreven methoden zijn basisvormen van online non-probability sampling waarop nog steeds een groot aantal variaties mogelijk is.
Tabel 1 : Een overzicht van basisvormen van online non-probability sampling methoden
*De drie eerstgenoemde river sampling methoden worden op dit moment door een aantal marktonderzoekbureaus in de Verenigde Staten aan klanten aangeboden en zullen, naar verwacht mag worden, binnenkort ook in Nederland beschikbaar komen.
5.1 Online acces panels
De meeste online panels zijn opgebouwd met behulp van non-probability sampling. Uit het gevormde panel worden vervolgens, ten behoeve van projecten, probability samples getrokken. De representativiteit van de socio-demografische kenmerken kan dan, middels een zeer verfijnde stratificatie, zelfs beter worden gewaarborgd dan bij de traditionele methoden van dataverzameling. Het probleem van de non-response is nagenoeg verdwenen en door de verfijnde quoteringsmogelijkheden kan zelfs een betere statistische nauwkeurigheid worden verkregen. Dit geldt met name als face-to-face onderzoek vervangen wordt door onderzoek met behulp van online access panels.
De Leeuw (2009) signaleert overigens wel ontnuchterend dat een lage non-response bij panelonderzoek vrij logisch is als men bedenkt dat er zich bij de (zelf)selectie van een online panel zelf wel een hoge mate van non-response voordoet. De onwillige respondenten zijn in feite al uitgesloten van de steekproeftrekking.
5.2 Online Communities (MROC’s)
De meeste online communities zijn gebaseerd op zelfselektie van potentiële respondenten. Zij doen dit op basis van interesse of vanuit commercieel belang. Het gaat hier om communities van klanten, LinkedIn groepen, Google+ groepen, bezoekers van bulletin boards en leden van verenigingen. Deze groepen van potentiële respondenten vormen dan per definitie de onderzoekspopulatie. Op basis van de beschikbare (virtuele) lijst worden probability samples getrokken of wordt de hele populatie onderzocht. De uitkomsten zijn representatief voor de onderzochte online community en niet voor een breder gedefinieerd universum.
5.3 Gestratificeerde River sampling
Er worden links geplaatst op een van te voren vastgesteld aantal websites. Deze websites zijn vooraf gescreend op hun bruikbaarheid. Bezoekers van deze websites worden uitgenodigd om naar een speciaal hiervoor opgezette website te ‘linken’ en worden daar nader onderzocht op hun bruikbaarheid voor de steekproefopbouw. Middels de antwoorden op deze website kunnen respondenten worden gestratificeerd en kunnen dubbele participaties worden verhinderd middels “digital fingerprints” waarbij gebruik gemaakt wordt van software die in staat is de computer configuratie of het IP adres van een deelnemende personal computer te registreren en de computer uit te sluiten van hernieuwde deelname aan het onderzoek.
5.4 Portal River sampling
Potentiële respondenten worden middels links op websites en via Twitter, LinkedIn, Facebook en bulletin boards geattendeerd op de voordelen van het invullen van vragenlijsten. Het verkrijgen van geldelijk voordeel is veelal de beloning die in het vooruitzicht wordt gesteld. Na opgave van achtergrondgegevens heeft men toegang tot een portal met behulp van een paswoord. De bedoeling is dat men zelf het initiatief neemt om de website te bezoeken en na te gaan of er onderzoeken zijn waaraan men de medewerking kan/wil verlenen. Aanbieders van deze portals combineren dit vaak met de mogelijkheid om zelf uitnodigingen uit te sturen. Hierdoor ontstaat feitelijk een online panel dat zich met name onderscheidt van de gebruikelijke online panels door het feit dat een socio-demografische balans ontbreekt.
5.5 Convenience River sampling
We kunnen deze methode wellicht het best vergelijken met de methode van straatselektie. Op de digitale snelweg worden respondenten in gelegenheid gesteld om deel te nemen aan onderzoek. Er worden links op websites geplaatst met als doel om snel en efficiënt een zo groot mogelijk aantal kontakten te realiseren. De websites zijn niet vooraf gescreend op hun bruikbaarheid voor het onderzoek. Achtergrondgegevens over de website bezoekers ontbreken veelal.
5.6 Snowball River sampling
Door middel van een Twitter account kan men volgers uitnodigen om deel te nemen aan een onderzoek en hen tevens vragen het verzoek te retweeten. Ook kan men via LinkedIn gebruik maken van “Discussions” en “Promotions” om respondenten te rekruteren. Een methode die bij uitstek geschikt is om als marketeer of als student zelf onderzoeken te initiëren. Zeker wanneer men gebruik maakt van software zoals die door bijvoorbeeld SurveyMonkey ter beschikking wordt gesteld. We zijn dus inmiddels zover dat iedereen een marktonderzoek kan opstarten. Mits dit professioneel gebeurt kan hier tegen geen bezwaar worden gemaakt en kan een verbreding van het gebruik van marktonderzoek zelfs positief worden beoordeeld. De keerzijde van de medaille is echter dat onbekendheid met het vak kan leiden tot slecht onderzoek en niet valide onderzoeksresultaten met foutieve publicaties die het imago van het marktonderzoek beschadigen.
6 Valideringsonderzoek
Een vergelijking tussen straatselectie en river sampling is minder interessant omdat straatselektie nauwelijks meer wordt gehanteerd als methode van dataverzameling. Veel belangrijker is het om vast te stellen in welke mate, op online river sampling gebaseerde, onderzoeksresultaten vergelijkbaar zijn met uitkomsten van online access panels en CATI onderzoek. Brien (2008) heeft hiertoe een uitgebreid valideringsonderzoek uitgevoerd waaruit blijkt dat een gestratificeerde online river sampling en online panel sampling vergelijkbare onderzoeksresultaten opleveren. Dit overigens nadat er een aantal statistische bewerkingen zijn uitgevoerd.
Zoals eerder betoogd, kunnen dataverzamelingsmethoden met elkaar vergeleken worden op basis van socio-demografische opbouw en op basis van vergelijkbaarheid van de onderzoeksuitkomsten. Brien gaat een stap verder en vergelijkt de onderzoeksmethoden ook op basis van gegeven antwoordpatronen. Ook wanneer Brien een aantal meer technische aspecten van de databestanden met elkaar vergelijkt, kan worden vastgesteld dat er sprake is van een hoge mate van congruentie. Hieronder zijn de belangrijkste resultaten van dit valideringsonderzoek opgenomen.
Tabel 2. De validiteit van Online River Sampling
Bron: Brien (2008)
De conclusie is dat door middel van online river sampling geselecteerde respondenten minder ervaren zijn in het invullen van vragenlijsten en derhalve langer bezig zijn met het onderzoek dan respondenten die onderdeel uitmaken van een onlinepanel acces panel. Op een groot aantal andere aspecten zijn de resultaten van online panel en river sampling vergelijkbaar.
Het niveau van ontwijkende antwoorden is bij CATI onderzoek hoger dan bij online onderzoek hetgeen illustreert dat de aanwezigheid van interviewers ook nadelige invloeden kan hebben (Bronner en Kuijlen 2006).
7 Representativiteit en universum
Bij onderzoeksresultaten die gebaseerd zijn op online river sampling dient er afdoende nauwkeurig te worden aangegeven voor welk universum de onderzoeksresultaten representatief zijn. Niet alleen in de inleiding of in de onderzoeksverantwoording, maar door de gehele tekst van de publicatie. De woorden “Nederlanders”, “de consument”, “men” dienen slechts te worden gebruikt indien deze generaliserende bewoordingen ook daadwerkelijk van toepassing zijn.
Onder alle omstandigheden dient een verifieerbare registratie plaats te vinden van de herkomst van de deelnemer aan het onderzoek. Bijvoorbeeld door te vragen hoe men op de onderzoeksite terecht is gekomen of door een geautomatiseerde ‘feeder-site’ registratie.
Het is opmerkelijk te moeten vaststellen dat dit essentiële element bij het merendeel van de online onderzoeken ontbreekt.
7.1 De gevolgen van zelfselektie en de noodzakelijke gedragsregels
Het rekruteren van respondenten door middel van hyperlinks op websites leidt tot substantiële zelfselectie en daarmee ontstaat het gevaar van vertekeningen van onderzoeksresultaten.
Zoals straatselektie en telefonische steekproeftrekkingen kunnen leiden tot vertekeningen door non-response, zo kan online river sampling leiden tot vertekening door zelfselektie. Over vertekeningen door non-response is, dankzij een groot aantal wetenschappelijke onderzoeken reeds veel bekend. Over vertekeningen door zelfselektie is heel weinig bekend en totdat er meer over bekend is zullen marktonderzoekers, bij op non-probability sampling gebaseerde online onderzoeken, meer aandacht en energie moeten steken in validiteitsbeoordelingen. Zie 4.2.2. Daarnaast is het noodzakelijk om een aantal bij river sampling aangescherpte en aanvullende gedragsregels te formuleren en er scherp op toe te zien dat onderzoeken voldoen aan deze regels. Hierover gaat de rest van dit hoofdstuk.
7.2 Selectie bias door website content
De hyperlink die toegang geeft tot onderzoek met een geclaimde representativiteit die breder is dan de bezoekers van de site dient nooit te worden geplaatst op een site met een voor het onderzoek specifiek karakter. Een voorbeeld: onderzoek naar drankgebruik onder jongeren kan niet meer representatief zijn nadat respondenten toegang hebben verkregen tot het onderzoek via een link op een site die erop gericht is jongeren met een alcoholprobleem op te vangen. Dit lijkt logisch maar is in de praktijk daadwerkelijk gedaan door een gerenommeerde niet-gouvernementele organisatie die is opgericht om alcoholmisbruik te bestrijden.
Hyperlinks op neutrale websites kunnen wel worden gebruikt mits men aannemelijk kan maken dat dit niet tot vertekening leidt en het onderzoek zodanig is opgezet dat validering tot de mogelijkheden behoort. Wij geven enige voorbeelden van, ons inziens, correcte en incorrecte online river sampling. De lijst in tabel 3 is niet bedoeld als uitputtende opsomming, maar een overzicht van online non-probability selecties die wij in het afgelopen jaar zijn tegen gekomen.
Tabel 3 Voorbeelden van foutief en juist gebruik van feeder links op websites.
7.3 Strikte neutraliteit van domeinnamen
De naamgeving van een feeder of portal website dient strikt neutraal te zijn.
fileleed.nl , alcoholproblemen.nl etc. zijn ongeschikte feeder sites als het gaat om online non-probability sampling.
7.4 Voorkomen van meervoudige participatie
Het onderzoek moet zodanig worden opgezet en/of geprogrammeerd dat het meerdere malen meedoen aan hetzelfde onderzoek niet tot de mogelijkheden behoort. Bij korte simpele onderzoeken is de kans op substantiële meervoudige deelname aanmerkelijk groter dan bij onderzoeken waarvan het invullen van de vragenlijst een tijdrovende bezigheid is. Onder alle omstandigheden moet een ‘digital fingerprinting’ programma meervoudige deelname traceren en elimineren.
7.5 Doelgroep definiëring
Bij onderzoek onder beperkte specifieke doelgroepen dient te worden vastgesteld of de deelnemer inderdaad tot de doelgroep behoort. Bij deelname op uitnodiging op basis van probability sampling heeft deze verificatie veelal op voorhand plaats gevonden. River recruitment is gebaseerd op zelfselektie en dit betekent dat het de verificatie achteraf zal moeten plaatsvinden. Voorbeeld: als er onderzoek plaatsvindt onder personen die werkzaam zijn in de zorg moet ook worden nagegaan of de deelnemende respondenten ook echt werkzaam zijn in de zorg. Lijkt logisch maar dit soort checks wordt veelvuldig achterwege gelaten.
7.6 Populariteitsmetingen
Populariteitsmetingen lenen zich niet voor een online convenience sampling. Het is zelfs de vraag of hier sprake is van marktonderzoek. Bekend zijn de voorbeelden waarbij de nieuwe Bijbelvertaling de NS Publieksprijs voor het Nederlandse Boek 2005 won. Hierbij speelde een rol dat het Nederlands Bijbelgenootschap (NBG) campagne voerde om geloofsverwanten te bewegen op de Bijbel te stemmen. Het toiletreinigingsmerk “WC eend” won in 2007 de GVR prijs als meest populaire slagzin aller tijden door een oproep van Geenstijl op het internet.
7.7 Validatie met behulp van een controlegroep
In situaties waarin ernstige vertekeningen mogelijk zijn door zelfselectie dient representatief, op probability sampling gebaseerd, aanvullend onderzoek plaats te vinden bij een controlegroep. In de onderzoeksverantwoording zal dan een vergelijking gemaakt moeten worden tussen de uitkomsten van beide onderzoeken. In het controlegroep onderzoek zijn we alleen, of met name, geïnteresseerd in vooraf geformuleerde representativiteitskenmerken. Indien hiertoe aanleiding is zullen de op non-probability sampling gebaseerde onderzoeksresultaten herwogen moeten worden op basis van de uitkomsten uit de probability steekproef waarbij Huizing en van Ossenbruggen et al. (2007) de voorkeur geven aan een “propensity reweighting” procedure.
8 Conclusie
Een belangrijk deel van de toekomstige marktonderzoek uitkomsten zullen gebaseerd zijn op non-probability sampling. Niet alleen omdat het steeds moeilijker zal worden om, afdoende betrouwbare, random steekproeven te trekken uit versplinterende onderzoeksdoelgroepen, maar ook door de verdere inburgering van online activiteiten en de groeiende belangstelling voor sociale media. De snelheid waarmee online onderzoek kan worden uitgevoerd en de relatief lage kosten staan op zichzelf al garant voor een snelle inburgering van online non-probability sampling. Het hoofdstuk onderzoekvaliditeit zal moeten worden herschreven. Het goede uit het verleden moet worden gehandhaafd, maar we moeten niet aarzelen om reeds jaren lang bestaande paradigma’s aan te passen. We zullen meer en vooral andere criteria moeten gaan definiëren om onderzoeksvaliditeit te beoordelen. We zullen anders moeten gaan oordelen over het begrip representativiteit.
Een eerste onderzoek waarbij de uitkomsten van een online river sample worden vergeleken met de uitkomsten uit een online access panel en met telefonische onderzoeksresultaten zijn bemoedigend. Veel is echter nog onbekend. Wel is aangetoond dat onderzoeksresultaten beïnvloed worden door het karakter van de feedersites en door het karakter van de onderzoek site.
9 Implicaties voor marketing en marktonderzoek
Over online river sampling is nog te weinig bekend en in een wereld waar geen kennis aanwezig is dreigt chaos en wildgroei. Het is het belang van de branche om snel nieuwe kennis te verwerven en niet te aarzelen om universiteiten te verzoeken een gecoördineerd onderzoeksprogramma met afstudeerscripties en promovendi te ontwikkelen. Over online access panels is in de afgelopen vijf jaar veel kennis verkregen en een vergelijkbare inhaalslag moet nu ook op het terrein van onze kennis over online non-probability sampling plaats vinden. Veel nieuwe toetreders tot de markt hebben onvoldoende marktonderzoekbagage en
zijn vooral bezig met het op de markt brengen van hun product. Hun interesse in de marktonderzoek-technische kant is derhalve uitermate beperkt. Daarnaast hebben nieuwkomers de neiging om zich af te zetten tegen het traditionele en gevestigde marktonderzoek. Het feit dat opdrachtgevers zelf onderzoek gaan doen is onvermijdelijk. Het is echter in het belang van bedrijven en instellingen dat de onderzoeksresultaten afdoende valide zijn. Niet alleen in het belang van het bedrijf maar ook in het belang van marktonderzoek zelf.
Dr A.J. Olivier - Hoek van Hollandlaan 13 - 2554 EA - Den Haag - 070-3238820
lexolivier@online.nl
LITERATUUR
AAPOR (2010). The American Association for Public Opinion Research: Report on Online Panels. Prepared for the AAPOR Executive Council by a Task Force operating under the auspices of the AAPOR Standards Committee. Retrieved August18, 2011 from http://www.aapor.org/Reports1/4212.htm
Bradley, N. (1999). Sampling for Internet Surveys. An examination of respondent selection for Internet research. Journal of the Market Research Society 41(4) October,
pp.387-395.
Brien, D., Courtright, M., Stark M.(2008). Comparing river respondents to panelists.
Quirk’s research review, Published: July 2008, p. 54.
Bronner, A.E., & Kuijlen, T. (2006). De levende of digitale interviewer: een vergelijking tussen CASI, CAPI en CATI. In A.E. Bronner et al. (Red.), Ontwikkelingen in het marktonderzoek, Jaarboek MarktOnderzoekAssociatie (pp.77-94). Haarlem: Spaar en Hout.
De Leeuw, E.D. & Hox, J. (2010). Internet Surveys as Part of a Mixed Mode Design. In
Social Research & the Internet. Advances in Applied Methods and New Research Strategies.
De Leeuw, E.D. (2009). Passen en meten online, de kwaliteit van internet enquêtes.
Inaugurale rede, 2 December 2009, Faculteit sociale wetenschappen Universiteit Utrecht.
Huizing, L., Ossenbruggen, R. van, Muller, M., Wal, C. van der, Lensvelt-Mulders, G.J.L.M., Hubregtse, M. (2007). Improving Panel Sampling. Embedding propensity scores and response behaviour in sampling frames. Paper presented at ESOMAR Panel Research Conference, Orlando.
Leeflang, P.S.H., Olivier A.J. (1980), What is wrong with the audit data we use for decision making in marketing. Proceedings 33rd ESOMAR congress, Monte Carlo, pp. 219-239.
Leeflang, P.S.H., Olivier A.J. (1982), Facing panel Non-Response, Consequences and Solutions. Proceedings 35th ESOMAR congress, Vienna, pp. 417-439.
Naert, P. A., P.S.H. Leeflang (1978). Building Implementable Marketing Models. Martinus Nijhoff Social Sciences Division, Leiden/ Boston. pp. 5-7.
Ossenbruggen, R., Vonk, T.W.E., Willems, P. (2006). The effects of panel sampling and management on research results. A study across 19 online panels. Paper presented at ESOMAR Panel Research Conference, Barcelona.
Plat, F.W. (1988). Modelling for markets, Application of advanced models and methods for data analysis. Groningen Universiteitsdrukkerij.
Poynter, R. (2011). The handbook of Online Social Media Research. Wiley & Sons ltd, London.
Stoop, I.A.L. (2005). The hunt for the last respondent. Social and cultural planning office, SCP report 2005/8.
Trochim, W. (2000). The Research Methods Knowledge Base. 2nd Edition. Atomic Dog Publishing, Cincinnati, OH.
Walker, D., Smith, D., Stevens, C (2005). Is it the nation that speaks or are we talking to geeks. Proceedings 57th Esomar congress, Lisbon, pp. 247-269.
Westerhoven, E van. (1978). Covering non-response: does it pay? Proceedings 31st Esomar congress, Bristol, pp.455-467.
