De peilingen wijzen uit....

tjonge

Nooit meegedaan aan Nipoenquetes ofzo? Dan heb je al heel wat geld gemist. Ik denk dat ik er onderhand al 600 euro mee heb verdiend Momenteel vang ik 21 euro per maand alleen al door een app te installeren op bepaalde apparaten en iets op mijn laptop. Ze houden bij hoe vaak wij iets kijken via uitzending gemist.

Verder kun je berekenen wanneer een steekproef groot genoeg is om iets te zeggen over een onderwerp en ze vragen niet voor niets altijd naar de hoogst genoten opleiding. Je wil inderdaad met vragen over waar je op gaat stemmen niet alleen mensen hebben met een lage opleiding of alleen mensen met een hoge.

Ook wil het niet zeggen dat het altijd maar klopt. Er zijn ook landen waar vanaf een x aantal dagen voor de verkiezingen geen nieuwe peilingen meer bekend mogen worden gemaakt omdat dat kiezers kan beïnvloeden (oh er wordt genoeg gestemd op partij X, dan stem ik op Y of ik ga niet stemmen).

Ik verbaas me altijd dat de kijkcijfers bepaald worden aan de hand van maar 1300 huishoudens maar blijkbaar zijn die huishoudens een goede afspiegeling van de samenleving?

Nimbo

"En zegt dat al niet direct iets over die mensen, het feit dat ze mee doen?"

Blijkbaar zijn dat mensen die voor een paar tientjes bereid zijn apps te installeren en formulieren in te vullen.

Dus als je zo'n onderzoek leest denk je in het vervolg: Oh, Jamie weer...

Representatief

Voor het meten van het gebruik van Uitzending gemist is zo'n app natuurlijk bruikbaar, maar voor andere onderzoeken worden andere populaties gebruikt. Anders zou je computerlozen altijd missen in je uitkomsten.

Natuurlijk

Daarom zijn veel peilingen en enquêtes ook redelijk waardeloos. Het is ontzettend moeilijk om betrouwbare gegevens te krijgen. Ongeveer de helft van de onderzoeken/experimenten die gedaan worden en gepubliceerd worden in wetenschappelijke bladen op gebied van de psychologie geven volkomen andere resultaten als ze nogmaals worden over gedaan. Hoe goed je namelijk de voorwaarden van het eerste onderzoek ook nadoet je krijgt het nooit 100%: de onderzoeker is een ander persoon en de mensen die meedoen ook. Dus het is maar de vraag wat dit soort dingen waar ze.

Een volkomen representatief sample krijgen is echt heel moeilijk. Bovendien kan de enquêteur (als dat een persoon is) ook invloed hebben in de toon waarop de vragen worden gesteld. De volgorde waarin de vragen worden gesteld (op de computer of door een persoon) is ook van grote invloed. Enquêtes waarbij mensen zichzelf aanmelden zijn behoorlijk onbetrouwbaar. Tegelijk als je actief mensen gaat rekruteren heb je iets meer kans op een representatieve groep maar alsnog zul je er rekening mee moeten houden dat er toch een soort bias is want de mensen die mee doen hebben immers al een ding gemeen (ze hebben ja gezegd)

There are three kinds of lies: lies, damned lies, and statistics

Oja tuurlijk joh, en jij doet dat altijd belangeloos of niet en kan dan fijn van uit de hoogte zeggen dat je niet mee doet aan die onzin. Prima hoor.

Ik geef maar een voorbeeld, die mensen met een kastje voor de kijkcijfers doen dat vast ook niet voor niks en als ik een online enquete invul word ik daar niet zo rijk van maar het tikt wel aan als je het langere tijd doet. Beter dan klikken voor een cent ivm advertenties ofzo

Het is mijn werk geweest

Jarenlang heb ik als bijbaan (het begrip "stapelbaan" is niet iets nieuws ) mensen (en bedrijven) opgebeld om naar hun mening te vragen, namens enkele grote onderzoekbureaus.

Die onderzoeken varieerden, de ene keer ging het om een bekendheid van bepaalde merken, de andere keer over politiek of het veiligheidsgevoel, en dan weer over het consumentenvertrouwen. Ik vond het heel leuk werk om te doen, je krijgt letterlijk heel Nederland te spreken, maar ik moest er om gezondheidsredenen helaas mee stoppen.

Ook toen werd wel eens geroepen "mij vragen ze nooit wat!", en ik vroeg me af of dat dezelfde mensen waren die een telefoongesprek weigerden met de woorden "nee hoor, daar heb ik geen belang bij"

Ik doe zelf ook mee aan onderzoeken en peilingen, zowel online als telefonisch, maar ben daar wel kieskeurig in. Ik vind het niet erg mee te werken aan commerciële onderzoeken, maar als ik drie, vier onderzoeken per dag in de mailbox krijg die uiteindelijk eindigen in "helaas behoort u niet tot de doelgroep, maar we willen u toch nog wat vragen stellen", waarna men alwéér naar mijn provider vraagt, dan ben ik er snel klaar mee. Vaak zijn dat van die vage clubjes, geen TNS-Nipo of GFK of zo.

Hoewel ik zelf ook mee doe aan online onderzoeken (niet alleen Jamie dus ) twijfel ik wel eens aan de betrouwbaarheid van de beloonde online onderzoeken. Ik vind wel dat er een beloning tegenover mag staan, tenslotte steek je er ook tijd in. Maar ik vermoed dat er mensen zijn die op alles in de vooronderzoeken "ja" antwoorden om toch maar zo snel mogelijk de punten (euro's, bonnen) te kunnen verdienen. Ook het hebben van een eigen bedrijf levert al snel veel punten op omdat je dan blijkbaar een interessante doelgroep bent, en wie controleert of dat bedrijf er echt (nog) is? Ik kan me voorstellen dat sommige mensen wel eens een beetje met de antwoorden rommelen om extra beloning te kunnen krijgen.

Verder weet ik dat de bereidheid om deel te nemen aan onderzoeken bij de ene groep mensen groter is dan bij de andere groep mensen. Ik kan me goed voorstellen dat een druk bezet iemand niet zit te wachten op telefoontjes en lijstjes. Ik weet ook nog vanuit mijn ervaring als enquêtrice dat ouderen (en dat begint al bij 50plus!) nogal snel geneigd zijn om te zeggen "och nee, sla mij maar over, ik ben daar véél te oud voor!" Het was soms echt een uitdaging om vóór de deadline van een onderzoek genoeg mensen in een bepaalde doelgroep te spreken (bijv. 55-plussers, een bepaalde opleiding, een bepaalde regio of zo).

Jaina

"Een volkomen representatief sample krijgen is echt heel moeilijk. Bovendien kan de enquêteur (als dat een persoon is) ook invloed hebben in de toon waarop de vragen worden gesteld."

Dat is inderdaad een risico. Daar wordt dan ook flink op gecontroleerd. Het is bekend en begrijpelijk dat supervisors je kunnen afluisteren tijdens de gesprekken en je kunnen aanspreken op bepaalde dingen. Daar word je ook op getraind! Stuur de respondent nooit, leg hem geen dingen in de mond, blijf objectief, ga niet de discussie aan etcetera. Een goede enquêteur wordt daar echt op gecontroleerd. En terecht.

Maar helemaal waterdicht krijg je het volgens mij nooit. En je laatste zin is een bekend feit (net als die statisticus die verdronk in een riviertje dat gemiddeld 20 cm diep was)