Peilen politiek steeds riskant

De econometrist en woordvoerder in de Tweede Kamer laat in een column weer eens zien hoe zeer ‘cijfermatige geletterdheid’ ook in bestuurlijke en politieke kring van belang is. Meten blijkt niet altijd weten en voorspellen en veronderstellen werken het best als de basis waarop de aannames gemaakt worden wil deugen. Want anders blijkt nieuws ineens weer helemaal geen nieuws.

U leest de column van Pieter Omtzigt hieronder

‘Afgelopen week vonden gemeenteraadsverkiezingen plaats. Hoewel de aandacht al dagen uitgaat naar de gevolgen van de speech van een niet-lokale fractieleider in een Haags café, keer ik nog even naar de avond zelf terug.

Op die avond deed de NOS op basis van de cijfers van IPSOS-Synovate een prognose van de uitslag. Op basis van die prognose werden urenlang mensen geïnterviewd wat ze van het resultaat vonden. En de eerste edities van de kranten werden geschreven op basis van die prognose. Het CDA zou veruit het grootste aantal zetels verloren hebben en dat leverde koppen op als: ‘Gruwelavond voor CDA’ers’.

Stemmen in vuilnisbak

Die prognose was heel belangrijk, omdat zij de enig gemaakte was en omdat we alweer een aantal jaren met een rood potlood stemmen en het papier in een vuilnisbak waarop ‘stembus’ staat, deponeren. Er is dus urenlang geen ander bewijs dan telefoontjes tussen verschillende kenners en de uitslag in de Gelderse gemeente Roozendaal (1500 inwoners), waar geen landelijke partijen meedoen.

De prognose zat er dit keer heel ver naast. Zowel ver naast voor het CDA, als ver naast voor de SP en ook voor  ChristenUnie en SGP. Voor de overige partijen leek hij nog behoorlijk accuraat. Bij de winst- en verlies rekening van de raadszetels van de partijen zat de prognose er bovendien helemaal naast.

Blind selecteren

Bij de meeste verkiezingen houdt IPSOS een peiling en die was in het verleden zeer accuraat. Een voorbeeld: de peiling van de provinciale statenverkiezingen 2011, die indirect ook de verkiezing van de Eerste Kamer was. Daar zat IPSOS er voor geen enkele partij meer dan 0,6% of 1 Eerste Kamerzetel naast. Ook bij de laatste Tweede Kamerverkiezingen zat IPSOS er maximaal 2 zetels naast. Erg precies dus.

Op de verkiezingsdag kun je erg precieze exit polls houden. Je kunt namelijk mensen vragen of ze gestemd hebben en wat ze gestemd hebben. Ze kunnen niet meer van mening veranderen. De moeilijkheid blijft het nemen van een representatieve steekproef. Je plaatst dan enige stembussen naast de echte stembussen en vraagt mensen precies hetzelfde in te vullen.

Die stembussen zet je op plekken, die een beetje gemiddeld Nederland zijn en waar niet al teveel lokale factoren spelen. Dat laatste betekent dus bijvoorbeeld dat je er geen in Roermond, de stad van ex-VVD’er Van Rey moest plaatsen bij de laatste verkiezingen.

Als je helemaal blind 4800 Nederlanders kunt selecteren, die dan ook getrouw invullen wat ze gestemd hebben dan heb je voor een partij met 14,3% van de stemmen een marge van 1%. Met 95% waarschijnlijkheid zit je er niet meer dan 1% naast. Echter, hier waren dan wel 4800 mensen ondervraagd, maar IPSOS zat er in één keer wel 3,4% naast, equivalent met 495 raadszetels.

Nergens 30% verlies

Op de avond van 19 maart was er een voorspeld verlies van 30% van de stemmen voor het CDA. Hoe ik ook keek – allereerst in Twente en de Achterhoek – hoe ik ook belde, mailde, SMS en twitter volgde, ik zag het nergens. Vanuit Enschede gezien was er een paar plekken met winst als Tubbergen naast plekken met licht verlies, maar niet één gemeente die ook maar in de buurt kwam van het voorspelde verlies van 30%. Een peiling in een enkele plek was kortom al beter geweest dan deze landelijke prognose.

Hoe kwam dat nu? Het lijkt er sterk op dat IPSOS haar methode heeft aangepast. In plaats van dure exit polls, is IPSOS overgestapt op een internet peiling, zonder een telefonische steekproef erbij. Dat is natuurlijk goedkoper, maar het gevolg is redelijk dramatisch. Stiekem wist IPSOS wel dat het wat onbetrouwbaarder was, want het gaf bij de prognose nu een marge van 2% aan om daar wat rekening mee te houden.

Alleen autobezitters vragen

De fout is een waarschijnlijk een klassieke. Er zijn wel veel mensen ondervraagd, maar de steekproef was verre van representatief. Het meest beroemde voorbeeld daarvan in de politieke historie kwam voor bij de Amerikaanse presidentsverkiezing van 1936. Het blad Literary Digest stuurde op basis van het telefoonboek en de publieke autoregistratie 10 miljoen(!) formulieren uit en kreeg er 2,3 miljoen terug. Men voorspelde daarop een winst van de republikein Alf Landon met 55% tegen 41% voor de zittende president Franklin D. Roosevelt. Roosevelt haalde echter met 61% tegen 37% de grootste overwinning tot dan toe sinds 1820.

Hoe kwam dat? Mensen zonder telefoon en auto waren niet gepeild. Zij bleken het beleid van de president met zijn New Deal te steunen. 79% van hen was voor Roosevelt. Verder bleken aanhangers van Alf Landon gemiddeld veel vaker een formulier teruggestuurd te hebben.

George Gallup voorspelde daarentegen dat jaar een grote overwinning voor Roosevelt en baseerde zijn schatting op een veel kleiner aantal observaties. Het gevolg: het populaire tijdschrift Literary Digest verdween in 1938 en sinds die peiling is Gallup leidend in de VS.

Geen poging om iets uit te zoeken

Terug naar Nederland. Op 20 maart maakte IPSOS zelf de balans op en stelde zich de vraag hoe goed de prognose was. “De prognose bleek heel goed te zijn, alleen het CDA viel buiten de vooraf aangegeven bandbreedte van twee procent meer of minder”, stelt men. Er wordt niet eens een poging aangekondigd om iets uit te zoeken.

Nog meer valt op dat niet duidelijk verantwoord wordt op welke wijze de peiling heeft plaatsgevonden, terwijl dat voor de traditionele exit poll en de twee wekelijkse peiling wel gedaan wordt. Zoiets wordt in de VS altijd gedaan. Er blijkt hier dus een grootschalig online onderzoek te zijn gevoerd en geen exit poll.

Herman de Schermman

Op de verkiezingsavond werd er ook een opiniepeiling gedaan op basis van de stemming. Die leverde dit op en is nu verschrikkelijk moeilijk terug te vinden op internet. Enig onderzoek is hier toch echt op zijn plaats.

Want gaat u maar na: als een verschil van 3,3% en bijna 50% bij de behaalde zetels acceptabel is, dan krijgen we bij een volgende Tweede Kamer verkiezing een prognose om 21.00 uur met Herman de Schermman en de volgende teksten: “Partij D heeft 36 zetels gehaald en is daarmee de grootste, gevolgd door partij C met 27 zetels. Het verschil is echter binnen de foutenmarge, dus we moeten wachten op de resultaten”.

IPSOS heeft nog tot de volgende verkiezingen om het lek boven water te krijgen te krijgen of terug te keren naar haar oudere, wellicht wat duurdere, exit poll. IPSOS zal toch willen voorkomen dat men eenzelfde lot zou ondergaan als destijds geschiedde met ‘Literary Digest’.’

Dr. P.H. Omtzigt is lid van de Tweede Kamer voor het CDA, van de Assemblee van de Raad van Europa en econometrist. In die rollen houdt hij op ScienceGuide een column bij over zijn ervaringen in de eigenzinnige werelden van politiek en wetenschap, hun wederzijdse beïnvloeding en hun confrontaties