Test niet te kort voor kwaliteit

Nieuws | de redactie

19 november 2012 | Niet elke test is goed. Zo blijken korte psychologische vragenlijstjes wel voor onderzoek, maar niet voor diagnoses als personeelsselectie of medische omstandigheden te deugen. Tests met minder dan 20 vragen blijken riskant, zegt Tilburgs onderzoek.

Hoewel dergelijke korte lijsten in wetenschappelijk onderzoek vaak wel betrouwbare gegevens opleveren, blijken ze niet geschikt voor de individuele diagnostiek. Tot die conclusie komt NWO-onderzoeker Peter Kruyen in zijn Tilburgse promotieonderzoek.

Minder tijd en geld, maar….

Psychologische tests en vragenlijsten worden veel gebruikt in de individuele diagnostiek, bijvoorbeeld in personeelsselectie om de meest geschikte kandidaat te vinden, of in medisch onderzoek om na te gaan of een behandeling aanslaat bij een bepaalde patiënt. Testgebruikers houden de vragenlijsten graag kort. Dat bespaart tijd en geld en het is bovendien minder belastend voor de respondenten. Maar er kleven grote risico’s aan als de testen minder dan twintig vragen bevatten, toont methodoloog Kruyen aan.

Kruyen onderzocht in welke mate testverkorting leidt tot een toename van het risico op verkeerde beslissingen over een individu. Dat kan bijvoorbeeld zijn het aannemen van een ongeschikte kandidaat, of concluderen dat een patiënt verslechtert terwijl deze zich beter voelt. Hij deed dit onder andere door aan hand van computersimulaties voor verschillende testlengtes na te gaan in hoeverre herhaaldelijke testafnames leiden tot dezelfde beslissingen voor individuele respondenten.

Forse daling zekerheden

Met een korte test neemt het risico op verkeerde beslissingen substantieel toe, zo blijkt. “Een van mijn studies laat bijvoorbeeld zien dat met 40 vragen voor 70% van de respondenten met grote zekerheid de juiste beslissing wordt genomen. Dit percentage daalt naar 40% wanneer er maar 10 vragen gebruikt worden.” Testgebruikers zijn zich vaak niet bewust van deze risico’s. Kruyen zegt daarover: “De relatie tussen testlengte en de kans op foutieve besluiten over individuen is erg complex. Testgebruikers besteden hier nauwelijks aandacht aan of ze gaan er ten onrechte vanuit dat een test die geschikt is voor wetenschappelijk onderzoek vanzelfsprekend ook gebruikt kan worden in de individuele diagnostiek.”

Volgens Kruyen zouden korte vragenlijsten in de individuele diagnostiek gemeden moeten worden. Verder adviseert hij testconstructeurs en testgebruikers om meer aandacht te besteden aan de risico’s van korte tests. “Het zou ook helpen als respondenten de nodige scepsis tonen wanneer zij geconfronteerd worden met een korte test of vragenlijst.”