Test niet te kort voor kwaliteit
Hoewel dergelijke korte lijsten in wetenschappelijk onderzoek vaak wel betrouwbare gegevens opleveren, blijken ze niet geschikt voor de individuele diagnostiek. Tot die conclusie komt NWO-onderzoeker Peter Kruyen in zijn Tilburgse promotieonderzoek.
Minder tijd en geld, maar….
Psychologische tests en vragenlijsten worden veel gebruikt in de individuele diagnostiek, bijvoorbeeld in personeelsselectie om de meest geschikte kandidaat te vinden, of in medisch onderzoek om na te gaan of een behandeling aanslaat bij een bepaalde patiënt. Testgebruikers houden de vragenlijsten graag kort. Dat bespaart tijd en geld en het is bovendien minder belastend voor de respondenten. Maar er kleven grote risico’s aan als de testen minder dan twintig vragen bevatten, toont methodoloog Kruyen aan.
Kruyen onderzocht in welke mate testverkorting leidt tot een toename van het risico op verkeerde beslissingen over een individu. Dat kan bijvoorbeeld zijn het aannemen van een ongeschikte kandidaat, of concluderen dat een patiënt verslechtert terwijl deze zich beter voelt. Hij deed dit onder andere door aan hand van computersimulaties voor verschillende testlengtes na te gaan in hoeverre herhaaldelijke testafnames leiden tot dezelfde beslissingen voor individuele respondenten.
Forse daling zekerheden
Met een korte test neemt het risico op verkeerde beslissingen substantieel toe, zo blijkt. “Een van mijn studies laat bijvoorbeeld zien dat met 40 vragen voor 70% van de respondenten met grote zekerheid de juiste beslissing wordt genomen. Dit percentage daalt naar 40% wanneer er maar 10 vragen gebruikt worden.” Testgebruikers zijn zich vaak niet bewust van deze risico’s. Kruyen zegt daarover: “De relatie tussen testlengte en de kans op foutieve besluiten over individuen is erg complex. Testgebruikers besteden hier nauwelijks aandacht aan of ze gaan er ten onrechte vanuit dat een test die geschikt is voor wetenschappelijk onderzoek vanzelfsprekend ook gebruikt kan worden in de individuele diagnostiek.”
Volgens Kruyen zouden korte vragenlijsten in de individuele diagnostiek gemeden moeten worden. Verder adviseert hij testconstructeurs en testgebruikers om meer aandacht te besteden aan de risico’s van korte tests. “Het zou ook helpen als respondenten de nodige scepsis tonen wanneer zij geconfronteerd worden met een korte test of vragenlijst.”
