Dat onderzoekers de tools om de impact van hun publicaties te
volgen kunnen gebruiken, betekent niet automatisch dat deze
technologieën legitiem gereedschap vormen voor
wetenschapsevaluatie. Daarvoor is een veel strenger protocol voor
datakwaliteit en betrouwbaarheid vereist. De in het SURF-rapport
'Users narcissism and control' besproken tools zijn nog niet zo
ver.
In het rapport dat is opgesteld door Paul Wouters en Rodrigo
Costas van het Leidse Centre for Science and Technology Studies
(CWTS) wordt getoond op welke manieren wetenschappers in
real-time kunnen volgen hoe het werk gelezen, geciteerd, gebruik en
ingezet wordt. In de afgelopen jaren zijn de digitale mogelijkheden
hiervoor waanzinnig gegroeid. De onderzoekers analyseerden 16 van
deze tools waaronder Google Scholar en PlosONE altmetrics.
Omdat deze tools, zo stellen de onderzoekers, niet afdoende is
voor een daadwerkelijke onderzoeksevaluatie, adviseren zij om een
samenhangend onderzoeksprogramma op te zetten naar de ontwikkeling
van webgebaseerde meetinstrumenten.
Zo'n programma moet zich richten op het onderzoek naar de
dynamiek, eigenschappen en potentiële toepassing van nieuwe online
meetinstrumenten. Het onderzoeksprogramma kan deze tools
relateren aan de reeds bestaande indicatoren voor wetenschappelijke
impact en onderzoeken hoe deze een rol zouden kunnen spelen in
onderzoeksevaluaties.
Het volledige SURF-rapport leest u hier.