Evaluaties duurzaamheidsprojecten moeten en kunnen scherper

Wereldschaal
Sijtsma: “In die periode kwamen zestien illegale Chinezen om bij handmatige kokkelvisserij in Engeland, en de Nederlanders proberen nu hun visserij te verleggen naar o.a. de kust van Mauretanië, met ook een mooi natuurgebied. De Nederlandse kokkelvisserij was een hele nette sector, met hele nette boten, die allemaal werden gemonitord. Je moet verder kijken: als de Spanjaarden kokkels blijven eten, komen ze wel ergens anders vandaan.”

Bij de evaluatie van duurzaamheid – de beoordeling van de effecten op economische ontwikkeling, extreme armoede en achteruitgang van het milieu – wordt te vaak gekeken op lokaal niveau. Het is één van Sijtsma’s kritiekpunten op de gangbare analysemethodes. “Natuurlijk, het is onmogelijk om het helemaal goed te doen. Het liefst wil je alle gevolgen meenemen. Dat kan niet. Alles hangt met elkaar samen; handel met China, uitstoot van CO2 op wereldschaal. Maar het moet scherper. En het kan scherper.”

Eenvoud en begrijpelijkheid
In zijn proefschrift Project evaluation, sustainability and accountability introduceert Sijtsma een nieuwe analysemethode voor duurzaamheidsprojecten. Hij combineert daarin de twee belangrijkste bestaande methodes: de kosten-baten analyse (KBA) en de multi-criteria analyse (MCA).Twee nuttige en theoretisch goed onderbouwde methodes, die bij ingewikkelde materie als duurzaamheid echter tekort schieten. “Kosten-baten analyse waardeert het liefst op geld, daarbij presteren ze het om uitstoot van CO2, landschapsvervui­ling en zelfs verkeersslachtoffers uit te drukken in geld. Daar snapt dan al gauw niemand meer iets van. De multi-criteria analyse is een prachtige techniek die overal rekening mee wil houden, maar daarbij krijg je vaak een hele waslijst aan criteria, die onoverzichtelijk is en vaak zaken dubbel telt.” Volgens Sijtsma leidt een goede combinatie van de sterke kanten van de twee tot eenvoud en begrijpelijkheid. “De kracht van de kosten-baten analyse is de strenge causaliteit, de precieze analyse van wat oorzaak en gevolg is. De multi-criteria analyse kijkt verder dan alleen in economische termen. Een goede evaluatie moet zich beperken tot de belangrijkste criteria die, vooraf en in goed overleg, worden gesteld. Gegevens moeten gewoon gepresen­teerd worden in de natuurlijke maten (CO2 uitstoot in kiloton, reistijd in uren) zodat iedereen weet waar het om gaat.”

Openheid
Analisten moeten niet altijd maar willen zeggen wat de ‘beste keus’ is, vindt Sijtsma. Ze moeten besluitvorming ondersteunen met heldere gegevens. Een ondubbelzinnige beste keus is in veel gevallen, zeker als je het hebt over duurzaamheid, niet haalbaar. “Als je te ver gaat in je evaluatie, overspeel je je hand. Dat zag je bijvoorbeeld bij de rapporten over de Zuiderzeelijn. De RUG vond dat het uitkon, het onderzoeksbureau Ecorys vond van niet. Ze waren het oneens over de omvang en waardering van een deel van de effecten. Waarom zeggen ze niet: tot zover weten we het, de rest is omstreden? Ook opdrachtgevers willen vaak een duidelijke uitkomst, ook als die er niet is, en zijn misschien wel minder geïnteres­seerd in de manier waarop die tot stand is gekomen.” Sijtsma pleit voor een evaluatie waarbij iedereen kan zien en begrijpen wat er precies gemeten is. Het is gemakkelijk dingen ingewikkeld te maken, stelt hij. “De kunst is de analyse eenvoudig te houden. Maar misschien wil niet iedereen zoveel openheid en hebben partijen er soms belang bij dat een evaluatie niet al te scherp is.”