Golden standard in evaluaties

Iedereen wil weten wat ontwikkeling nu echt oplevert. En na elk evaluatierapport blijven er nog vragen over: is dit of dat resultaat nu echt door het project veroorzaakt? En hoe dan?

Gelukkig is er nu een 'gouden standaard': de RCT, oftewel randomised controlled trials. Dat is zeg maar de methode van de proefveldjes en plotjes met verschillende varianten om te testen welke soorten aardappels het beste zijn. En dan toegepast op ontwikkelingswerk. Simpel toch?

Tijdens mijn opleiding landbouwplantenteelt in Wageningen kregen we dit soort statistiek uitentreure. Erg leuk en nuttig. We werden wel stevig gewaarschuwd voor de beperkingen van de statistiek: als er ook maar iets anders was in de omgevingsfactoren, als de grond tussen de plotjes maar iets teveel verschilde, dan kon je je resultaten al bijna ter discussie stellen.

En nu lijkt dit de 'beste methode' te gaan worden om sociaal-economische ontwikkeling als gevolg van externe betrokkenheid middels donoren te gaan meten. Volgens mij verschillende verschillende 'plotjes' waar allerlei donoren hun diverse experimenten doen nogal veel van elkaar.

Het is dan ook terecht dat de European Evaluation Society een statement heeft gemaakt waarin ze heet belang aangeven van diverse methoden om de impact van ontwikkelingswerk te meten. Hoe diverser je meet, hoe meer aspecten van de werkelijkheid je beschouwt en hoe meer plausibel je het kunt maken dat je iets hebt bijgedragen (niet: teweeggebracht) aan ontwikkelingsresultaten.

De RCT fans zitten ook nog eens zo'n 100 jaar terug in de tijd. Je hoeft geen echte postmodern-fan te zijn om toch in te zien dat ontwikkeling veel te maken heeft met percepties die samen de werkelijkheid construeren.