Fundamentele kritiek op Trouw Top 50

AMSTERDAM (1 december) - Een week na de uitgave van de jaarlijkse goede doelenbijlage van Trouw druppelen de eerste kritisch noten binnen. Evenals vorig jaar, komen er ook dit jaar scherpe reacties op de totstandkoming van de top 50. CBF-directeur Adri Kemps en hoogleraar Ruerd Ruben plaatsen enkele zeer kritische kanttekeningen over de ranglijst en de methodologie ervan. Kellie Liket en Karen Maas van het Erasmus Centre for Strategic Philanthropy (ECSP), die de vragenlijst opstelde, menen dat de stellingen van beide heren een misleidend beeld geven van dit type onderzoek.


Het Erasmus Centrum voor Strategische Filantropie (ECSP) stelde de vragenlijst waarop de Top 50 is gebaseerd op rondom criteria als de transparantie van de organisatie, de interne organisatie en de wijze waarop de activiteiten worden uitgevoerd. Organisaties die op deze criteria hoog scoren, hebben een grotere kans op impact. Een zeer betwistbaar uitgangspunt, volgens Kemps en Ruben. "Er zijn zeer veel vragen te stellen bij de gevolgde aanpak", zeggen de heren in een ingezonden brief aan Trouw. "Het is ronduit onjuist om te stellen dat de lijst iets zegt over verschillen in de effectiviteit en het resultaatbereik van de betrokken organisaties."


"Onverantwoord"

"Het wetenschappelijk werk op dit terrein vereist een serieuze aanpak. Het is onverantwoord op basis van het gepresenteerde onderzoek conclusies te presenteren voor een ranglijst van de beste goede doelen. Daarvoor zijn grondige studies in het veld nodig die bij de deelnemers van de projecten nagaan welke resultaten zijn bereikt. De onderzoekers erkennen dat er maar weinig van dergelijke impactstudies beschikbaar zijn, en kiezen er daarom maar voor om op andere informatiebronnen af te gaan."


Organisaties moeten zichzelf aanmelden

Een ander heikel punt is volgens Ruben en Kemps dat de vragenlijsten door de organisaties zelf zijn ingevuld. "Er heeft wel enige controle achteraf plaatsgevonden, maar voor een zorgvuldige rangschikking is het zondermeer van belang dat de gegevens op een onafhankelijke wijze worden verzameld. Vervolgens heeft Trouw nog eens een selectie gemaakt uit alle gehanteerde criteria, waarmee de verklarende waarde van het gehanteerde model fundamenteel wordt aangetast. Uiteraard geeft het een grote vertekening als organisaties zichzelf moeten aanmelden, waardoor sommige (gerenommeerde) organisaties ontbreken en andere, minder ervaren organisaties ineens opmerkelijk hoog scoren."


"Gebouwd op drijfzand"

Volgens Ruben en Kemp leverde navraag bij ECSP op dat er geen enkel statistisch model ten grondslag ligt aan de ranglijst. "De vergelijking van goede doelenorganisaties en de voorspellende waarde van de gebruikte aanpak zijn daarmee op drijfzand gebouwd. Per saldo is er geen bewijs dat er tussen de nummer 1 en 50 op de lijst een significant verschil in resultaatbereik bestaat. De uiteindelijke ranglijst wijkt op veel punten ook af van de resultaten die komen uit vergelijkend onderzoek naar bijvoorbeeld de kwaliteit van resultaten­rapportage van maatschappelijke organisaties werkzaam op het terrein van de ontwikkelingssamenwerking. Het is ronduit zorgelijk om het publiek op een dergelijke manier te misleiden."


"Model is getoetst"

Kellie Liket, promotieonderzoekster aan het ECSP, en Karen Maas, onderzoeker aan het ECSP, leggen uit hoe zij met het onderzoek te werk zijn gegaan. "Zoals uitvoerig omschreven in de Trouw bijlage van 19 november, is het bestaande model gebaseerd op bevindingen uit alle beschikbare internationale wetenschappelijke onderzoeken naar organisatieprocessen die bijdragen aan effectiviteit van goede doelen. Om te waarborgen dat het model meer is dan academische wijsheden, is het uitgebreid getoetst met mensen uit de goede doelensector."


"Procesmodel niet nieuw"

Het gebruik van een procesmodel is volgens de onderzoekers niet nieuw. "In een procesmodel wordt de aanwezigheid van organisatieprocessen gebruikt om te voorspellen of de organisatie effectief zal zijn. In de praktijk ligt deze aanpak ten grondslag aan verschillende bestaande keurmerken, waaronder ook het CBF-keurmerk voor goede doelen, en kwaliteit- en duurzaamheidsystemen, bijvoorbeeld ISO-26000. Ook andere wetenschappelijke onderzoeken maken gebruik van procesmodellen, zoals een onderzoek naar private initiatieven in ontwikkelingslanden van het CIDIN in Nijmegen. In dit onderzoek wordt een procesmodel ontwikkeld op basis van zogenaamde ‘voorwaarden voor effectiviteit'."


Niet alle zaken zijn meetbaar

Liket en Maas zeggen dat deze procesmodellen statistisch nog niet te testen zijn, omdat de wetenschap op dit moment nog niet in staat is de uitkomst, namelijk de effectiviteit van goede doelen organisaties, met elkaar te vergelijken. "We kunnen niet beoordelen wat meer waarde toevoegt voor de maatschappij: een goed doel dat lobbyt voor mensenrechten of een goed doel dat zich inzet voor kinderen. Ook datgene waar het CBF keurmerk voor staat, namelijk dat de gever kan ‘vertrouwen dat er verantwoord met [zijn/haar] gift wordt omgegaan', kan nog niet gemeten worden en dus niet met een statistisch model onderbouwd worden."


Belangrijke indicatie

Dat betekent volgens Liket en Maas echter nog niet dat al deze keurmerken en onderzoeken, zoals Ruben en Kemps poneren, op drijfzand zijn gebaseerd. "De aanwezigheid van bepaalde organisatieprocessen houdt verband, volgens wetenschap en praktijk, met het succesvol volbrengen van de missie van een goed doel. Dit geeft inderdaad geen statistisch te berekenen zekerheid van behaalde effectiviteit, maar wel een belangrijke indicatie van de verwachte effectiviteit."


"Wetenschap moet voortbouwen op onderzoek"

De wetenschap moet nu de handen ineen slaan en voortbouwen op onderzoek dat de kennis over effectieve goede doelen steeds weer een stapje verder brengt. "Op deze manier kunnen goede doelen blijven leren en zichzelf verbeteren op basis van wetenschappelijk onderzoek en kunnen donateurs beter geïnformeerd hun geld besteden", aldus Liket en Maas.


Prof. dr. Ruerd Ruben is hoogleraar Effectiviteit van Ontwikkelingsbeleid aan de Radboud Universiteit Nijmegen en Directeur van de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB).



Drs. Adri Kemps is directeur Centraal Bureau Fondsenwerving (CBF).



Kellie Liket is promotieonderzoekster aan het Erasmus Centre for Strategic Philanthropy (ECSP), Erasmus Universiteit Rotterdam.


Karen Maas is onderzoeker aan het Erasmus Centre for Strategic Philanthropy (ECSP), Erasmus Universiteit Rotterdam.