‘Wat er ook gebeurt, je moet altijd voorhouden dat dit een onafhankelijk rapport is.’
Dat krijgt de directie van de non-gouvernementele organisatie The Liaison Office (TLO) van het ministerie van Buitenlandse Zaken te horen bij een interne bespreking voorafgaand aan de presentatie van het rapport in september 2010.
Dat rapport, ‘The Dutch Engagement: 2006 to 2010’, is de belangrijkste bouwsteen van de eindevaluatie van de missie naar Uruzgan. Dit is de politieke verantwoording over vier jaar Nederlandse betrokkenheid in Afghanistan.
Daarbij staan de levens van 24 Nederlandse militairen, een onbekend aantal Afghaanse burgers en 2,5 miljard euro belastinggeld op het spel: zijn die ‘investeringen’ terecht geweest? De regering en besteller van het rapport wil graag dat het antwoord op die vraag ja luidt.
Natuurlijk zijn er ook andere bronnen voor die belangrijke evaluatie in 2010. Alleen zijn die verslagen en interne rapportages gerubriceerd of enkel bruikbaar ter achtergrond. Het rapport van TLO is zodoende het enige publieke onderzoek naar de wederopbouw door Nederlandse militairen in Uruzgan. Dat is dus de informatie waarmee de volksvertegenwoordiging de regering eventueel ter verantwoording kan roepen.
De eindevaluatie wordt begeleid door een commissie van onafhankelijke experts. Zij zijn kritisch in een brief aan de Kamervoorzitter in 2011. Daarin stellen ze dat de resultaten niet te controleren zijn en veelal gebaseerd op bronnen die tegelijk belanghebbende zijn.
De evaluatie leidt ook tot tientallen Kamervragen. Waarom is door de ministeries niet met externe experts gesproken? Waarom wordt er niet aan bronvermelding gedaan? De ministeries van Buitenlandse Zaken en Defensie verwijzen naar de voorwaarden uit het toetsingskader, daar zou alles verantwoord worden.
Zes jaar later blijkt dat de twijfels van de Tweede Kamer terecht zijn: er zijn meerdere zaken problematisch aan het rapport. Er is onzekerheid over de data, over de controle daarvan, over de beïnvloeding door de Nederlandse ambassade en over de geschiktheid voor evaluatie überhaupt.
1. Er is grote onzekerheid over de verzamelde data
Onderzoek doen is in Afghanistan een complexe en soms gevaarlijke onderneming. Er zijn geen betrouwbare statistieken over de bevolking, dus is het moeilijk de significantie van een onderzoek vast te stellen. Bovendien spelen taal- en cultuurbarrières een rol bij het verzamelen van data.
Een voormalig TLO-medewerker legt op basis van anonimiteit uit hoe de organisatie te werk ging. En bevestigt allereerst de complexiteit: ‘Veel gebieden waar de internationale gemeenschap interesse in heeft, zijn onbereikbaar voor onderzoekers. Die spreken bovendien de taal niet en kennen de lokale omgangscodes amper.’
‘Hoe kunnen er politieke beslissingen genomen worden op basis van dit rapport?’
De oplossing die TLO hiervoor vond, was lokale dataverzamelaars inzetten: ‘Daar zaten allerlei haken en ogen aan. De verzamelaars spraken bijvoorbeeld maar beperkt Engels, of konden niet goed lezen en schrijven. Bovendien was het onzeker of zij wisten wat goede data waren en of ze de relevantie van onze vragenlijsten goed in konden schatten.’
Dat heeft volgens de onderzoeker, die meeschreef aan het rapport, gevolgen gehad voor de waarde van de data. In het uiteindelijk gepubliceerde stuk wordt daar zelfs op gewezen: er is een herhaling nodig om de cijfers te kunnen valideren.
De ex-TLO-medewerker concludeert dan ook: ‘Als ik al zoveel moeite heb met het begrijpen van de data die aan het rapport ten grondslag liggen, hoe kunnen andere mensen zich daar dan op verlaten? Hoe kunnen er politieke beslissingen genomen worden op basis van dit rapport?’
2. Controle op dataverzamelaars is bijna onmogelijk
Waar ook twijfels over waren: dat de lokale dataverzamelaars niet gecontroleerd konden worden. Was de manier waarop zij hun data verzamelden wel in lijn met de wetenschap? Dezelfde anonieme TLO-medewerker: ‘Dat ik niet ter plaatse ben, maar wel weet wat goede data zijn en dat de dataverzamelaar wél ter plaatse is, maar níet weet wat goede data zijn - dat is een structureel groot probleem.’
Dat weten de dataverzamelaars ook. Neem een dataverzamelaar uit de stad Chora die wegens huidige werkzaamheden niet bij naam genoemd wil worden: ‘Ik werd niet gecontroleerd. Stel dat ik alles uit mijn duim zou hebben gezogen, wie controleert mij dan?’
De verzamelaar heeft ook niet kunnen zien hoe zijn gegevens in het rapport terecht zijn gekomen: ‘Ik weet niet wat er met mijn gegevens is gebeurd. Ik weet niet hoe onze data in het rapport terecht zijn gekomen en of dat klopt.’ Desgevraagd bevestigt hij dat er data werden veranderd.
‘Stel dat ik alles uit mijn duim zou hebben gezogen, wie controleert mij dan?’
Een andere dataverzamelaar, die ook wegens huidige werkzaamheden anoniem wil blijven, moest vaak op pad om landbouwprojecten waar Nederlanders bij betrokken waren te monitoren. De door de verzamelaar gesproken dorpsleiders hadden belang bij een goede rapportage. ‘Maar alleen zij [de dorpsleiders, LH] gaven mij cijfers. Ik noteerde die in een rapport. De tussenpersonen willen natuurlijk graag een mooi rapport, met mooie cijfers. Dus de cijfers in het rapport kunnen niet kloppen.’
Abdul Rahim Khurram, plaatsvervangend directeur op het TLO-kantoor in Kabul, kan dan ook niet uitsluiten dat de data vervuild zijn. ‘Hoe weten we of dataverzamelaars correct rapporteren? We kennen ze vaak jaren. Omdat we ze vertrouwen. En omdat we ze steeksproefsgewijs checken. Maar het is best mogelijk dat er soms valse informatie ontstaat, we kunnen niet alles checken. In sommige gebieden is het ook te gevaarlijk om informatie te controleren.’
3. Er is onduidelijkheid over beïnvloeding door de ambassade
Tot zover de twijfels bij de verzameling van de data. Ook bij de opstelling van het rapport kunnen vragen gesteld worden: zijn zaken niet zo opgeschreven dat ze de besteller gunstig uitkomen? En bij de eindevaluatie dus een positiever beeld geven van de missie?
Dat vermoeden rijst door een conceptversie die ik kon inzien. Die versie is destijds naar de Nederlandse ambassade gestuurd. Daarna is er een aantal wijzigingen doorgevoerd dat doet twijfelen aan de onafhankelijkheid van de rapportage.
De conceptversie opent bijvoorbeeld met de mededeling: dit rapport is gemaakt in opdracht van de Nederlandse ambassade en wordt daar ook door gefinancierd.
In de eindversie is dat weggelaten en wordt er geopend met: TLO hecht eraan te benadrukken dat ze onafhankelijk en onpartijdig onderzoek voorstaat. De ambassade wordt niet meer genoemd als financier en opdrachtgever. Toch informatie die waardevol is om de waarde van de data te beoordelen.
Er is nog een opvallende wijziging. De conceptversie eindigt zijn inleiding op de kernresultaten met: de Nederlanders kunnen vertrekken in het vertrouwen dat hun missie heeft bijgedragen aan veiligheid en ontwikkeling in Uruzgan, vooral in vergelijking met andere Zuid-Afghaanse provincies.
In de eindversie is die toevoeging weggelaten en staat er in de plaats daarvan: effectief werd de provincie meer en meer beschouwd als een model voor succesvolle civiel-militaire interventie. Nederland staat er kennelijk graag wat beter op dan TLO in eerste instantie wilde opschrijven.
Dit wijzigen van de tekst past in het beeld dat de anonieme bron bij TLO schetst. Na het inleveren van een conceptversie moesten er van de ambassade veranderingen doorgevoerd worden. ‘Ja, ze vonden het een mooi rapport. Maar ze vonden wel dat bepaalde conclusies niet altijd gebaseerd waren op de juiste inzichten. Daar waar wij vonden dat het glas halfleeg was, vonden zij het glas halfvol.’
‘Voor ons was de interactie met de ambassade een onderhandeling over hoe wij het best de werkelijkheid van Uruzgan konden opschrijven’
Nog een voorbeeld? ‘Het grootste verschil is dat Nederland in de laatste versie van het rapport meer als een alwetende actor naar voren kwam, alsof de missie vaak goed voorbereid was. Natuurlijk waren er ook dingen mislukt, maar dan moest het altijd lijken alsof dat te verwachten was gezien de moeilijke omstandigheden in Uruzgan.’
Het leek volgens de TLO-auteur zo niet alsof Nederland in sommige opzichten achter de feiten aan had gelopen. ‘Zonder af te doen aan onze inzichten, hebben we een balans gezocht tussen hun interpretatie en onze interpretatie. Voor ons was de interactie met de ambassade zo een onderhandeling over hoe wij de werkelijkheid van Uruzgan het best konden opschrijven. Daarmee erkenden we hen als een belangrijke informant in het geheel.’
4. Het rapport was niet bedoeld én niet geschikt als evaluatie
Oud-diplomaat Marten de Boer woonde jarenlang in Afghanistan, waaronder een jaar in Kamp Holland. Hij leidde voor Buitenlandse Zaken de wederopbouwwerkzaamheden en had veel met TLO te maken.
De Boer prijst allereerst de werkzaamheden van de non-gouvernementele organisatie: ‘TLO wilde op de achtergrond begrijpen wat er gaande was. Zodat ze een bijdrage kon leveren aan het oplossen van conflicten. Op die manier zijn we [TLO en defensie, LH] partners - zo gingen we ook met elkaar om. Nooit stonden de opdrachtgevers tegenover de uitvoerenden.’
De oud-diplomaat denkt dat het uiteindelijke rapport ongeschikt was om de Nederlandse missie te beoordelen. ‘We betaalden ze voor het onderzoek dat ze in Uruzgan voor ons deden. Dus ik kan me wel voorstellen dat als zij de evaluatie doen, dat je dan vraagt: zijn ze dan wel onafhankelijk? Als je wilt uitzoeken hoe het geld is besteed en of we waarde voor ons geld gekregen hebben, dan moet je een wetenschappelijke instelling aanstellen die dat gaat uitzoeken. Dit rapport is geen evaluatie van de missie.’
De Boer zegt erbij dat evaluaties van missies altijd op deze manier plaatsvinden. ‘Er is vaak sprake van beïnvloeding. De instanties die de opdracht krijgen, verdienen daar behoorlijk aan en gaan van tevoren praten wat de terms of reference zijn, wie de contactpersonen zijn. Dan gaan ze het veld in en komen ze terug met een rapport. De opdrachtgever kan dan zeggen: dit is te negatief en kunnen we niet verkopen. Het rapport wordt dan positiever gemaakt. En als de club het niet doet, krijgt ze geen volgende opdracht.’
Kan dit ook anders?
Jan Gruiters, directeur van mensenrechtenorganisatie PAX en een van de vier leden van de commissie van onafhankelijke experts, blikt terug: ‘Waar de ministers het succes van de missie claimden, schreven wij in de Kamerbrief: ‘De politieke en militaire realiteit is dat over het verloop en het realiseren van de doelstellingen van de ISAF-missie, bijna tien jaar na de start, nog geen definitieve uitspraken zijn te doen.’ Dat is nogal een statement, zeker als je naar de eerste pagina’s van het evaluatierapport kijkt waar de namen van de omgekomen jongens staan. Nu moet ik concluderen dat onze constatering juist is gebleken.’
‘Het verbaast me dat er geen parlementaire enquête kwam’
Dat grondig en onafhankelijk onderzoek wel mogelijk is, blijkt in Noorwegen. Daar heeft het parlement opdracht gegeven tot een onderzoek naar de resultaten van de Noorse bijdrage aan de missie in Afghanistan. Het daaruit voortvloeiende Godal-report is in juni verschenen en zal in januari in Engelse vertaling beschikbaar zijn.
Ook in Amerika is gekozen voor een onafhankelijk orgaan: de Special Inspector General for Afghanistan Reconstruction. De club komt met vernietigende rapporten, bijvoorbeeld recent over het effect van Amerikaans donorgeld op de corruptie in onder andere Afghanistan.
In Nederland is het nog niet zover, erkent ook het ministerie van Buitenlandse Zaken. Een woordvoerder zegt dat het verkrijgen van data in Afghanistan voor het TLO-rapport niet eenvoudig was. Maar dat er uit de gebruikte rapportages, analyses en aanvullende onderzoeken niettemin een reëel beeld van het verloop en de resultaten van de Nederlandse bijdrage ontstond: ‘Er konden daarom met voldoende zekerheid conclusies worden getrokken en lessen worden geleerd.’
Gruiter is het daar niet mee eens: ‘Het is zeer teleurstellend dat de Tweede Kamer niet geëist heeft dat de evaluatie van militaire missies voortaan begeleid wordt door onafhankelijke experts.’
Ook Marten de Boer had meer initiatief verwacht vanuit de Tweede Kamer. ‘Het verbaast me dat er geen parlementaire enquête kwam. Ik verwachtte dat die zou komen.’ De oud-diplomaat denkt dat het algemene gevoel was dat alle relevante informatie bewaard moest worden, voor het geval politieke en wetenschappelijke instellingen vragen gingen stellen. ‘Dat is nooit gebeurd. En ook nu hebben ze politiek gezien hun handen vol met andere zaken.’
Wegens huidige werkzaamheden konden de namen van drie bronnen niet in dit stuk worden opgenomen. Hun namen zijn bekend bij de redactie.
Meer weten?
Voor dit verhaal werkte ik samen met de journalisten Thomas Blom, Sinan Can, Wali Hashimi en Klaas van Dijken. Het is onderdeel van een omvangrijke terugblik op de Nederlandse missie in Afghanistan. In het kader daarvan is maandagavond op NPO2 (21.10u) de documentaire Onze missie in Afghanistan - De weg naar Kamp Holland te zien.
Lees ook:
Zo ziet het einde van Amerika’s langste oorlog ooit eruit
Media staan vooraan om verslag te doen van het begin van een oorlog. Maar hoe ziet het einde eruit? Ik zocht uit hoe het Amerikaanse leger eind vorig jaar uit Afghanistan trok. Het verhaal van een verhuizing die drie jaar en 28 miljard dollar heeft gekost.
Na de slag om Mosul heeft Irak weer toekomst. Deze club laat zien welke
Ze geven maandelijks bloed aan ziekenhuizen, zamelen speelgoed in voor weeshuizen en brengen eten naar verzorgingstehuizen. Maak kennis met de enige motorclub van Irak, een samenleving in het klein die laat zien hoe het verder kan in Irak als IS verslagen is.
Dit verhaal heb je gratis gelezen, maar het maken van dit verhaal kost tijd en geld. Steun ons en maak meer verhalen mogelijk voorbij de waan van de dag.
Al vanaf het begin worden we gefinancierd door onze leden en zijn we volledig advertentievrij en onafhankelijk. We maken diepgravende, verbindende en optimistische verhalen die inzicht geven in hoe de wereld werkt. Zodat je niet alleen begrijpt wat er gebeurt, maar ook waarom het gebeurt.
Juist nu in tijden van toenemende onzekerheid en wantrouwen is er grote behoefte aan verhalen die voorbij de waan van de dag gaan. Verhalen die verdieping en verbinding brengen. Verhalen niet gericht op het sensationele, maar op het fundamentele. Dankzij onze leden kunnen wij verhalen blijven maken voor zoveel mogelijk mensen. Word ook lid!
