Wat werkt, voor wie, onder welke omstandigheden en waarom? Deze vragen vormen de basis van de ‘realist evaluation’, geïntroduceerd door Pawson en Tilly eind jaren ’90. Realist evaluations zijn erop gericht te verklaren waarom beleid wel of niet werkt, bijvoorbeeld waarom een project om mensen sneller uit het ziekenhuis te ontslaan geen resultaat oplevert, of alleen op sommige afdelingen. Realist evaluaties zijn daarmee een heel specifiek soort evaluaties waarin de evaluator op zoek gaat naar oorzaak-gevolg relaties die onder de (in)effectiviteit van beleid liggen.

Je kunt verschillende methoden en technieken inzetten om die oorzaak-gevolgsrelaties te onderzoeken, waaronder kwalitatieve interviews. Omdat niet alle kwalitatieve interviews hetzelfde zijn en daar vaak misvattingen over bestaan geeft Ana Manzano in haar paper een aantal handvaten voor een ‘realist interview’ in de praktijk.

Selecteren van je interviewees

Om oorzaak-gevolgsrelaties te toetsen heb je veel data nodig. Tijdsdruk en budget beperken vaak het aantal interviews dat je kunt afnemen en daarmee wordt het dus nog belangrijker je interviewees goed te selecteren. Omdat het doel is oorzaak en gevolg te achterhalen moeten de interviewees veel kennis van het project hebben. Volgens Manzano is de beste volgorde: 1) het M&E team: zij hebben het overzicht van hoe het project of programma in elkaar zit; 2) de frontline practitioners: zij zien wat er misgaat en wat er anders loopt dan verwacht en 3) de gebruikers/ patienten/clienten: zij kunnen iets zeggen over hoe het project hun gedrag al dan niet heeft beïnvloed.

Welke vragen stel je?

Omdat er in een realist evaluation hypothesen worden getoetst is de interviewer leidend in het gesprek. Niet de verhalen van de interviewees staan centraal (“hoe heb je dit ervaren?”), maar het verzamelen van informatie over oorzaak en gevolg. Je hoeft dus zeker niet te verbergen wat je al weet over het onderwerp. Manzano deelt het interview op in drie fasen: 1) algemene vragen om een eerste idee te krijgen van welke oorzaak-gevolg relaties er spelen: “voor wat voor soort mensen en in wat voor situaties zou dit project goed werken?”, 2) context specifieke vragen op basis van eerdere informatie die is verzameld: “toen dit project in Rotterdam werd geïmplementeerd waren er problemen met ... hebben jullie dat ook meegemaakt? Waarom denk je dat het hier anders is gelopen?” en 3) in-depth vragen over de verklaringen die uit de eerste twee fasen naar voren zijn gekomen. Je start de semi-gestructureerde interviews met een aantal voorbereide vragen, maar je kunt ook zeker doorvragen als dat meer informatie over oorzaak en gevolg oplevert.