5 Onderzoeksopzet en onderzoeksverantwoording

5

Onderzoeksopzet en onderzoeksverantwoording ‘Accountability (…) produce(s) an array of effects (-) only some of which are beneficial’ (Lerner en Tetlock 1999: 270).

In de voorgaande hoofdstukken zijn de drie conceptuele en analytische deelvragen beantwoord die in de inleiding waren geformuleerd. Dit heeft inzichten opgeleverd waarmee de empirische deelvragen kunnen worden aangescherpt tot concrete onderzoeksvragen. Dit gebeurt in het eerste deel van dit hoofdstuk. Uitgelegd wordt daar wat de onderzoeksvragen zijn en hoe ze worden beantwoord. In het tweede deel van dit hoofdstuk volgt reflectie op de onderzoeksopzet. Ook wordt daar ingegaan op gemaakte keuzen, selecties en gebruikte methoden. Dit hoofdstuk bevat tevens een appendix in bijlage 1. Deze bijlage toont aan de hand van 5 voorbeelden op welke manier en op basis van welke bronnen dit boek empirische uitspraken doet. 5.1 Onderzoeksopzet De probleemstelling van dit onderzoek is hoe functioneert horizontale verantwoording bij zelfstandige uitvoeringsorganisaties? De empirische opgave voor dit onderzoek, zoals uiteengezet in de inleiding, is drieledig. Achtereenvolgens is de vraag: bij welke zelfstandige uitvoeringsorganisaties komt horizontale verantwoording voor? Hoe functioneert horizontale verantwoording? En hoe kan dit functioneren normatief worden beoordeeld? Op basis van de vorige hoofdstukken kunnen deze drie empirische deelvragen nu scherper worden geformuleerd. Dit leidt tot zes empirische onderzoeksvragen. Tabel 5.1 geeft de zes onderzoeksvragen weer en belicht de relatie met de deelvragen. Aan de linkerzijde staan de deelvragen, aan de rechterzijde zijn die vertaald naar onderzoeksvragen. Onderzoeksvraag 1 wordt beantwoord in hoofdstuk 6. De onderzoeksvragen 2a t/m 2c, 3a en 3b worden in de hoofdstukken 7, 8 en 9 steeds beantwoord voor één type horizontale verantwoording. Hoofdstuk 7 behandelt raden van toezicht, hoofdstuk 8 klantenfora en hoofdstuk 9 visitaties. De bevindingen uit deze empirische hoofdstukken worden bij elkaar gebracht in hoofdstuk 10. Op die manier worden de onderzoeksvragen beantwoord.

102

VERANTWOORDING IN DE SCHADUW VAN DE MACHT

Tabel 5.1 Van deelvragen naar onderzoeksvragen Deelvragen Bij welke zelfstandige uitvoeringsorganisaties komt horizontale verantwoording voor?

Onderzoeksvragen 1 Bij welke zelfstandige uitvoeringsorganisaties komen raden van toezicht, klantenfora, colleges van deskundigen, interne ombudsmannen en visitaties voor? 2a Wat is de inhoud van de communicatie tussen de actor en het forum?

Hoe functioneren horizontale verantwoordingsarrangementen?

2b Wat is de invloed van die communicatie op het gedrag van de actor? 2c Is de communicatie tussen actor en forum de facto een verantwoordingsproces?

Hoe kan het functioneren van horizontale verantwoordingsarrangementen normatief worden beoordeeld?

3a Hoe is het functioneren van horizontale verantwoordingsarrangementen te beoordelen in democratisch perspectief? 3b Hoe is het functioneren van horizontale verantwoordingsarrangementen te beoordelen in cybernetisch perspectief?

In de uitwerking van de onderzoeksvragen zijn drie onderzoeksfasen te onderscheiden. Eerst worden horizontale verantwoordingsarrangementen geïnventariseerd (onderzoeksvraag 1), vervolgens wordt hun werking gereconstrueerd (onderzoeksvragen 2a t/m 2c), tot slot wordt dit normatief beoordeeld (onderzoeksvragen 3a en 3b). Hieronder volgt de opzet van de drie fasen. 5.1.1 Eerste fase: inventarisatie horizontale verantwoordingsarrangementen In de eerste onderzoeksfase wordt het vóórkomen van horizontale verantwoordingsarrangementen bij zelfstandige uitvoeringsorganisaties geïnventariseerd. De onderzoeksvraag (1) is: bij welke zelfstandige uitvoeringsorganisaties komen raden van toezicht, klantenfora, colleges van deskundigen, interne ombudsmannen en visitaties voor? Het object van onderzoek in deze fase zijn verantwoordingsarrangementen tussen zelfstandige uitvoeringsorganisaties en derde partijen. Horizontale verantwoordingsarrangementen zijn in hoofdstuk 3 gedefinieerd als bij wet of vrijwillige regeling gecodificeerde relaties tussen een zelfstandige uitvoeringsorganisatie (=actor) en een derde partij (=forum) op het niveau van het hoofdbestuur

ONDERZOEKSOPZET

103

van de organisatie. Het is de jure verantwoording als de actor inzicht behoort te geven in zijn handelen, hierover debat behoort plaats te vinden tussen beiden en het forum uiteindelijk behoort te oordelen over het (voorgenomen) handelen, met mogelijke formele sancties of informele consequenties tot gevolg. Een forum beschikt over formele sancties indien hij de actor kan beboeten of ontslaan; bindende aanwijzingen kan geven; besluiten vaststelt, goedkeurt of er mee moet instemmen. Er is sprake van informele consequenties via netwerken, als het forum gesprekspartner is van de principaal en/of wordt gerekruteerd uit politiek-bestuurlijk relevante kringen. Er is sprake van informele sancties via openbaarheid, wanneer de oordelen van het forum richting publiek en/of principaal worden gepubliceerd. De gehanteerde methode in de eerste fase is documentanalyse. Het vóórkomen van vormen van horizontale verantwoording is geïnventariseerd op basis van documentatie van de organisatie, zoals website, jaarverslag, jaarplan, organisatiebeschrijving en dergelijke. Voorts zijn instellings- en verzelfstandigingswetten bezien. De bevindingen zijn vergeleken met enkele bestaande inventarisaties (Algemene Rekenkamer 2002b; Luursema e.a. 2003). In zeven gevallen resteerde er onderzekerheid over het al dan niet vóórkomen van horizontale verantwoordingsarrangementen. Die onzekerheid is weggenomen via e-mail- en/of telefonische vragen aan de organisatie in kwestie. 5.1.2 Tweede fase: reconstructie communicatie tussen actor en forum In de tweede onderzoeksfase is het feitelijke functioneren van het verantwoordingsarrangement gereconstrueerd ter beantwoording van de drie descriptieve onderzoeksvragen (3a, b en c) naar de inhoud en de invloed van de communicatie en de vraag of die de facto als verantwoordingsproces is te begrijpen. Het object van onderzoek in de tweede fase is in eerste instantie de communicatierelatie tussen actor en forum over het (voorgenomen) handelen van de actor. Deze communicatie is gereconstrueerd bij een aantal case-organisaties. De case-selectie wordt in het tweede deel van dit hoofdstuk besproken. In tweede instantie is het object van onderzoek bij vraag 2b de invloed van horizontale verantwoording op het beleid van de organisatie. De methode die is gebruikt is een combinatie van documentanalyse en interviews. Door triangulatie is de communicatie tussen actor en forum aan de hand van verschillende bronnen gereconstrueerd en is de invloed daarvan op het gedrag van de actor bezien.

104


Onderzoeksvraag 2a: wat is de inhoud van de communicatie tussen de actor en het forum? Om deze vraag te beantwoorden zijn de hoofdlijnen van de communicatie tussen actoren en fora over een tijdsperiode van één jaar gereconstrueerd. Een aantal feitelijke en evaluatieve vragen is gesteld aan het documentatiemateriaal en aan de respondenten. Via vergaderagenda’s, -verslagen en -stukken is eerst een indicatief beeld geschetst van de inhoud van de communicatie. Dit resulteerde in een beschrijving die vervolgens is getoetst aan typeringen van respondenten. Hen is ook gevraagd naar de informele communicatie, wat zij het belang achten van het arrangement en hoe zij de feitelijke werking ervaren. De onderstaande tabel vat de inhoudelijke reconstructie samen. Tabel 5.2 Inhoudelijke reconstructie communicatie tussen actor en forum Vraag Welke inhoud staat centraal in de informatiefase?

Hoe verloopt de debatfase?

Hoe verloopt de oordeelsfase?

Informatiebron • categorisering gespreksonderwerpen overlegagenda’s, verslagen en stukken; • externe verantwoording door de actor in jaarverslag of anderszins over de hoofdonderwerpen van overleg met het forum; • typering ‘belangrijkste gespreksonderwerpen’ door respondenten. • jaarlijkse frequentie en samenstelling formeel overleg blijkens verslagen; • typering inhoud van het formeel overleg door respondenten; • typering van inhoud en frequentie informeel overleg door respondenten. • inhoudelijke signalen forum: welke richting stuurt het forum de actor met zijn uitspraken?; • beoordelingsperspectief van het forum: waaraan hecht het forum belang?; • frequentie en inhoud van verschillen van inzicht tussen actor en forum; • het gebruik van bevoegdheden door het forum; • of, en zo ja hoe, de oordelen van het forum extern worden gepubliceerd. Dit alles blijkens documentatie én typeringen respondenten.

Onderzoeksvraag 2b: Wat is de invloed van die communicatie op het gedrag van de actor? Bij deze vraag is gezocht naar een indicatief antwoord naar de invloed van het forum op het gedrag van de actor. Er wordt onderscheiden naar ex post en ex ante invloed. Ex post invloed op het gedrag van de actor in door het forum gewenste richting houdt in dat de actor zijn gedrag aanpast in de richting die het forum aangeeft.

ONDERZOEKSOPZET

105

Dit blijkt uit schriftelijke bronnen rondom besluiten, zoals verslagen, brieven en adviezen, én mondelinge voorbeelden van verschillende respondenten. Invloed is hier alleen ‘geteld’ indien meerdere schriftelijke én mondelinge bronnen op dezelfde door het forum beïnvloedde gedragsverandering wijzen. Dat levert geen sluitend ‘bewijs’ maar maakt invloed wel aannemelijk. Het onderzoek is op dit punt niet uitputtend. Getracht is een indicatie te geven van de invloed van verschillende (typen) arrangementen. Om preciezere uitspraken te kunnen doen is intensiever onderzoek nodig. Ex ante invloed op het gedrag van de actor in door het forum gewenste richting houdt in dat de actor rekening houdt met de opvattingen van het forum bij het nemen van besluiten. Er is gekeken naar twee voorwaarden voor ex ante invloed. In de eerste plaats of de actor aangeeft het forum gezaghebbend te achten. Daartoe zijn de antwoorden van respondenten van uitvoeringsorganisaties gescreend op uitspraken die duiden op ontzag/respect voor of juist disrespect/delegitimatie van het forum. Dit blijkt verder uit het feit dat het bestuur van de uitvoeringsorganisatie door een goede voorbereiding investeert in de relatie met het forum. In de tweede plaats of het forum in de oordeelsfase het gedrag van de actor beoordeelt op een bij de actor gekend beoordelingsperspectief. Dit blijkt wanneer respondenten bij de uitvoeringsorganisatie het beoordelingsperspectief van het forum tijdens het interview zonder grote moeite kunnen reconstrueren. Ex ante invloed is moeilijk te achterhalen. Op voorgaande wijze kan allerminst worden bewezen dat de actor bij het nemen van besluiten anticipeert op de latere verantwoording erover aan het forum. Wel is anticipatie aannemelijk als de actor zich nadrukkelijk voorbereidt op het overleg met het forum, het forum een herkenbaar beoordelingsperspectief hanteert én in hoog aanzien staat. Omgekeerd geldt dat anticipatie onaannemelijk is als de actor zich er niet op voorbereidt, hij niet in staat is te verwoorden wat het beoordelingsperspectief is van het forum en weinig respect heeft voor het forum. Onderzoeksvraag 2c: Is de communicatie tussen actor en forum de facto een verantwoordingsproces? Het antwoord op deze vraag volgt als vanzelf uit het voorgaande. Indien de verschillende elementen van verantwoording herkenbaar zijn is volgens de hier gehanteerde definitie sprake van een verantwoordingproces. Vanwege het belang van deze vraag voor dit onderzoek is hij in aanvulling op de formele definitie ook langs subjectieve weg bezien. Het ‘objectieve’ antwoord is zo vergeleken met de subjectieve percepties van betrokkenen. Hen is gevraagd of zij vinden dat ‘verantwoording’ past bij de relatie tussen actor en forum. Het op deductieve wijze afgeleide concept van verantwoording is gelegd naast de inductief verkregen beleving van betrokkenen. Door de combinatie van een geobjectiveerd en

106


een subjectief antwoord ontstaat een reflective equilibrium (zie Rawls 1972: 4851). Verder is deze vraag ook geplaatst in het bredere strategische krachtenveld. Op basis van het vorige hoofdstuk zijn voor de drie partijen specifieke strategische belangen bij horizontale verantwoording aan te wijzen. De antwoorden van respondenten zijn gescreend op deze punten. Voor de actor geldt dat horizontale verantwoording behulpzaam kan zijn om zijn autonomie te vergroten. Voor het forum geldt dat het zijn positie kan gebruiken om politieke doelen te realiseren door te trachten politiek vastgesteld beleid te beïnvloeden. Voor de principaal geldt dat hij het arrangement kan gebruiken voor blameshifting, door de schuld voor beleidsfeilen aan het forum te wijten, of door zijn invloed op de actor via de omweg van verplichte horizontale verantwoording te vergroten. 5.1.3 Derde fase: normatieve beoordeling verantwoordingsproces In de derde onderzoeksfase is het gereconstrueerde verantwoordingsproces beoordeeld vanuit democratisch en cybernetisch perspectief. Het object van onderzoek in deze fase zijn aspecten van de inhoud van het verantwoordingsproces, de consequenties van het verantwoordingsproces en de vergelijking van het horizontale verantwoordingsproces met de verticale verantwoordingsrelatie. In het vorige hoofdstuk zijn voor beide perspectieven vijf positieve en één negatieve mogelijke bijdrage geïdentificeerd. Zij hebben steeds betrekking op de inhoud van de horizontale verantwoording, bepaalde gewenste of ongewenste consequenties ervan of de vergelijking met de verticale verantwoording. Deze derde fase steunt in praktische zin op de descriptieve reconstructie uit de tweede onderzoeksfase. De gebruikte methode is ook hier een combinatie van documentanalyse en interviews. Onderzoeksvraag 3a: Hoe is het functioneren van horizontale verantwoordingsarrangementen te beoordelen in democratisch perspectief? Horizontale verantwoording kan de democratische controle door de principaal versterken of aanvullen en kan ook de controle van hoger gelegen principalen versterken. Er zijn in hoofdstuk 4 vijf positieve en één negatieve mogelijke bijdrage van horizontale verantwoording in democratisch perspectief geïdentificeerd. De zes mogelijke bijdragen in democratisch perspectief zijn: 1. Informatiefase: horizontale verantwoording behandelt onderwerpen die niet (langer) aan de orde zijn in de verticale verantwoording. 2. Debatfase: forum behartigt belang directe principaal of burger als ultieme principaal.

ONDERZOEKSOPZET

107

3. Oordeelsfase: forum stuurt door zijn inhoudelijke oordelen/gebruik van sancties mee in door de principaal gewenste richting. 4. Oordeelsfase: forum oordeelt op basis van een op de principaal aanvullend en door hem van belang geacht beoordelingsperspectief. 5. Positieve consequentie: horizontale verantwoording draagt als brandalarm bij aan het toezicht van de principaal. 6. Negatieve consequentie: multiple accountabilities disorder. Horizontale verantwoording doorkruist de sturing van de principaal of vormt handelingsblokkade voor de actor. Tabel 5.3 geeft weer hoe is onderzocht of horizontale verantwoording de verschillende mogelijke positieve of negatieve bijdragen levert. De cijfers tussen haakjes verwijzen naar de hiervoor genummerd weergegeven mogelijke bijdragen. Tabel 5.3 Positieve en negatieve bijdragen van horizontale verantwoording in democratisch perspectief Object van onderzoek Verantwoordingsproces

Vergelijking met verticale relatie

Mogelijke bijdrage in democratisch perspectief Forum treedt op als belangenbehartiger principaal of burger (2). Horizontale verantwoording behandelt onderwerpen die niet aan de orde zijn in verticale verantwoording (1). Forum stuurt door oordelen en sancties mee in door de principaal gewenste richting (3).

Forum oordeelt op een op de principaal aanvullend beoordelingsperspectief (4).

Wijze van onderzoeken Dit blijkt uit typeringen van verschillende respondenten. Dit blijkt uit vergelijking onderwerpen en documenten in de verticale met die in de horizontale verantwoording en uit typeringen respondenten. Dit blijkt uit vergelijking oordelen forum met die van de principaal. De sturingsrichting van fora volgt uit vastgelegde uitspraken in brieven en verslagen en uit typeringen respondenten. Die van de principaal uit geformaliseerde vereisten in bijv. wet, prestatiecontract en typeringen respondenten. Dit blijkt door vergelijking van het beoordelingsperspectief van het forum (-) zoals dat evt. is gecodificeerd en door respondenten wordt getypeerd (-) met het toezicht van de principaal.

108


Horizontale verantwoording fungeert als brandalarmtoezicht (5). Consequenties verantwoordingsproces

Pathologie multiple accountabilities disorder (6).

Dit is het geval als de horizontale verantwoording informatie genereert die de principaal in zijn toezicht gebruikt. Informatie kan uit alledrie de fasen van de verantwoording voortkomen. Ook kunnen forumleden de principaal mondeling informeren. Of de informatie wordt gebruikt en als inzichtgevend wordt bestempeld door de principaal blijkt uit typeringen departementale respondenten. Dit is het geval als het forum conflicterende sturingssignalen zendt ten opzichte van die van de principaal die ofwel de besluitvorming van de actor blokkeren ofwel de sturing van de principaal doorkruisen.

Onderzoeksvraag 3b: Hoe is het functioneren van horizontale verantwoordingsarrangementen te beoordelen in cybernetisch perspectief? In cybernetisch perspectief is de centrale vraag of horizontale verantwoording impulsen tot kwaliteitsverbetering genereert. Ook in dit perspectief zijn in hoofdstuk 4 vijf positieve en één negatieve mogelijke bijdrage aangewezen. Zij liggen ofwel op het niveau van het verantwoordingsproces of hebben betrekking op de mogelijke opbrengsten van het proces. De zes mogelijke bijdragen in cybernetisch perspectief zijn: 1. Informatiefase: het vervaardigen van de gevraagde informatie in de informatiefase genereert op zich al lessen; 2. Debatfase: actor en forum voeren een reflectieve dialoog over het handelen van de actor; 3. Oordeelsfase: de oordelen van het forum bevatten (-) eventueel ondersteund door het gebruik van sancties (-) lessen voor de actor; 4. Oordeelsfase: de dialoog vindt plaats bij een gematigd conflictniveau; 5. Positieve consequentie: lessen worden omgezet in gedragsveranderingen door de actor; 6. Negatieve consequentie: controlitis. Horizontale verantwoording vergt een grote en belastende tijdsinvestering van de actor en heeft defensief gedrag tot gevolg. Tabel 5.4 geeft weer hoe dit is onderzocht. Ook hier verwijzen de nummers tussen haken naar de hiervoor genummerd aangegeven mogelijke bijdragen.

ONDERZOEKSOPZET

109

Tabel 5.4 Positieve en negatieve bijdragen van horizontale verantwoording in cybernetisch perspectief Object van onderzoek

Mogelijke bijdrage in cybernetisch perspectief Reflectieve dialoog in de debatfase (2).

Verantwoordingsproces Gematigd conflictniveau (4).

Nieuwe inzichten in de informatiefase (1).

Consequenties verantwoordingsproces

Lessen in de oordeelsfase (3).

Effectieve gedragsveranderingen (5).

Pathologie controlitis (6).

Wijze van onderzoeken Dit blijkt als de dialoog is gericht op het handelen van de actor, respondenten de rolopvatting van het forum karakteriseren in termen als ‘meedenkend’ en de sfeer als ‘kritisch maar reflectief’. Dit blijkt als er consensus is over het proces, dit in beslotenheid is én het forum door de actor als een ‘meedenkend’ orgaan wordt beleefd. In deze relatie is toch een zekere dreiging als actoren zich bewust zijn van de (in)formele sancties als openbare oordelen en politiek-bestuurlijke netwerken. Dit is het geval als in de informatiefase nieuwe informatie over het handelen van de actor wordt vervaardigd en respondenten met voorbeelden aangeven dat dit leerzaam is. Dit is het geval als de oordelen van het forum zich richten op hoe de actor zijn doelstellingen beter kan realiseren. Lessen bieden concrete handelingsmogelijkheden. Ze blijken uit documentatie en als meerdere respondenten ze in overeenkomstige termen benoemen. Om effectief te zijn is het nodig dat er gedragsveranderingen optreden bij de actor in door het forum gewenste richting. Dit is het geval als de tijdsinvestering van de actor hoog is, hij het proces als sterk belastend ervaart en het zijn ‘verantwoordingsvermogen’ overschrijdt. Hij heeft dan capaciteitsproblemen bij horizontale verantwoording en stelt zich blijkens respondenten defensief op.

Bijlage 1 laat aan de hand van vijf voorbeelden zien hoe empirische uitspraken in dit boek tot stand komen. De voorbeelden betreffen de vragen naar: a) de inhoud van het overleg tussen actoren en fora, b) de invloed van de communicatie op het gedrag van de actor, c) typering van de hoofdlijn van de dialoog tussen actor en forum, d) inhoudelijke signalen van het forum en e) antwoorden op de

110


vraag aan respondenten ‘is de relatie met het forum in uw beleving verantwoording?’ Het is een appendix bij dit hoofdstuk. 5.2 Onderzoeksverantwoording In dit tweede deel van dit hoofdstuk volgen een aantal reflecties op de onderzoeksopzet. Het betreft eerst de aard van het onderzoek, daarna het gebruik van cases en de gemaakte selecties, vervolgens de gehanteerde methode en ten slotte de betrouwbaarheid en geldigheid van dit (type) onderzoek. 5.2.1 Een exploratief onderzoek Dit is een exploratieve studie waarin het verschijnsel ‘horizontale verantwoording bij zelfstandige uitvoeringsorganisaties’ vanuit een breed perspectief wordt geanalyseerd. Er is een aantal redenen waarom voor een exploratieve benadering is gekozen. De eerste reden is dat horizontale verantwoording een relatief nieuw verschijnsel is. Dit betekent dat er relatief veel empirisch terrein valt bloot te leggen. De tweede reden is dat voor de beoordeling van horizontale verantwoording geen kant en klaar beoordelingskader beschikbaar was. Dit onderzoek is daarom niet alleen bedoeld om het functioneren van een aantal arrangementen te beoordelen maar is tevens een test van het gehanteerde beoordelingskader.29 Het onderzoek is in de derde plaats exploratief omdat het niet goed in een bestaand theoretisch perspectief past. Veel onderzoekers hanteren een principaalagent model in hun benadering van verantwoording (zie Przeworski e.a. 1999; Strøm 2000. Zie ook Paul 1992; Broadbent e.a. 1996; Besley en Ghatak 2003; Bakker en Yesilkagit 2005: 16). Deze theorie wordt in dit boek weliswaar op diverse plaatsen als heuristisch instrument gebruikt, maar wordt niet gebruikt als algeheel theoretisch kader. De belangrijkste reden is dat de hier onderzochte fora, anders dan in de principaal-agent theorie, noch in een eigenaarsrelatie staan tot de uitvoeringsorganisaties noch de sanctionerende bevoegdheden hebben die voor principalen te doen gebruikelijk is. Het forum kan derhalve niet goed als quasi-principaal worden beschouwd.30 Bovendien staat de principaal-agent theorie in het teken van het belangenconflict tussen principaal en agent. Het gaat om 29

Het hier gehanteerde kader staat in een Nederlandse traditie van denken over verantwoording (Bovens 2006. Zie ook Van Gunsteren 1974; Bovens en ’t Hart 2005; Bakker en Yesilkagit 2005) die internationaal erkenning vindt (Pollitt 2003; Flinders 2004; Ebrahim 2005; Hüpkes e.a. 2005) en goed aansluit bij andere auteurs (met name Day en Klein 1987; Romzek en Dubnick 1998; O’Donnell 1998; Flinders, 2001; Behn 2001; Mulgan 2003). 30 Overigens, er bestaat veel literatuur over multiple principalen (zie bijvoorbeeld Krause en Meier 2003: 15; Shapiro 2005: 278). Ook die is niet goed bruikbaar voor dit onderzoek, omdat deze literatuur zich richt op min of meer gelijkwaardige principalen, zoals de president en het congres in de VS (McCubbins e.a. 1987: 248; Bendor e.a. 2001: 244; Lazer 2003: 108; Miller 2005: 214).

ONDERZOEKSOPZET

111

de immanente spanning tussen de behoefte aan efficiënte en effectieve controle door de principaal enerzijds en de behoefte aan autonomie van de agent anderzijds. Hoewel dit strategische aspect ook in dit onderzoek aan de orde is, legt de principaal-agent theorie er voor een exploratieve studie te eenzijdig de focus op. 5.2.2 Selecties en cases Het empirische onderzoek (vragen 2a t/m 3b) is gebaseerd op case-studies. Case-onderzoek is bij uitstek geschikt voor exploratieve studies vanwege de mogelijkheid om veel details te verwerken (Swanborn 1996: 47). Met case-studies wordt een verschijnsel onderzocht in zijn natuurlijke omgeving, aan de hand van diverse databronnen en op tal van variabelen. De belangrijkste overweging voor een benadering met cases is dat dit een gedetailleerde beschrijving van sociale processen mogelijk maakt (Swanborn 1996: 38). De cases in dit onderzoek zijn horizontale verantwoordingsarrangementen bij een aantal case-organisaties. De cases zijn in drie selectiemomenten gekozen. Allereerst is een afbakening van zelfstandige uitvoeringsorganisaties gemaakt teneinde een inventarisatie van het vóórkomen van horizontale verantwoordingsarrangementen te maken. Het doel was om een groep organisaties af te bakenen die staatsrechtelijk gelijksoortig zijn en die de meeste grote zelfstandige uitvoeringsorganisaties omvat. Hoofdstuk 2 liet zien dat er veel concurrerende definities en tellingen bestaan van organisaties-op-afstand. Gekozen is hier om eerst de beste beschikbare inventarisaties bij elkaar op te tellen.31 Dit levert een zo groot mogelijke verzameling zelfstandige organisaties op. Deze verzameling is vervolgens weer verkleind door vier aanvullende keuzen te maken. Allereerst is alleen voor publiekrechtelijke en niet voor privaatrechtelijke ZBOs gekozen. Vervolgens is alleen voor unieke organisaties gekozen en niet voor clusters van organisaties. Verder is gekozen voor ZBOs die ook organisaties zijn, en niet alleen een orgaan. Ten slotte zijn om praktische redenen fuserende organisaties buiten beschouwing gebleven. Zie § 2.2.2 voor de onderscheidingen. Deze werkwijze resulteerde in een lijst van 82 zelfstandige uitvoeringsorganisaties die in bijlage 4 is weergegeven. Bij deze uitvoeringsorganisaties is onderzocht welke horizontale verantwoordingsarrangementen zij hebben. Hoofdstuk 6 zal laten zien dat er bij 35 van deze organisaties horizontale verantwoordingsarrangementen te vinden zijn (zie bijlage 5 voor het overzicht). Voor deze zelfstandige uitvoeringsorganisaties geldt dat zij 31

De gebruikte bronnen zijn: Van Thiel en Van Buuren 2001; Algemene Rekenkamer 2002a; ministerie van Financiën 2002; Rijksarchiefinspectie 2003; Luursema e.a. 2003; commissieDijkstal 2004 en de websites www.overheid.nl/organisaties/centraal/zbo; www.zboregister.nl; www.minfin.nl. De inventarisatie is aanvankelijk verricht in de tweede helft van 2004 en is gebruikt voor Schillemans 2005b. De inventarisatie is in april 2007 geactualiseerd.

112

• • • •


een publiekrechtelijk ZBO of agentschap zijn, én in institutionele zin een organisatie zijn, én een unieke organisatie zijn, én in de onderzoeksperiode niet in fusie zijn.

In de tweede selectie zijn cases van horizontale verantwoording geselecteerd ten behoeve van de descriptieve en normatieve onderzoeksvragen. Gezocht is naar een redelijke afspiegeling van verschillende typen arrangementen bij een zo groot mogelijk aantal organisaties. Dit volgens het eenvoudige principe dat meer cases meer informatie opleveren (Swanborn 1996: 56). Er is gekozen voor een benadering met zes centrale case-organisaties die in totaal 13 horizontale verantwoordingsarrangementen kennen. Het zijn vijf ZBOs en één agentschap. Het onderzoek bij de case-organisaties heeft in grote lijnen tot beantwoording van de onderzoeksvragen geleid. Per case-organisatie zijn ongeveer tien interviews gehouden. Vervolgens zijn de verkregen inzichten getoetst aan bevindingen bij zeven, veel beperkter onderzochte, controle caseorganisaties. Hier zijn in totaal tien verantwoordingsarrangementen aan de orde geweest. Het doel van deze opzet was om het empirisch bereik te vergroten en door correctie aan de hand van aanvullende cases de invloed van organisatiespecifieke factoren te beperken. De cases zijn bedoeld om de inzichten uit de centrale cases te controleren. Op een aantal punten bevestigde deze methode de uitkomsten van de centrale cases, hetgeen suggereert dat ze breder geldig zijn. Op een aantal punten nuanceerden ze uitkomsten van de centrale cases, hetgeen suggereert dat die specifiek gelden voor één of enkele organisaties. Door deze combinatie van intensieve en extensieve cases heeft dit onderzoek een behoorlijk groot bereik. Er is onderzoek verricht bij 13 van de 35 zelfstandige uitvoerigsorganisaties waar verantwoordingsarrangementen voorkomen.32 Het zijn: Centrale case-organisaties 1. CWI Centrale organisatie voor Werk en Inkomen 2. Kadaster (Kad) 3. Nederlands Vaccin Instituut (NVI) 4. Pensioen- en Uitkeringsraad (PUR) 5. 6.

32

Staatsbosbeheer (Sbb) Uitkeringsinstituut Werknemersverzekeringen (UWV)

Controle case-organisaties 1. Centraal Bureau voor de Statistiek (CBS) 2. Centrale Financiën Instellingen (CFI) 3. Informatie Beheer Groep (IB-Groep) 4. Luchtverkeersleiding Nederland (LVNL) 5. Nederlands Forensisch Instituut (NFI) 6. Nederlands Vlaamse Accreditatie Organisatie (NVAO) 7. RDW

Bijlage 3 geeft achtergrondkenmerken van de 13 onderzochte zelfstandige uitvoeringsorganisaties.

ONDERZOEKSOPZET

113

In paragraaf 2.1.2 en 2.2.2 is aangegeven dat zelfstandige uitvoeringsorganisaties (onder meer) te onderscheiden zijn naar de omvang van de discretionaire ruimte bij besluiten en de omvang van de zelfstandige beleidsruimte in de bedrijfsvoering. Op dit punt variëren de onderzochte organisaties sterk. Aan het ene uiterste van het spectrum staan organisaties met een geringe discretionaire ruimte bij besluiten vanwege strikte wettelijke kaders die echter wel door onder meer tariefstelling relatief grote beleidsruimte hebben in de bedrijfsvoering. Dit geldt bijvoorbeeld voor RDW en Kadaster. Aan het andere uiterste vinden we organisaties als NFI, NVI en Staatsbosbeheer, die de jure geen noemenswaardige eigen besluitvormingsruimte hebben omdat ze een agentschap zijn (NFI, NVI) of geen openbaar gezag hebben (Sbb). Tegelijkertijd vereisen hun taken echter wel professionele deskundigheid op het gebied van landschapsontwikkeling, forensisch- of vaccinatie-onderzoek, waaraan zij de facto toch discretionaire ruimte ontlenen. Dit onderscheid tussen de onderzochte organisaties wordt in het vervolg niet steeds uitgewerkt. Wel keert het terug in de conclusie, waar een relatie wordt gelegd tussen horizontale verantwoording enerzijds en taak- en autonomiekenmerken van zelfstandige uitvoeringsorganisaties anderzijds. De derde selectie betrof de organisaties. Gestreefd is naar enige variëteit qua departementale afkomst. Enige zorg is besteed aan het includeren van organisaties die geen lid zijn van de Handvestgroep publieke verantwoording. Gezien de voortrekkersrol van de Handvestgroep bij publieke verantwoording was het van belang voldoende andere organisaties te onderzoeken. Ook is enige zorg besteed aan het includeren van agentschappen. Heel gericht is getracht daarvan enkele bereid te vinden mee te werken. Ten slotte heeft het verloop van visitaties invloed gehad op de selecties. Aangezien visitaties vierjaarlijks plaatsvinden, is gekozen voor één organisatie die drie jaar geleden was gevisiteerd, één organisatie die één jaar geleden was gevisiteerd, één organisatie die tijdens de onderzoeksperiode werd gevisiteerd en één organisatie die zich voorbereidde op een eventuele visitatie. De vierde selectie betrof de te onderzoeken arrangementen. Vier van de vijf onderscheiden horizontale verantwoordingsarrangementen zijn in het onderzoek betrokken. Alleen ‘interne ombudsmannen’ zijn buiten het onderzoek gebleven. Dit omdat zij inhoudelijk sterk afwijken van de andere vier. Bij de andere vier staan de hoofdlijnen van beleid van de uitvoeringsorganisatie centraal. Bij interne ombudsmannen staan individuele klachten of bezwaren centraal. Verder zijn klantenfora en colleges van deskundigen in de uitwerking gezamenlijk behandeld omdat ze in de onderzochte gevallen mengvormen waren.

114


5.2.3 Interviews en bronnengebruik De cases zijn onderzocht door een combinatie van documentanalyse en interviews. De interviews zijn in eerste instantie gericht op het dominante beeld van het functioneren van een specifiek arrangement. Respondenten is gevraagd dit dominante beeld te schetsen. Vervolgens is hen gevraagd om algemene uitspreken te concretiseren met voorbeelden. Dit algemene beeld is vervolgens aangevuld met vragen naar specifieke momenten. Specifieke momenten zijn meestal als zodanig aangewezen door de respondenten. Vaak betrof het momenten van conflict tussen actor en forum of de vraag hoe de organisatie moest omgaan met een gepolitiseerde crisis. Uitspraken van eerdere respondenten zijn indirect en in neutrale termen gecheckt bij latere respondenten. Ook zijn op basis van de documentatie soms specifieke situaties door de onderzoeker als relevant aangemerkt. Uit de verslagen van één forum bleek bijvoorbeeld dat er grote onenigheid was geweest tussen de actor en het forum over een bepaalde transactie. Beide respondenten is vervolgens gevraagd nader op deze zaak in te gaan. De combinatie van verschillende respondenten en verschillende typen bronnen had tot doel het onderzoek te objectiveren. Het ondervangt risico’s op intervieweffecten zo veel mogelijk (Bos en Geurts 1994: 67). Eén interview-effect is bijvoorbeeld dat respondenten liever successen noemen dan mislukkingen en bovendien de neiging hebben hun eigen invloed te overschatten. Ook is de interviewer niet objectief en is niet zeker dat wat hij meent te horen ook dat is wat de geïnterviewde meent te zeggen. Bovendien antwoorden respondenten vaak strategisch. Zeker in het onderhavige onderzoek, waarin de strategische relatie tussen actor, forum en principaal aan de orde is, zijn er voor respondenten incentives om strategisch te antwoorden (zie ook Weiss 1995: 142-3; Nieuwenkamp 2001: 126). Dergelijke risico’s op intervieweffecten zijn zo veel mogelijk ondervangen door ‘feiten’ steeds te gronden op minimaal twee respondenten. In de interviews zijn steeds verschillende betrokkenen bij hetzelfde arrangement gehoord. De uitspraken van respondenten zijn vergeleken met ‘papieren bewijs’ uit agenda’s en verslagen. Ook is in de interviews naast percepties steeds gevraagd naar feitelijkheden, concretiseringen en voorbeelden (zie Weiss 1995: 50). Ten slotte zijn alle gesprekken uitgeschreven en zijn (-) enkele technische problemen daargelaten (-) de bandopnamen bewaard. Het onderzoek is voor een belangrijk deel verricht aan de hand van semi gestructureerde interviews. Er is vanwege het exploratieve karakter van de studie gewerkt met relatief globale vragen. De data (-) en daarmee het toeval (-) zijn ten dele leidend (Swanborn 1996: 47). Het eerste interview vond plaats in mei 2005, het laatste interview in november 2006. Getracht is om in de uitwerking

ONDERZOEKSOPZET

115

zo veel mogelijk een verhaal te maken op basis van de typeringen van de respondenten zelf. In het vervolg van dit boek zullen de respondenten daarom vaak sprekend ten tonele worden gevoerd teneinde hún oordelen en waarderingen weer te geven (zie ook Day en Klein 1987: 71-2). De uitspraken van respondenten in interviews over de aard en de invloed van verantwoording zijn via een open codering systeem gecodeerd (Charmaz 2000: 515; Seale 2004: 243). Dit vergde een constante vergelijking van uitspraken door respondenten binnen en tussen cases. De zes centrale case-organisaties zijn volgtijdelijk onderzocht. Daardoor ontstonden tussenfasen, waarin materiaal werd verwerkt en geanalyseerd, waarna er weer een nieuwe fase kwam van dataverzameling. Dit leidde tijdens de eerste tussenfasen ook tot kleine wijzigingen in de opzet en aanpak. De codering van de uitspraken verliep zodoende cyclisch, in voortdurende interactie met het materiaal (zie ook Weiss 1995: 1546; Charmaz 2000: 510; Babbie 2001: 359). De afspraak bij de interviews was dat de respondenten, vanwege de gevoeligheid van het onderzoeksterrein, niet herkenbaar zouden worden geciteerd. In het vervolg wordt daarom vaak over organisatie X, ministerie X of arrangement X gesproken (zie ook Nieuwenkamp 2001: 125). Als consequentie is soms enigszins in citaten geredigeerd, doordat: •

•

•

Respondenten op één uitzondering na met een oplopend nummer worden aangeduid. Ze ‘heten’ R01, R02 tot en met Rn. Een besloten respondentenindex geeft aan welke respondenten verantwoordelijk zijn voor welke citaten. Soms gaan meerdere respondenten schuil achter dezelfde verwijzing wanneer zij hetzelfde hebben gezegd. Zinnen als ‘wij vinden dat het ministerie van VWS…’ zijn meestal gewijzigd tot ‘de uitvoeringsorganisatie vindt dat het departement…’ of ‘ministerie X’. Verwijzingen naar specifieke arrangementen zijn veralgemeniseerd. Dit betekent dat cliëntenraden, raden van advies, gebruikersraden etc. als ‘klantenforum’ worden aangeduid en alle interne toezichthoudende organen als ‘raad van toezicht’.

Verder zijn citaten op standaardwijze licht geredigeerd (Weiss 1995: 193). De woorden van de respondenten zijn niet gewijzigd. Wel is iets meer coherentie aangebracht in hun formuleringen, bijvoorbeeld door taalfouten te corrigeren en ‘valse starts’ en stopwoorden te schrappen.

116


De opzet van de interviews is als volgt geweest: Aanpak centrale case-organisaties •

•

• •

Startpunt: één of twee algemene gesprekken over de staat van de organisatie en de plaats van de arrangementen daarbinnen. Vaak met de secretaris van het bestuur of een andere medewerker dichtbij het bestuur. Per horizontale verantwoordingsrelatie is steeds in principe één gesprek gevoerd met een lid van het forum, de bestuurder van de organisatie en de secretaris van het forum. Bij organisaties met meerdere horizontale verantwoordingsrelaties is vanwege de beperkte tijd van bestuurders in aanvulling gesproken met de (adjunct)-secretaris van het bestuur. Vanwege positionele dubbelingen van personen, kwamen soms in één gesprek meerdere rollen of arrangementen ter sprake en waren er soms meerdere gesprekken met dezelfde respondent (zie bijlage 2 voor respondenten). Per organisatie was er ook een gesprek met de contactambtena(a)r(en) op het departement. Vaak volgde op gesprekken nadere informatie door verwijzingen, e-mails, telefonische informatie of toezending van relevante stukken.

Aanpak controle case-organisaties •

•

Bij de controle case-organisaties zijn steeds één of twee gesprekken gevoerd met één tot drie respondenten. Bij het NFI is er uitsluitend e-mailcontact geweest en is verder openbare informatie gebruikt. Verder zijn een beperkt aantal hogere ambtenaren geïnterviewd, omdat zij belangrijk inzicht hebben in de strategische interactie van departementen met uitvoeringsorganisaties. Ze zijn geselecteerd volgens een loose coupling tot de cases. Enerzijds zijn enkele hogere ambtenaren geïnterviewd van ministeries waarvan uitvoeringsorganisaties zijn onderzocht (ministeries van OCW, SZW, VROM en VWS). Anderzijds zijn enkele hogere ambtenaren geïnterviewd die belangrijk zijn in het algehele verzelfstandigingsbeleid (ministeries van BZK en Financiën en Algemene Rekenkamer).

In totaal hebben 67 respondenten meegewerkt aan dit onderzoek. Sommige respondenten zijn twee of drie keer geïnterviewd. Met drie respondenten is uitsluitend via de e-mail contact geweest. Eén respondent is alleen telefonisch geïnterviewd.

ONDERZOEKSOPZET

117

In aanvulling op de interviews zijn de volgende schriftelijke bronnen gebruikt: Specifieke informatie over arrangementen • • • •

agenda’s en verslagen van overleg tussen actor en forum alsmede vergaderstukken; schriftelijke oordelen/adviezen van fora, officiële brieven die zij hebben verstuurd en enkele (externe) evaluaties van arrangementen; documentatie waarin de relatie tussen principaal en agent is geregeld, zoals een aansturingsprotocol, informatieprotocol, toezichtsvisie, etc.; documenten die de rol en bevoegdheden van verantwoordingsfora beschrijven, zoals de wet, een reglement, handvest, etc.

Algemene informatie over arrangementen • • •

• •

literatuur over een organisatie, zoals bijvoorbeeld Bekke en Van Gestel (2004) over het UWV of Deelen en Eertink (2004) over het Kadaster; schriftelijk en elektronisch (voorlichtings)materiaal van de uitvoeringsorganisatie en informatie van het moederdepartement; documenten die de hoofdlijnen van het organisatiebeleid beschrijven, zoals (verzelfstandigings)wet, jaarplannen, jaarverslag, strategische visies, evaluaties, etc.; communicatie over de organisatie met de Tweede Kamer; mediaberichtgeving Volkskrant, Staatscourant en internet-scans.

5.2.4 Reflectie op methode De onderzoeksmethode combineert elementen uit sociaal-wetenschappelijke studies naar de beleving van verantwoording met studies naar invloeds- en effectmeting. Om met het eerste te beginnen, veel onderzoek naar verantwoording is gebaseerd op interviews met personen in het openbaar bestuur. De centrale vraag luidt dan ongeveer ‘hoe begrijpen verantwoordelijken hun verantwoordelijkheid en aan wie achten zij zich verantwoordingsplichtig?’ De beleving van verantwoordingsrelaties wordt in dergelijk onderzoek gereconstrueerd aan de hand van verschillende respondenten. Voorbeelden zijn Day en Klein (1987), Sinclair (1995), Romzek en Dubnick (1998), D. Dunn (1999), Flinders (2001) en Sanderson (2006). In opzet lijkt het onderhavige onderzoek op deze voorbeelden. Net als deze onderzoekers contrasteert dit onderzoek objectieve informatie over organisaties en geformaliseerde verantwoordingsverplichtingen met de beschrijving van de feitelijke relatie door respondenten. Dit onderzoek wijkt af van de voorbeelden doordat het niet in eerste instantie geïnteresseerd is in de beleving

118


van betrokkenen maar het proces vanuit een aantal descriptieve en normatieve perspectieven beoordeelt. Omdat de invloed van verantwoording belangrijk is, is vervolgens aansluiting gezocht bij studies naar effect- en invloedsanalyse. Er zijn verschillende methoden voor machts- en invloedsanalyse (zie Huberts en Kleinnijenhuis 1994; Peters 1999: 57-67). In de procesmethode en de intensieve procesmethode staat de reconstructie van besluitvormingsprocessen centraal (Huberts 1994: 45). Door een zo precies mogelijke reconstructie te maken van het besluitvormingsproces kan dergelijk onderzoek aannemelijk maken welke partijen uiteindelijk invloed hebben op besluiten. Het onderhavige onderzoek sluit hier bij aan door de communicatie tussen actor en forum over het handelen van de actor te reconstrueren. Het verschil is dat invloedsanalyses communicatieprocessen als het ware teleologisch volgen naar besluiten, terwijl dit onderzoek een continue communicatieproces volgt dat op verschillende niveaus invloed kan hebben. Geëxploreerd wordt vooral de doorwerking van de communicatie in de percepties van betrokkenen, het beleid van de organisaties en de relatie tussen actor en principaal. De intensieve procesmethode ontleent zijn naam ‘bij gebrek aan beter’ (Huberts 1994: 59) aan de intensiteit van de reconstructie van het proces. Naar analogie van die redenering kan de hier gebruikte methode een extensieve procesmethode worden genoemd. Het proces wordt minder intensief gereconstrueerd maar wel breder gevolgd. 5.2.5 Betrouwbaarheid en reikwijdte Tot slot is het van belang nog op twee vragen te reflecteren. In de eerste plaats: hoe betrouwbaar zijn de bevindingen van dit onderzoek? De betrouwbaarheid van het onderzoek betreft de vraag of de waarneming bij herhaling hetzelfde resultaat kan opleveren (zie Stokking 2003). Zijn de bevindingen stabiel of is het een momentopname? Evident is dat er risico’s kleven aan onderzoek met interviews. De bevindingen zijn per definitie het resultaat van de interactie tussen interviewer en respondent (Weiss 1995: 74). De interviews en het datamateriaal leveren reconstructies op van de communicaties tussen actor en forum en de doorwerking daarvan, maar zijn niet te verwarren met de communicatie en doorwerking zelf (Charmaz 2000: 514). Daar komt bij dat causaliteit bij invloedsmeting een notoir probleem is (zie Huberts en Kleinnijenhuis 1994: 22; Swanborn 1996: 130-1; Peters 1999: 57 e.v.). Het is niet moeilijk om bij actoren gedragsveranderingen in door het forum gewenste richting te vinden. Echter, de vraag blijft of dit door de invloed van het forum komt. Er zijn altijd zeer veel interveniërende factoren die de veranderingen evengoed kunnen verklaren (Huberts en Kleinnijenhuis 1994: 22). In het zicht van deze beperkingen is het in dit onderzoek zaak bescheiden te zijn over de betrouwbaarheid van de bevindingen. De enige waarborg voor voldoen-

ONDERZOEKSOPZET

119

de betrouwbaarheid is de gebruikte combinatie van verschillende bronnen (Swanborn 1996; Stokking 2003). Door triangulatie van bronnen en respondenten ontstaat inzicht in de invloed en het verloop van de horizontale verantwoording. De bevindingen worden in de reconstructie vijfledig getest: 1) meerdere interviews over het functioneren van dezelfde arrangementen, 2) gesproken wordt met respondenten met tegengestelde posities, 3) uitspraken worden getoetst aan feitelijkheden in interviews en door documentatie, 4) respondenten becommentariëren de reconstructie en 5) inzichten worden gecontrasteerd met inzichten uit empirische literatuur over specifieke arrangementen. Pas wanneer de verschillende ‘bewijzen’ dezelfde kant uitwijzen wordt hierover gerapporteerd. Geconstateerde invloeden zijn niet bewezen maar zijn wel plausibel en aannemelijk gemaakt (zie ook Huberts 1994: 39; Peters 1999: 70). De gevonden resultaten hebben daardoor een hypothetisch karakter (Swanborn 1996: 68). De tweede vraag die hier aan het slot moet worden beantwoord betreft de reikwijdte van de bevindingen. De vraag is, wat betekenen de bevindingen in een beperkt aantal gevallen nu in het algemeen? In de onderzoeksopzet is getracht om de bevindingen zo veel mogelijk veralgemeniseerbaar te maken. Allereerst door met de methode van centrale caseorganisaties en aanvullende case-organisaties een relatief groot bereik te realiseren. Er is (-) soms beperkt (-) inzicht gekregen in 13 van de 33 zelfstandige, unieke, publiekrechtelijke uitvoeringsorganisaties waar horizontale verantwoordingsarrangementen bestaan. In dat opzicht is het bereik van het onderzoek redelijk hoog. Daarnaast is via de bestaande empirische literatuur ook inzicht verworven in het functioneren van dit type arrangementen bij andere publieke organisaties. Op een aantal belangrijke uitzonderingen na zijn de bevindingen in dit onderzoek daar in grote lijnen mee in overeenstemming. Op grond daarvan kunnen de uitkomsten analytisch gegeneraliseerd worden naar cases bij andere publieke organisaties of zelfstandige uitvoeringsorganisaties (Swanborn 1996: 67). De uitkomsten van deze cases zijn mogelijke hypothesen voor onderzoek in andere cases.

5 Onderzoeksopzet en onderzoeksverantwoording

Recommend Documents