De CIO rol binnen de Rijksoverheid

De CIO rol binnen de Rijksoverheid De sleutel tot succesvolle ICT-projecten?

Naam: Jessica Maes Studentnummer: 326422 Afstudeerdocent: Dr. V.M.F. Homburg

Afstudeeronderzoek Jessica Maes

De CIO rol binnen de rijksoverheid

Dankwoord Hoe meer ik leer, hoe meer ik weet, dat ik eigenlijk niks weet (Albert Einstein). Na twee afgeronde HBO-studies (accountancy en technische bedrijfskunde) en een korte periode TU Technische Bestuurskunde, besloot ik enkele jaren geleden voor de kers op de slagroom te zorgen. Het afronden van een universitaire studie zag ik als een hobby, de vruchten kan ik nu in werk en privé plukken. Nadat bleek dat dochter en echtgenoot oud en wijs genoeg waren om een paar avonden in de week zonder mijn aanwezigheid door te brengen, ben ik mijn studie bestuurskunde gestart. Een dergelijke studie te mogen volgen was ieder college weer een klein feestje. Dit zijn boeiende jaren in bestuurskundig opzicht. Al de eerste keer na college kwam ik ‘s avonds laat thuis met boeiende verhalen waar ik mijn echtgenoot mee wakker hield. Uiteenzettingen over de rol van de overheid bij de kredietcrisis, CO2 opslag onder Barendrecht, de “rise of the network society” van Manuel Castells; hele colleges en discussies deed ik nog eens dunnetjes over. Enthousiast werd ik van nieuw opgedane kennis, iedere avond weer. Er viel dan ook een gat toen de colleges eenmaal voorbij waren. Het contact met de medestudenten was een bijvangst van de colleges. De kennis die ik heb opgedaan heeft ertoe geleid dat ik met nog meer interesse de actualiteit volg en zie dat “bestuurskunde overal is”. Tijdens mijn vakanties in Hong-Kong, Australië en Spanje werd ik mij zelfs bewust van lokale bestuurskundige dilemma’s. Het was voor mij dan ook logisch, gezien mijn achtergrond van audit, bedrijfskunde en techniek, om op dit grensvlak mijn onderwerp te zoeken voor de scriptie. Dankzij mijn collega’s werd ik op het spoor van de CIO gezet. Het onderwerp heeft mij niet teleurgesteld. Het enthousiasme van Vincent Homburg, als afstudeerbegeleider van de Erasmus Universiteit, heeft ook erg geholpen. Dankzij mijn onderzoeksvraag was het mogelijk om zoveel mogelijk van de dertien CIO’s binnen de rijksoverheid te bevragen. Mijn dank is groot dat elf van de dertien aan mijn verzoek wilden voldoen. De gesprekken met de CIO’s hebben mij veel nieuwe inzichten gegeven. Ik ben hen dan ook zeer dankbaar dat zij mij hun tijd hebben gegeven. In onze overheidswereld wordt namelijk heel wat “afgeëvalueerd”. Ik was dan ook niet de eerste die in de wacht stond voor een interview. Enkele CIO’s hebben mij zeer geïnspireerd. Ik hoop vanzelfsprekend dat ik op eigen wijze, mede met deze scriptie een kleine bijdrage mag leveren aan het beter functioneren van de rijksoverheid. Hopelijk is het resultaat van deze scriptie voor de betrokken CIO’s binnen de rijksoverheid een goede “Return On Investment”. Zonder hen was deze scriptie niet tot stand gekomen. Als persoonlijke noot wil ik nog toevoegen dat de periode van het schrijven van de scriptie verschillende mijlpalen met zich meebracht. Mijn dochter heeft dit jaar ook haar eerste “wetenschappelijke” voetstappen gezet, op de basisschool wel te verstaan. Ik hoop dat de hobby van haar moeder, het opdoen van kennis in welke vorm dan ook, haar later kan inspireren. Mijn dank aan mijn gezin en familie is groot. Mijn ouders, broers en zus hebben het indirect mogelijk gemaakt dat ik deze studie kon volgen. Reeds zeventien jaar geleden hebben zij samen ervoor gezorgd dat ik op mijn zeventiende kon starten met mijn HBO-studie. Dit omdat het studiefinancieringsbeleid voor zeventienjarige studenten nog niet optimaal was. Bij deze, zowaar precies zeventien jaar later, wil ik alsnog mijn dank daarvoor uiten. Patrick, ik zal proberen mijn hobby van studeren op een laag pitje te zetten. Ik ben je dankbaar dat je in deze drukke periodes mij de ruimte hebt gegeven voor persoonlijke ontplooiing, gezinstaken hebt overgenomen en dat je ‘s avonds laat nog naar mijn verhalen hebt willen luisteren. Berkel en Rodenrijs, november 2010

Pagina 2 van 81



Managementsamenvatting Grote ICT-projecten zijn vooral negatief in het nieuws. Het zou frequent gaan om projecten met grote budgetoverschrijdingen. Mede naar aanleiding van dergelijke mediaberichten is er door de Algemene Rekenkamer (AR) onderzoek gedaan naar de oorzaken van de "mislukte projecten". Dit resulteerde in de rapportages "Lessen uit ICT-projecten” deel A (2007) en B (2008). Het kabinet concludeert op basis van deze rapportage dat betere kwaliteitsborging van ICT-projecten nodig is. De minister van Binnenlandse Zaken (BZK) heeft hierop het besluit genomen om de rol van Chief Information Officer (CIO) binnen de rijksoverheid in te stellen. Hierin is voorgeschreven dat er voor ieder departement een CIO op hoog ambtelijk niveau moet worden ingesteld. Deze moet voorafgaand aan grote ICT-projecten een oordeel geven. Uit geraadpleegd onderzoek blijkt dat de complexiteit van projecten, een gebrek aan betrokkenheid van de gebruikersorganisatie en gebrekkig projectmanagement de meest voorkomende faalfactoren zijn. De problematiek met ICT-projecten is wereldwijd. In een aantal andere landen is er specifieke maatregelen getroffen, soms is een rol of functie van CIO ingevoerd. Zo is er in de Verenigde Staten een Clinger/Cohen Act aangenomen, zijn er in het Verenigd Koninkrijk Gateway Reviews ontwikkeld (Digitaal Bestuur, 2009) en is er in Australië een "Whole of Government CIO" (Bushell, 2006). De doelstelling van dit onderzoek is het evalueren en beoordelen in hoeverre de rol van de departementale CIO binnen de rijksoverheid bijdraagt aan de kwaliteitsborging en risicobeheersing van grote ICT-projecten. Onder grote ICT-projecten worden projecten verstaan met een ICTcomponent van meer dan 20 miljoen euro. Het betreft een ad-hoc ex-post formatieve effectiviteitsevaluatie. Er is geen nulmeting voorhanden. In de evaluatie wordt bepaald of de opzet van de rol voldoet aan de bekende modellen uit de literatuur. Vervolgens wordt bepaald of de inrichting van de rol per departement overeenkomt met het eerder genoemde besluit van de minister van BZK tot inrichting van de rol van CIO. Als laatste wordt bepaald of het functioneren bijdraagt aan een betere kwaliteitsborging en risicobeheersing van ICTprojecten. Om de evaluatie uit te voeren wordt gebruik gemaakt van interviews met de departementale CIO's en een summiere documentanalyse. Er wordt zowel een inhoudelijke als semantische analyse op het verkregen interviewmateriaal uitgevoerd. Uit de theoretische modellen blijkt dat voor de positie van de CIO autoriteit en het voorkomen van rolvermenging van belang zijn. In de literatuur worden als belangrijkste aandachtsgebieden van een CIO strategisch beleid, innovatie, project portfolio management (PPM) en alignment genoemd. Voor de onderzoeksaspecten van risicobeheersing is een IT-governance model van de AR gebruikt. Hieruit zijn zeven onderzoeksaspecten gedestilleerd; het beheersen en definiëren van projectrisico's, naleven van de projectmethodiek, gebruik van en bijsturen op projectrapportages, uitvoeren van audits en de inzet van PPM. Voor het onderwerp kwaliteitsborging is vastgesteld dat het begrip alignment een grote rol speelt. Alignment zorgt ervoor dat Business en IT afgestemde strategie, doelstellingen en behoeften hebben. Alleen als er een nauwe afstemming is met de gebruikersorganisatie is de kwaliteitsborging optimaal. Er zijn vijf onderzoeksaspecten van alignment gedefinieerd. Deze zijn: het prioriteren van ICTinvesteringen in relatie tot de strategie van de organisatie, het centraal en decentraal afstemmen van alignment processen, performance management en de invloed op budgetallocatie, de verwevenheid van organisatieen ICT planning en management processen en het beleggen van eigenaarschap van ICT-projecten. Op basis van de onderzoeksaspecten zijn criteria gedefinieerd die de basis vormen voor het interviewprotocol. Voor het complete overzicht van onderzoeksaspecten, criteria en interviewvragen zie bijlage 1. Aan de hand van de opgestelde beleidstheorie is geanalyseerd welke invulling er wordt gegeven aan de rol van de CIO’s in het besluit van BZK. De doelenboom geeft aan dat het beheersen van politieke, technische en organisatorische complexiteit belangrijke tussendoelen zijn.

Pagina 3 van 81



In het besluit van BZK wordt vooral de nadruk gelegd op de adviesrol van een CIO en de instrumenten voor risicobeheersing. Alignment krijgt in het besluit weinig aandacht. In de praktijkanalyse, die is uitgevoerd op basis van interviews met elf CIO's of plaatsvervangend CIO's, zijn 34 observaties gedaan. Uit zowel semantische als inhoudelijke analyse blijkt dat innovatie nagenoeg geen aandachtsgebied is van de CIO. Het onderzoeksaspect autoriteit is frequent benoemd, zo blijkt uit de semantische analyse. Het begrip autoriteit speelt dus een belangrijke rol bij de positionering van de CIO. Uit de inhoudelijke analyse blijkt dat de functie die de CIO uitoefent naast zijn rol divers is. De meeste functies zijn ICT, bedrijfsvoering-, of plaatsvervangend SG gerelateerd. Ook is er differentiatie in de toepassing van een stelsel van CIO’s of een autonome CIO waarbij de laatste het meeste voorkomt. Voor de CIO's is er bij het uitoefenen van hun rol een dilemma tussen advies en control van toepassing. Zij worden geacht toezichthoudende taken uit te voeren, maar willen deze over het algemeen niet vanuit een control-invalshoek uitoefenen. Om gezag te verwerven, vooral bij beleidsdirecties, proberen zij vanuit hun adviesrol toegevoegde waarde te leveren. Uit de evaluatie blijkt dan ook dat de uitvoering van de rol overeenkomt met het model van Chun en Mooney (2009) waarin een rol als " triage nurse en fire fighter" is gedefinieerd. Deze richt zich vooral op procesverbetering, standaardisatie en risicomijding. Dit wordt ondersteund door de observatie dat de CIO het als primaire taak zien politieke risico's te mitigeren. Het afgeven van een oordeel, zoals dat is beschreven in het besluit van BZK, is weinig in de praktijk gebracht. De oorzaak kan zijn dat er geen nieuwe ICT-projecten zijn gestart die vallen onder de definitie van “groot project” of dat de CIO hier vanuit zijn adviesrol een eigen invulling aan geeft. Risicomanagement wordt vooral uitgevoerd vanuit de projectinformatie die de CIO uitvraagt, beoordeelt en verwerkt in de rapportage over de grote ICT-projecten die aan de Tweede Kamer wordt verstrekt. Kwaliteitsborging wordt vooral vorm gegeven vanuit de adviesrol. Het professionaliseren van het opdrachtgeverschap draagt bij aan alignment, maar concrete verbeterplannen zijn nog weinig tot uitvoer gekomen. Concluderend wordt aan ongeveer de helft van de criteria uit het evaluatiekader door de CIO uitvoering gegeven. Het instellen van een CIO heeft op specifieke gebieden bijgedragen aan kwaliteitsbeheersing en risicobeheersing. Zo zijn de aandachtsgebieden van strategisch beleid, PPM en alignment alle vertegenwoordigd in de rol van CIO. Het aandachtsgebied van innovatie in de rol van CIO wordt weinig in praktijk gebracht. Voor de positie van de CIO geldt dat formeel mandaat in het besluit van BZK tot instellen van de CIO niet geëffectueerd is. In de praktijk meent de CIO op basis van toegevoegde waarde van de adviesrol gezag te verwerven. Aan de criteria van risicobeheersing wordt grotendeels voldaan. Op de naleving van projectmethodiek en hiermee het gebruik van businesscase, wordt weinig nadruk gelegd. Het bepalen van het risicoprofiel en de inzet van de instrumenten van risicomanagement is niet uniform. Er wordt niet gestructureerd gestuurd op het verminderen van technische, organisatorische en politieke complexiteit. Voor alignment geldt dat de nadruk ligt op de adviesrol en het prioriteren van investeringen aan de hand van het toepassen van PPM. De conclusie is dat de CIO vrijwel volledig uitvoering geeft aan alle elementen uit het besluit van BZK tot instellen van een CIO uit december 2008. De manier waarop hier uitvoering aan wordt gegeven is niet uniform. De opzet van de rol van CIO en daarmee ook het functioneren, draagt in beperkte mate bij aan een betere risicobeheersing en kwaliteitsborging van ICT-projecten.

Pagina 4 van 81



Inhoudsopgave Dankwoord .............................................................................................................................................. 2 Managementsamenvatting ...................................................................................................................... 3 Inhoudsopgave ........................................................................................................................................ 5 1 Probleemanalyse ............................................................................................................................. 7 1.1 Aanleiding...................................................................................................................................... 7 1.2 Probleemverkenning .............................................................................................................. 7 1.2.1 Faalfactoren ICT-projecten publieke en private organisaties ............................................ 8 1.2.2 CIO ontwikkelingen wereldwijd ........................................................................................ 10 1.2.3 Conclusie probleemverkenning ....................................................................................... 11 1.3 Probleemstelling................................................................................................................... 12 1.4 Methode van evaluatie ......................................................................................................... 12 1.5 Evaluatiedoelstelling ............................................................................................................ 13 1.6 Methodiek............................................................................................................................. 14 1.7 Scope ................................................................................................................................... 15 1.8 Relevantie van het onderzoek ............................................................................................. 15 1.9 Leeswijzer ............................................................................................................................ 16 2 Evaluatiekader ................................................................................................................................ 17 2.1 De positionering van de CIO in de publieke sector............................................................. 17 2.1.1 Definitie CIO..................................................................................................................... 17 2.1.2 Rollen en taken van de CIO............................................................................................. 17 2.1.3 Positionering CIO in de organisatie ................................................................................. 20 2.1.4 Conclusie positionering en rol van de CIO in de publieke sector .................................... 21 2.2 Risicomanagement ............................................................................................................. 22 2.2.1 Definitie risicomanagement ............................................................................................. 22 2.2.2 Risicomanagement in relatie tot IT Governance ............................................................. 23 2.2.3 Risicomanagement in relatie tot projectportfolio management ....................................... 25 2.2.4 Risicomanagement in relatie tot informatievoorziening ................................................... 26 2.2.5 Conclusies risicomanagement......................................................................................... 27 2.3 Kwaliteitsborging .................................................................................................................. 27 2.3.1 Definitie alignment ........................................................................................................... 27 2.3.2 De regels van alignment .................................................................................................. 28 2.4 Conclusie evaluatiekader ..................................................................................................... 29 3 Uitwerking onderzoekscriteria (operationalisering)........................................................................ 31 3.1 Operationalisering aandachtsgebieden en positie CIO ....................................................... 31 3.2 Operationalisering risicomanagement ................................................................................. 32 3.3 Operationalisering kwaliteitsborging .................................................................................... 33 4 Beleid rondom instellen CIO .......................................................................................................... 36 4.1 Chronologische ontwikkelingen ........................................................................................... 36 4.2 De inrichting van de rol van CIO .......................................................................................... 36 4.3 De rol van kwaliteitsborging en risicobeheersing bij de inrichting van de rol van CIO ........ 37 4.4 Beleidstheorie ...................................................................................................................... 39 4.5 Conclusie beleidsanalyse..................................................................................................... 40 5 Praktijkanalyse ................................................................................................................................ 41 5.1 Inleiding ................................................................................................................................ 41 5.2 Praktijkanalyse aandachtsgebieden en positie rol CIO ....................................................... 42 5.2.1 Resultaat gegevensanalyse............................................................................................. 42 5.2.2 Resultaat semantische analyse interviews ...................................................................... 43 5.2.3 Resultaat inhoudelijke analyse interviews ....................................................................... 44 5.2.4 Conclusie aandachtsgebieden en positie rol CIO............................................................ 47 5.3 Praktijkanalyse risicomanagement ..................................................................................... 49 5.3.1 Resultaat semantische kwalitatieve analyse interviews .................................................. 49 5.3.2 Resultaat inhoudelijke analyse interviews ....................................................................... 50 5.3.3 Conclusie risicomanagement........................................................................................... 53 5.4 Praktijkanalyse kwaliteitsborging ........................................................................................ 54

Pagina 5 van 81



5.4.1 Resultaat semantische kwalitatieve analyse interviews .................................................. 54 5.4.2 Resultaat inhoudelijke analyse interviews ....................................................................... 54 5.4.3 Conclusie kwaliteitsborging ............................................................................................. 56 5.5 Conclusie praktijkanalyse..................................................................................................... 57 6 Conclusies....................................................................................................................................... 59 6.1 Beantwoording hoofdvraag .................................................................................................. 59 6.2 Evaluatie............................................................................................................................... 60 6.2.1 Evaluatie aandachtsgebieden en de positie van de CIO................................................ 60 6.2.2 Evaluatie risicomanagement............................................................................................ 63 6.2.3 Evaluatie kwaliteitsborging ............................................................................................. 66 6.3 Beantwoording deelvragen .................................................................................................. 68 6.4 Aanbevelingen ..................................................................................................................... 70 Literatuur................................................................................................................................................ 74 Bijlage 1 Evaluatiekader ........................................................................................................................ 77 Bijlage 2 Gegevensanalyse aandachtsgebieden, positie en rol CIO .................................................... 78 Bijlage 3 Semantische analyse aandachtsgebied en positie rol CIO .................................................... 79 Bijlage 4 Semantische analyse risicobeheersing .................................................................................. 80 Bijlage 5 Semantische analyse alignment............................................................................................. 81

Pagina 6 van 81



1 Probleemanalyse 1.1 Aanleiding De Nederlandse overheid geeft per jaar vier tot vijf miljard euro uit aan geheel of goeddeels mislukte automatiseringsprojecten. Ter vergelijking: dat is net zo veel als de aanleg van de hele Betuwelijn heeft gekost” (Dekker, 2007). Grote ICT-projecten binnen de (Rijks) Overheid zijn zeer actueel. Helaas zijn deze projecten vooral negatief in het nieuws omdat het frequent gaat om projecten met grote budgetoverschrijdingen, technische problemen en/of implementatieproblemen. Bovengenoemd Krantenartikel zorgde er mede voor dat er binnen de Tweede Kamer de wens ontstond om een onderzoek te starten naar de beheersing van deze ICT-projecten. Er werd door de Tweede Kamer genoegen genomen met een onderzoek van de Algemene Rekenkamer (AR), getiteld “Lessen uit ICT-Projecten deel A” dat in 2007 werd afgerond. In 2008 volgde deel B van het onderzoek. In de rapporten ligt de nadruk op de oorzaken van de “mislukte projecten” en de informatievoorziening. Ook zijn aanbevelingen geformuleerd. De uitkomsten van het onderzoek zijn dat vooral politieke complexiteit de projecten onbeheersbaar maken en dat de informatievoorziening over deze grote projecten onvoldoende is. Daarnaast is aanbevolen om de informatievoorziening van 1 de grote ICT-projecten te verbeteren. (Algemene Rekenkamer, 2007). Het kabinet concludeert in 2008 uit de genoemde rapporten van de AR dat betere kwaliteitsborging van ICT projecten nodig is. De minister van Binnenlandse Zaken (BZK) heeft hierop een nieuwe rol geschapen, Chief Information Officer (CIO), die de verbinding zou moeten kunnen leggen tussen informatievoorziening, politiek en techniek. Dit met het doel de projecten beter te kunnen beheersen. Deze rol is vastgelegd in een brief van de minister van BZK aan de Tweede Kamer, op 12 december 2008. Hierin geeft de minister aan dat het noodzakelijk is dat binnen alle ministeries de rol van CIO op hoog ambtelijk nivo wordt belegd. Het principe is dat ministeries geen projecten met een ICT-component starten zonder dat de CIO daar een oordeel over heeft gegeven. De CIO heeft onder andere tot taak de politieke en ambtelijke leiding gevraagd en ongevraagd te adviseren over de doelstelling, uitvoeringskosten en risico’s van grote ICT-projecten. De beleggingswijze van deze rol is vormvrij. Met dit besluit wordt onder andere vorm gegeven aan verbeteringen in de organisatie, inrichting van het opdrachtgeverschap en het gebruik van professionele standaarden. In de brief wordt dit aangeduid met het verbeteren van de “I-functie”. (Tweede Kamer, 2008). De rol van CIO is medio 2010 op alle departementen structureel belegd. In deze scriptie zal een evaluatie worden uitgevoerd. Het is een terugblik op het functioneren van de rol van CIO binnen de Rijksoverheid. De evaluatie heeft als uitgangspunt de vooraf gestelde doelstellingen van de rol van de CIO zoals vastgelegd in deze brief uit december 2008. Deze worden vergeleken met de huidige praktijk van de CIO’s; het functioneren van de CIO wordt geanalyseerd. Ook toekomstige ontwikkelingen zullen in ogenschouw worden genomen. In dit onderzoek wordt aan het besluit van BZK tot instellen van een CIO gerefereerd als "het besluit van BZK”.

1.2 Probleemverkenning ICT-projecten lijken dikwijs in het nieuws te zijn. De vraag hierbij is waarom deze projecten zoveel aandacht krijgen. Zijn het projecten die door bepaalde kenmerken voor specifieke problematiek zorgen of zijn het projecten die tot de verbeelding spreken waardoor het extra interessant is om

1

Onder grote ICT-projecten worden in het besluit van BZK projecten verstaan met een ICT-component van meer dan 20 miljoen euro.

Pagina 7 van 81



hierover te berichten. Deze verkenning zal gebaseerd zijn op eerder uitgevoerd onderzoek. Er worden drie aandachtsgebieden verkend: de faalfactoren van ICT-projecten, wereldwijde ontwikkelingen op het gebied van het functioneren van CIO’s en de ontwikkelingen in Nederland.

1.2.1 Faalfactoren ICT-projecten publieke en private organisaties Er is divers onderzoek gedaan naar de faalfactoren van ICT-projecten zowel vanuit wetenschappelijke invalshoek alsook vanuit de Algemene Rekenkamer. Dit blijkt uit onderstaande voorbeelden. In een wereldwijd onderzoek van KPMG uit 2004 onder 270 organisaties in 16 landen is onderzocht wat de belangrijkste redenen waren voor het mislukken van projecten. De organisaties die hiervoor zijn geïnterviewd waren zowel publieke als private organisaties. De resultaten zijn gebaseerd op interviews die gehouden zijn met verschillende functionarissen. Het gemiddelde projectbudget had een omvang van 25 miljoen euro (KPMG, 2004: p.4). De top vijf van faalfactoren luidde (KPMG, 2004: p.5): 1. Gebrekkig projectmanagement; 2. Gebrek aan communicatie in- en rond het project; 3. Doelstellingen niet gedefinieerd; 4. Onbekendheid met scope en complexiteit; 5. Technische complexiteit en technische integratie-issues. Uit dit onderzoek blijkt tevens dat een Programma Management Office (PMO) samen met Project Portfolio Management (PPM) een belangrijke rol kan spelen om de succesgraad van projecten in het algemeen te verhogen. Een PMO richt zich over het algemeen op project governance in brede zin. Hieronder vallen alle activiteiten zoals business case management, portfoliomanagement, risicomanagement en qualityassurance (KPMG, 2004: p.9). Aangezien er specifieke kennis binnen een PMO aanwezig is draagt dit samen met een expliciete focus op projectgovernance bij aan een betere projectbeheersing. PPM betreft het bewaken van en besluiten over lopende en nieuwe programma’s en projecten (KPMG, 2004: p.14). PPM draagt hiermee bij aan een stuk inzichtelijkheid wat ten goede komt aan de sturing van de projecten. In 2005 heeft KPMG een soortgelijk onderzoek als dat uit 2004 uitgevoerd. Dit keer met medewerking van 600 organisaties waarvan 16% overheidsorganisaties in 22 landen (KPMG, 2005: p.6). Hieruit blijkt dat de belangrijkste faalfactoren zijn: 1. Onduidelijke of veranderende scope; 2. Slechte project management processen; 3. Gebrek aan management sponsorship. Uit de onderzoeken van KPMG kan samenvattend geconcludeerd worden dat scope, projectmanagement en communicatie belangrijke elementen zijn waarmee de kans op falende ICTprojecten kan worden geminimaliseerd. Een recenter onderzoek van de Vrije Universiteit Amsterdam uit 2006 onder 230 respondenten trekt soortgelijke conclusies (Martijnse & Noordam, 2007). Dit onderzoek is uitgezet onder ICTprofessionals (zoals projectmanagers, managers en ICT-specialisten) van diverse organisaties, zowel publiek als privaat. Allereerst blijkt dat ongeveer 1/3 van de respondenten binnen de organisatie geen gebruik maakt van 2 businesscases om doelstellingen van een project te kwantificeren. Uit de enquêteresultaten wordt door Martijnse en Noordam (2007) aangehaald dat het gebruik van een businesscase leidt tot grotere tevredenheid over het project. Ook draagt het gebruik van een standaard projectmethodiek bij aan een grotere tevredenheid onder de respondenten. Als derde wordt in dit onderzoek tevens een uitspraak gedaan over de grootte van projecten in relatie tot succes. Respondenten binnen de overheid blijken in het algemeen minder tevreden te zijn over de uitvoering van projecten binnen hun organisatie. De aanname wordt gedaan dat juist bij overheden grote projecten plaatsvinden waaruit de conclusie volgt dat grote projecten leiden tot minder tevredenheid. Een laatste belangrijke conclusie is dat cyclisch risicomanagement leidt tot de grootste tevredenheid. Cyclisch risicomanagement houdt in dat er per tussenfase risicomanagement wordt toegepast. Risico’s worden geïnventariseerd, geanalyseerd en waar nodig worden acties vastgesteld.

2

Een businesscase is de basis voor de uitvoering van een project. Het geeft aan wat reden is voor de start van het project en wat de rechtvaardiging is in termen van kosten en opbrengsten.

Pagina 8 van 81



Inhoudelijk wordt aangegeven dat technische en sociale complexiteit de grootste risico's vormen in de risicoanalyse. Samenvattend kan uit dit onderzoek geconcludeerd worden dat als specifieke faalfactor voor de overheid de complexiteit van de projecten geldt. Zowel voor private alsook voor publieke organisaties, kan uit dit onderzoek de conclusie getrokken worden dat slechte projectbeheersing, als gevolg van een gebrek aan toepassing van een projectmethodiek een faalfactor kan zijn. De AR heeft tot taak onafhankelijk onderzoek te doen naar de rechtmatige en doelmatige besteding van overheidsgelden en doet regelmatig onderzoek naar ICT projecten. Gezien de actualiteit is er in 2007 op verzoek van de Tweede Kamer een onderzoek gestart naar de gemeenschappelijke problematiek binnen ICT Projecten. De Tweede Kamer heeft de AR verzocht om, mede op basis van eerder onderzoek van de AR en (inter)nationale literatuur, een onderzoek in te stellen. De eerste twee onderzoeksvragen, die relevant zijn in het licht van de faalfactoren, luiden als volgt: 1. Wat zijn de belangrijkste achterliggende oorzaken van problemen met ICT-projecten bij de rijksoverheid? 2. Wat is de kwaliteit van de informatievoorziening over dergelijke projecten aan de Tweede Kamer en de bruikbaarheid van de administraties in dit verband? (Algemene Rekenkamer, 2007 p.2). Overigens impliceert onderzoeksvraag 2 dat informatievoorziening ook een belangrijke faalfactor bij ICT-projecten zou kunnen zijn. Niet zozeer als faalfactor binnen het project maar wel als politieke faalfactor om de status van het project bij de Tweede Kamer op de juiste wijze onder de aandacht te kunnen brengen en mogelijkheden te benutten om vanuit politiek perspectief bij te (laten) sturen. Informatievoorziening is ontegenzeggelijk een belangrijk aspect in een sturingsvraagstuk. Uit algemeen bekende theorie blijkt dat het moeilijk is effectief te sturen zonder over de juiste informatie te beschikken. Aangezien hier vooral vanuit deze “externe informatievoorziening” (naar de Tweede Kamer) wordt gerefereerd, wordt dit daarom voor dit onderzoek buiten beschouwing gelaten. Voor het beantwoorden van onderzoeksvraag 1 zijn de faalfactoren geanalyseerd. De beantwoording van deze deelvraag is daarom van belang om te beoordelen of er specifieke factoren zijn die specifiek voor de Rijksoverheid gelden en of er afwijkingen zijn ten opzichte van onderzoek dat niet specifiek is gericht op enkel publieke organisaties. De Algemene Rekenkamer heeft op basis van literatuuronderzoek, het raadplegen van experts en het analyseren van eerder onderzoek van de AR getracht de belangrijkste faalfactoren in kaart te brengen. De AR deelt deze factoren op in drie categorieën: 1. Politieke complexiteit: dit zijn kenmerken van een politieke omgeving. Onder deze categorie vallen oorzaken zoals het " ICT -enthousiasme". Hiermee wordt bedoeld dat beslissers ICT de neiging hebben ICT in te zetten als instrument om beleidsproblemen op te lossen zonder eerst de feitelijke problematiek goed te doorgronden. Ook politieke deadlines maken de projecten kwetsbaar. Door de tijdsdruk zijn deadlines vaak niet realistisch maar slechts ingegeven door beleidsoverwegingen. Dit heeft tevens gevolgen voor het maken van heroverwegingen tijdens het project: dit zet planningen verder onder druk. 2. Organisatorische complexiteit: dit zijn kenmerken van het project die te maken hebben met de organisatorische doelen van het project. Grote ICT-projecten hebben vaak gevolgen voor meerdere (ketens van) organisaties. Het risico ontstaat dat een project geleid wordt door de individuele doelen van deze organisaties en dat de samenhang van de gekozen ICT-oplossing ontbreekt. Daarnaast wordt de impact van de organisatorische verandering onderschat. 3. Technische complexiteit: dit zijn kenmerken van het project die te maken hebben met de technische ontwikkeling en implementatie. Allereerst worden doelen en eisen niet duidelijk vastgelegd bij de start van een project. Dit zorgt voor aanpassingen tijdens het project. Daarnaast moet er vaak rekening gehouden worden met de aansluitingen met andere ICT-systemen (denk aan interfaces en conversies). Als laatste noemt de AR dat de snelheid van ontwikkelingen snel gaan waardoor keuzes al snel achterhaald worden door nieuwe kennis en technologieën. Samenvattend concludeert de AR dat de overheid zijn ICT-projecten te groots en te ambitieus aanpakt.

Pagina 9 van 81



Ook hier geldt dat de faalfactor die specifiek voor de overheid is, de complexiteit van de ICT-projecten betreft. Aangezien extern en intern onderzoek van de AR complexiteit als belangrijke faalfactor wordt aangeduid, zal dit in het onderzoek in een beleidstheorie verder worden uitgewerkt.

1.2.2 CIO ontwikkelingen wereldwijd Vanzelfsprekend is Nederland niet het enige land dat grote ICT-projecten binnen de overheid uitvoert. Ook andere overheden hebben te maken met de bovengenoemde problematiek. Uit het onderzoek van KPMG (2004) blijkt dat de genoemde faalfactoren wereldwijd van toepassing zijn. In deze paragraaf wordt een opsomming gegeven van ontwikkelingen wereldwijd die betrekking hebben op het reduceren van falende ICT-projecten bij de overheid door het implementeren van een CIO-rol (of door het implementeren van aanverwante maatregelen). Op deze manier wordt duidelijk op welke manier andere overheden de rol van CIO hebben ingezet om hun ICT-projecten beter te beheersen. Hierna kan bepaald worden welke maatregelen relevant kunnen zijn voor de ontwikkeling van de rol van CIO binnen de Nederlandse Rijksoverheid. • Clinger-Cohen act in de Verenigde Staten In de Verenigde Staten (VS) is in 1996 de Clinger-Cohen Act door het Amerikaanse congres aangenomen. Het doel van deze wet is als volgt omschreven: "... National Defense Authorization Act and Division E of The Clinger-Cohen Act of 1996, also known as the Information Technology Management Reform Act, intended among its many purposes to "reform acquisition laws and information technology management of the Federal Government." The Clinger-Cohen Act was implemented to ensure that agencies improve the initial capital planning process for large acquisitions to develop realistic cost, schedule, and performance goals that are tied directly to agency strategic mission goals within available budget resources" (Federal Chief Information Officers Council USA, n.d.). Uit deze definitie blijkt dat de wet geïmplementeerd is om te waarborgen dat onderdelen van de overheid hun initiële planningsproces voor grote publieke ICT projecten verbeteren om ervoor te zorgen dat een realistische budgettering en planning wordt gemaakt en dat prestatie-indicatoren gelieerd zijn aan de strategische doelen van de organisatie. Met aanname van deze wet werd het Amerikaanse OMB (The Office of Management en Budget) eindverantwoordelijk voor de aanschaf van ICT binnen de federale overheid. Het OMB stelde hiervoor alle ICT-budgethouders bij de federale overheid verplicht tot het hanteren van portfolio management voor het analyseren van risico's en resultaten van alle investeringen in ICT. Tevens is met het aannemen van de Clinger-Cohen Act de aanstelling van een CIO per federale organisatie verplicht (GAO, 2005). Belangrijk in dit besluit zijn dus het inzetten van een systematiek van budgettering en planning en de afstemming met de organisatiedoelen. • Gateway reviews in het Verenigd Koninkrijk Ook in het Verenigd Koninkrijk ontwikkelt men instrumenten en beleid rondom het functioneren van de CIO in de overheid. Zo zijn gateway reviews zijn oorspronkelijk afkomstig uit het Verenigd Koninkrijk. " Gateway is een uit het Verenigd Koninkrijk afkomstige manier om grote projecten tijdig een ‘klap’ te geven om latere missers te voorkomen. De kern van Gateway is een vertrouwelijke en intensieve ‘peer-review’ (een collegiale evaluatie) in één werkweek, die gericht is op strategische evaluatie en bijsturen van een project op een cruciaal moment – en dus niet op verantwoording en afrekening. Voor die laatste functies heeft de overheid immers al verschillende mechanismen in huis. ...... Hoeder van het Gateway-gedachtegoed is het Office of Government Commerce (OGC), de organisatie die ook verantwoordelijk is voor projectmethoden als Prince2 (waaraan Gateway complementair is) en voor de beheermethodiek ITIL." (Digitaal Bestuur, 2009: p.9) De overheid probeert de methodiek verder te verbreiden en intensief in te zetten bij verschillende ICTprojecten.

Pagina 10 van 81



• WoG CIO in Australië In Australië erkent men dat de private sector vooroploopt als het gaat om het implementeren van de CIO-rol. Men meent echter dat Australië één van de eerste landen is die een " Whole of Government (WoG) CIO" heeft aangewezen. Australië wordt gezien als maatgevend in relatie tot de implementatie van de CIO rol op alle overheidsniveaus en het vergaren van geloofwaardigheid en autoriteit voor de rol. " National governments continue creating whole-of-government CIO positions, but Australia remains ahead of the pack. Gartner government research managing vice president John Kost says Australia appointed a whole-of-government CIO before most other nations. Although a few other countries have advanced the role further, he says Australia stands out in having granted more authority to the position...... These are Kost's conclusions after reviewing Gartner's survey, in the fourth quarter of 2005, of every known national whole-of-government CIO in the world to discover approaches to creation of the role of a national government CIO" (Bushell, 2006). • CIO in Oostenrijk Het Expertise Centrum (HEC) heeft in 2008 een internationale vergelijking van het eGovernment beleid uitgevoerd. Uit deze rapportage (HEC, 2009) blijkt dat Oostenrijk de CIO gebruikt als stimulator voor eGovernment. In Oostenrijk heeft de CIO een centrale rol toebedeeld gekregen. De CIO is hierbij voorzitter van een digitaal platform, het zogenaamde "Platform Digital Austria" . Dit platform kent een brede samenstellingbestaande uit vertegenwoordigers van de Federale regering, vertegenwoordigers van regio’s, steden, kleine gemeenten, non-profit instellingen en zelfs private organisaties. " De CIO is aangesteld door de Federale overheid en valt direct onder de verantwoordelijkheid van de Bondskanselier. Dit maakt het voor hem mogelijk om de andere partijen eventueel beleid op te leggen. Dit gebeurt echter maar zelden omdat het platform juist is gericht op het stimuleren van coöperatie tussen relevante stakeholders. Het platform zorgt ervoor dat alle partijen hun belangen kunnen verdedigen als het gaat om de totstandkoming van eGovernment.15 Dit zorgt voor consensus vooraf, en minder discussie en problemen tijdens de implementatie achteraf" (HEC, 2009: p.15). Gesteld kan worden dat de federale CIO in Oostenrijk een belangrijke coördinerende taak heeft, voor zowel private als publieke partijen. Uit de bovenstaande schets van wereldwijde ontwikkelingen blijkt dat de landen zich richten op de rol van CIO om de beheersing van grote ICT-projecten te verbeteren. Wel blijkt dat ieder land een ander volwassenheidsniveau van inrichting van de rol van CIO heeft. Waar sommige landen zich vooral sterk ontwikkelen op het gebied van het instrumentarium (UK), zijn andere landen meer bezig om het gehele aandachtsgebied van de CIO af te dekken (Oostenrijk, Australië en VS). • Nederlandse context Het kabinet heeft positief besloten over het inrichten van een CIO-rol. Deze CIO zou tijdens initiatie en uitvoering van het project advies moeten geven zodat er sprake kan zijn van bijsturing. Daarnaast is een CIO verantwoordelijk voor de departementale strategie, ontwikkelt en onderhoudt de departementale architectuur en standaarden. Hij bewaakt de samenhang in informatievoorziening en ICT-projecten binnen een ministerie door applicatie- en projecten portfolio management. De rol wordt neergelegd als extra rol voor aangewezen functionarissen, naast hun al bestaande verantwoordelijkheden.

1.2.3 Conclusie probleemverkenning Uit de probleemverkenning blijkt dat er veel negatieve berichtgeving is rond grote ICT-projecten. Deze berichtgeving focust zich vaak op kostenoverschrijdingen en het opleveren van functionaliteit die kwalitatief onvoldoende is. Uit de onderzoeken uitgevoerd door KPMG, de Vrije Universiteit en de Algemene Rekenkamer blijkt een algemeen beeld te schetsen van de belangrijkste elementen die succes en falen van ICTprojecten beïnvloeden. Allereerst speelt projectcomplexiteit een belangrijke rol. Hoe groter een project hoe meer complexiteit en risico's en hoe groter dus de faalkans. Indien er geen projectmanagement methodiek met bijbehorende standaarden wordt toegepast voor zowel initiatie, uitvoering als evaluatie van een project heeft het een minder grote succeskans.

Pagina 11 van 81



Risicobeheersing is hierbij een belangrijk onderdeel, zowel bij intake alsook bij uitvoering van het project. Indien risico’s in het project onvoldoende worden beheerst door het ontbreken van een projectmethodiek of andere vorm van sturing (IT-governance) is de faalkans van een project groter dan met een risicobeheersingsystematiek. Ook de politieke complexiteit zoals genoemd door de AR is relevant. Het hanteren van onjuiste uitgangspunten voor een project, zowel op het gebied van het inzetten van het instrument van ICT alsook het hanteren van een realistische planning, is met goede onderdelen van projecten portfoliomanagement te ondervangen. Zoals al genoemd in het onderzoek van de VU kan een goede businesscase een belangrijke bijdrage leveren aan het slagen van een project. Een goede businesscase zou een goede analyse moeten bevatten van het probleem dat met behulp van het inzetten van ICT moet worden opgelost en bevat doorgaans een realistische planning van een project. Ook deze elementen van een projectmethodiek dragen bij aan een betere risicobeheersing van het complexe project. Als tweede blijkt dat betrokkenheid van de gebruikersorganisatie en de sociale complexiteit die hiermee gepaard gaat een belangrijke factor. In de literatuur wordt dit wel alignment genoemd. Alignment zorgt ervoor dat Business en IT afgestemde strategie, doelstellingen en behoeften hebben. Dit impliceert dat Business en IT elkaars taal moeten spreken en moeten verstaan (Luftman, 2000). Gesteld kan worden dat de kwaliteitsborging en risicobeheersing van dergelijke complexe ICTprojecten onvoldoende is. Om de sturing op complexe ICT-projecten te verbeteren heeft de Algemene Rekenkamer de aanbeveling gedaan om een CIO in te stellen voor ieder departement. Uit een internationale verkenning blijkt dat de implementatie van een CIO rol ook in andere landen wordt toegepast, de reikwijdte van deze rol is vanzelfsprekend niet in alle vooroplopende landen gelijk. Uit de internationale ontwikkelingen blijkt dat er, naast het ontwikkelen van instrumenten voor ITgovernance, ook veel aandacht is voor de positionering van de CIO en het mandaat (Clinger-Cohen act en WoG CIO).

1.3 Probleemstelling Doelstelling De doelstelling van het onderzoek is te evalueren en vervolgens te beoordelen hoe de recent ingestelde rol van de CIO bijdraagt aan de kwaliteitsborging en risicobeheersing van grote ICTprojecten. Hierbij kan aangetekend worden dat er geen " 0-meting" is uitgevoerd. Dit heeft gevolgen voor de onderzoeksmethodiek. Er kan geen beroep worden gedaan op eerder onderzoek over de CIO rol binnen de Rijksoverheid waarmee de onderzoeksresultaten vergeleken kunnen worden. Vraagstelling De centrale onderzoeksvraag luidt als volgt: Draagt de invoering van de rol van CIO binnen de verschillende departementen van de Rijksoverheid bij aan een betere kwaliteitsborging en risicobeheersing van grote ICT-projecten?

1.4 Methode van evaluatie Het onderzoek wordt vormgegeven als evaluatie. Het achterliggende doel hierbij is om te evalueren als voorwaarde om te leren en om zo de kwaliteit en opbrengsten van het beleid met het oog op de toekomst te verbeteren (Bekkers, 2007). De evaluatie van beleid kan op verschillende manieren worden uitgevoerd. Allereerst is er een onderscheid tussen systematische en ad hoc evaluatie. Een systematische evaluatie wordt toegepast indien de uitvoering van het beleid regelmatig gevolgd kan worden om zo gericht te kunnen bepalen of een bepaalde beleidsdoelstelling na verloop van tijd wordt behaald en dit periodiek weer vergelijken met een voorgaande periode. Een ad hoc evaluatie is meer incidenteel op basis van een specifieke aanleiding. In dit onderzoek betreft het een ad hoc evaluatie aangezien er achteraf, eenmalig (dus niet periodiek) wordt bezien in hoeverre de doelstelling van het beleid betreffende de invoering van CIO’s wordt behaald.

Pagina 12 van 81



Het tweede onderscheid tussen evaluaties heeft betrekking op het object van de evaluatie. Er kan sprake zijn van een ex post of ex ante evaluatie. Ex post evaluaties richten zich op het in kaart brengen van een bestaande situatie, ex ante evaluaties brengen de te verwachten haalbaarheid van een programma in kaart (Bekkers, 2007). In dit geval betreft het een ex post evaluatie aangezien het beleid al is uitgevoerd en het gaat om de situatie die is ontstaan als gevolg van dit beleid. Het laatste onderscheid betreft het type evaluatie. Er kan sprake zijn van een • Inputevaluatie waarbij een evaluatie wordt gedaan van de inspanningen (kwantitatief en kwalitatief) die zijn verricht om de doelstellingen te realiseren • Doelbereikingsevaluaties waarbij de mate waarin de doelstellingen zijn gerealiseerd wordt beoordeeld • Effectiviteitsevaluatie waarbij wordt beoordeeld in welke mate het beleid de gewenste maatschappelijke effecten heeft gehad. Hierbij kan weer een onderverdeling gemaakt worden in formatief of summatief. Formatieve evaluaties wordt bekeken welke factoren invloed hebben gehad aan het wel of niet realiseren van de beoogde effecten of doelen. Summatieve evaluaties kijken alleen of de beoogde effecten zijn gerealiseerd (Bekkers, 2007). De evaluatie kan gespecificeerd worden als een ad hoc, ex-post, formatieve effectiviteitsevaluatie. De doelstelling is niet alleen om te bepalen of de rol van de CIO daadwerkelijk heeft bijgedragen aan een betere kwaliteits- en risicobeheersing van grote ICT-projecten binnen de rijksoverheid, maar ook welke voorwaarden dan niet zijn vervuld. Dit resulteert vervolgens in aanbevelingen voor het toekomstig functioneren van de CIO’s.

1.5 Evaluatiedoelstelling De hoofdvraag van het onderzoek zal zijn “Leidt de invoering van de rol van CIO binnen de verschillende departementen van de Rijksoverheid tot een betere kwaliteitsborging van grote ICTprojecten?” De evaluatie bestaat uit drie delen: • Allereerst wordt aan de hand van de theorie en problematiek bepaald of de opzet van de rol van CIO zoals deze is gedefinieerd in het besluit van BZK bijdraagt aan de doelstelling van betere kwaliteits- en risicobeheersing. • De taken, bevoegdheden en verantwoordelijkheden van de CIO zoals die zijn gedefinieerd binnen de afzonderlijke departementen worden vergeleken met het besluit van BZK waar de uitgangspunten voor de rol van de CIO zijn vastgelegd. • Als laatste wordt op basis van deze analyse bepaald of het functioneren van de CIO daadwerkelijk bijdraagt aan betere kwaliteitsborging en risicobeheersing van ICT-projecten. De uitkomst zal zijn een advies betreffende de positionering en de taken, bevoegdheden en verantwoordelijkheden van de rol van de CIO. Zowel de uitgangspunten alsook het daadwerkelijk functioneren, zal getoetst worden aan de activiteiten en aandachtsgebieden van een CIO zoals deze bekend zijn uit de literatuur, waar mogelijk specifiek voor de publieke sector. De deelvragen die hieruit voortvloeien zijn de volgende: Theoretisch 1. Welke modellen zijn er beschikbaar vanuit de literatuur over de definitie, aandachtsgebieden en positionering van een CIO? 2. Welke uitwerking is er van toepassing om kwaliteitsborging en risicomanagement binnen grote ICT-projecten te beheersen? 3. Welke criteria voor kwaliteitsborging en risicomanagement kunnen worden geïdentificeerd? Empirisch 4. Welke invulling wordt gegeven aan de rol van CIO’s in het besluit van BZK? 5. Welke taken bevoegdheden en verantwoordelijkheden hebben de huidige CIO’s op dit moment en welke ontwikkelingen kunnen worden geïdentificeerd?

Pagina 13 van 81



Evaluatie 6. In welke mate wordt in de het besluit van BZK gerefereerd aan geïdentificeerde criteria voor kwaliteitsborging en risicomanagement? 7. In welke mate wordt in de praktijk van CIO’s bij Nederlandse departementen voldaan aan criteria voor kwaliteitsborging en risicomanagement? 8. Welke aanbeveling voor het functioneren van CIO’s kunnen worden geformuleerd?

1.6 Methodiek Het betreft een grotendeels kwalitatief vergelijkend onderzoek waarvoor interviews afgenomen zullen worden in de periode april-juni 2010. De selectie van respondenten zullen op voorhand alle CIO’s of plaatsvervangend CIO’s zijn van de departementen binnen de Rijksoverheid. De informatievergaring zal naast deze interviews bestaan uit informatieanalyse en literatuuronderzoek. Er is sprake van deductie. Het deductieve principe houdt in dat er op basis van algemeen geldende theorieën hypothesen gevormd worden voor specifieke situaties. Dit wordt getoetst aan de hand van observaties. In dit geval geldt dat er op basis van literatuuronderzoek een evaluatiekader opgesteld wordt voor optimale beheersing van ICT-projecten. Dit evaluatiekader wordt als referentiekader gebruikt. Hiermee wordt getoetst of de opzet en het functioneren van de CIO binnen de rijksoverheid overeenkomt met het referentiekader en dus bijdraagt aan een betere beheersing van ICT-projecten. Bij de methodiek van onderzoek gelden de volgende beperkingen: • Een "0-meting" ontbreekt. Er is voorafgaand aan dit onderzoek geen eerder kwantitatief of kwalitatief onderzoek uitgevoed waarmee een 0-meting bepaald kan worden. Dit betekent dat hier in de vragenlijsten voor de interviews rekening mee gehouden wordt. De CIO's zullen deels bevraagd worden op de " voor- en na situatie" om toch een vergelijkende analyse uit te kunnen voeren. •

Er is een relatieve korte evaluatieperiode van toepassing. De CIO is pas sinds 2009 verplicht ingevoerd op alle departementen. Dit kan betekenen dat er nog weinig uniformiteit en volwassenheid van toepassing is bij de wijze waarop de CIO's uitvoering geven aan hun rol. Uit de interviews moet dit blijken waarna deze factor verwerkt zal worden in de evaluatie en de adviezen.

•

Doordat de meeste informatie over het functioneren van de CIO wordt verkregen uit eerste hand, namelijk van de CIO zelf, heef dit gevolgen voor de resultaten. De interviews geven weer hoe de CIO zijn functioneren beleeft en beoordeelt. Dit betekent dat er geen beeld geschetst wordt van de mate waarin stakeholders zoals opdrachtgevers, stuurgroepen, opdrachtnemers, uitvoeringsorganisaties of de Rijks-CIO het functioneren van de departementale CIO beoordelen. Er is ook geen onderzoek gedaan naar bijvoorbeeld het functioneren van het ICCIO of de subcommissies van het ICCIO terwijl hier wel invulling wordt gegeven aan het verder vertalen van beleid over risicobeheersing en kwaliteitsborging naar de praktijk. Het onderzoek is in die zin dus een eenzijdig onderzoek met als belangrijkste bron de CIO zelf. Echter, gezien het feit dat de CIO zelf het meeste inzicht heeft in de uitvoering van zijn rol moet dit toch een adequate weergave opleveren van de werkelijkheid.

Ook zijn de volgende keuzes gemaakt voor de analysemethodiek •

De interviews worden volledig uitgeschreven. Dit komt ten eerste de kwaliteit van de interpretaties, de kwalitatieve analyse, ten goede. Daarnaast kan hiermee de inhoudelijke analyse van de interviews op een kwantitatieve manier ondersteund worden. Deze kwantitatieve analyse bestaat uit een semantische analyse. Hierbij zal gezocht worden naar woorden die dienen als semantische code per onderwerp. Er zal vervolgens geteld worden hoe vaak deze codes voorkomen en wat het verband is tussen deze codes. Indien een semantische code (veelal een woord) vaak voorkomt, betekent dit dat die semantische code voor de CIO blijkbaar relevant is. Indien ook uit de interpretatie van de inhoud, de kwalitatieve analyse blijkt dat dit voor de analyse van belang is, bevestigen beiden elkaar. Indien de kwalitatieve en kwantitatieve analyse elkaar niet bevestigen, geldt dit als negatief bewijs. Dan moet er een analyse plaatsvinden van de oorzaak. Het kan bijvoorbeeld zijn dat de interpretatie van de bewoordingen van de CIO niet juist is of dat observaties relevanter zijn

Pagina 14 van 81



dan ze lijken. Indien er geen negatief bewijs is, kan dat volgens Miles en Hubermann (1994) leiden tot verhoogde betrouwbaarheid van de conclusies. •

De Rijks-CIO is voorafgaand aan het onderzoek geïnformeerd. Dit om het onderzoek onder de aandacht te brengen en eventuele accenten aan te kunnen brengen. Ook is hiermee het draagvlak bij departementale CIO’s vergroot.

•

Informeel is de Algemene Rekenkamer benaderd om achtergrondinformatie te verkrijgen over de genoemde onderzoeksrapporten “Lessen uit ICT-projecten bij de overheid deel A en B” (2007 en 2008).

1.7 Scope In deze evaluatie wordt het object van onderzoek beperkt tot het werkgebied van de CIO’s binnen de rijksoverheid en dan specifiek de departementale CIO’s. Dit houdt in dat het onderzoek zich niet zal richten op de CIO’s bij uitvoeringsinstanties, agentschappen of ZBO’s. Daarnaast zal de scope van dit onderzoek zich beperken tot de bijdrage die de CIO levert op het gebied van ICT-projecten in algemene zin. Wellicht is er een onderscheid te maken tussen grote projecten en niet-grote projecten. Dit zal tijdens het onderzoek onderzocht en waar mogelijk onderscheiden worden. De rol van Rijks-CIO, gepositioneerd bij het ministerie van Binnenlandse zaken zal niet in deze scope worden meegenomen. De taken van deze Rijks-CIO wijken vermoedelijk af van de departementale CIO’s aangezien de nadruk van deze rol ligt op het gebied van interdepartementale coördinatie. Dit blijkt ook uit het organogram van DG Organisatie Bedrijfsvoering Rijk (DGOBR). De Rijks-CIO is, mede vanuit zijn rol als Directeur Informatiseringsbeleid Rijk, verantwoordelijk voor het creëren van rijksbrede standaarden, het inrichten van een rijksbrede digitale werkomgeving en het vormgeven van rijksbrede samenwerking op het gebied van ICT (DGOBR, n.d.). De rol van Rijks-CIO valt dan ook uitdrukkelijk buiten het onderzoek omdat deze niet vergeleken kan worden met die van departementale CIO's. De informatie die wordt vergaard aan de hand van de interviews is uitsluitend afkomstig van de CIO zelf. Er is geen onderzoek gedaan naar het werk dat in de subcommissies van de Interdepartementale Commissie van CIO’s (ICCIO).

1.8 Relevantie van het onderzoek Dit onderzoek kan relevant zijn voor theorie als praktijk. Uit de probleemverkenning blijkt dat er weinig specifiek onderzoek is naar CIO’s in de Nederlandse publieke sector. Onderzoek dat is uitgevoerd, richt zich op andere landen of op eGovernment in brede zin. In de praktijk kan dit onderzoek relevant zijn voor de huidige beleidslijn. Gezien het korte bestaan van de verplichte CIO binnen de rijksoverheid is er ruimte voor leereffecten waaraan dit onderzoek kan bijdragen. Ook uit de actualiteit blijkt dat het onderwerp de aandacht heeft. ICT-projecten staan nog steeds volop in de aandacht, zie bijvoorbeeld de recente aandacht voor C2000 of het Elektronisch Patiënten Dossier. Binnen DGOBR wordt er continue gewerkt aan een verdere verbetering van de implementatie van de functie van CIO. Zo is in 2010 een extern bureau gevraagd een evaluatie uit te voeren. Dit heeft geresulteerd in de rapportage " Evaluatie Maatregelen Grote ICT-Projecten" in oktober 2010. Ook wordt er in het ICCIO voortdurend gewerkt aan samenwerking en verdere professionalisering van de rol van CIO. Gezien de politieke situatie van een demissionair kabinet is het nog niet precies duidelijk welke beleidsveranderingen er op dit onderwerp te verwachten zijn. Het mogelijk samenvoegen van de diverse departementen is een uitdaging, ook voor de CIO’s. Dit betekent immers dat er efficiënter en effectiever gewerkt moet worden, ook waar het om ICT-projecten gaat. Dit betekent ook dat mogelijkheden tot verdere verbetering van de rol van CIO juist nu in praktijk gebracht kunnen worden. Het policywindow (Bekkers, 2007:134) lijkt nu open te staan; de rol van CIO kan wellicht weer actief op de agenda komen te staan. Dit onderzoekt hoopt daadwerkelijk aanknopingspunten te bieden voor een verbetering van de inzet van de rol van CIO bij de beheersing van ICT-projecten.

Pagina 15 van 81



1.9 Leeswijzer In hoofdstuk twee wordt het evaluatiekader bepaald. Allereerst zullen definitie, positionering en aandachtsgebieden worden onderzocht aan de hand van een literatuurstudie. Op basis van deze informatie kan vervolgens bepaald worden welke onderzoeksaspecten voor de CIO in de publieke sector van belang zijn. Vervolgens worden de begrippen kwaliteitsborging en risicobeheersing verder uitgewerkt en geoperationaliseerd. Uiteindelijk zal er op basis van deze uitwerking een raamwerk gemaakt worden waarin criteria zijn afgebeeld; met deze criteria zal de theorie en praktijk van CIO’s worden geëvalueerd. Hoofdstuk vier beschrijft het beleid dat is voorafgegaan aan het vormgeven van de rol van CIO. De beleidstheorie wordt hierbij gereconstrueerd en er wordt geanalyseerd welke rol kwaliteits- en risicobeheersing speelt in deze voorstellen. In hoofdstuk vijf wordt de praktijkanalyse beschreven. Hierbij worden de resultaten van het onderzoek geanalyseerd en een beeld van de huidige situatie geschetst. Hoofdstuk zes geeft de conclusies van het onderzoek weer. In dit hoofdstuk worden empirie en theorie met elkaar vergeleken en wordt bepaald in welke mate kwaliteitsborging en risicobeheersing op een adequate manier in de rol van de CIO binnen de rijksoverheid verankerd zijn. Hierop volgt de evaluatie en de beantwoording van de deelvragen. Ook worden in dit hoofdstuk aanbevelingen geformuleerd. Als laatste hoofdstuk volgt een reflectie op het uitgevoerde onderzoek en de resultaten.

Pagina 16 van 81



2 Evaluatiekader In dit hoofdstuk worden de eerste en tweede deelvraag beantwoord. Er wordt eerst onderzocht welke modellen er beschikbaar zijn vanuit de literatuur over de definitie, aandachtsgebieden en positionering van een CIO. De tweede deelvraag die beantwoord wordt, is welke uitwerking er van toepassing is om kwaliteitsborging en risicomanagement binnen grote ICT-projecten te beheersen. Gestart wordt met een uiteenzetting van gangbare definities van het begrip CIO, paragraaf 2.1.1. Dan worden in paragraaf 2.1.2 de modellen uit de literatuur geanalyseerd. Tot slot worden de begrippen kwaliteitsborging en risicomanagement die relevant zijn in het kader van dit onderzoek verder uitgewerkt. Als conclusie van dit hoofdstuk zal in pararaaf 2.4 de uitwerking van risicomanagement en kwaliteitsborging in een tabel als basis voor het evaluatiekader samengevat worden.

2.1

De positionering van de CIO in de publieke sector

2.1.1 Definitie CIO Maes & de Vries (2008:4) halen Synott (1978) aan als de eerste om de functie van CIO als volgt te definiëren: “een senior executive verantwoordelijk voor het verwezenlijken van het informatiebeleid, standaarden en managementcontrol in een organisatie met betrekking tot alle informatiebronnen in een organisatie. In 2005 is de definitie volgens Maes & de Vries (2008: p.4) als volgt omschreven door Broadbent en Kitzis: “De meest senior leidinggevende persoon verantwoordelijk voor het identificeren van informatie en behoeften aan technologie en het leveren van diensten om deze behoeften te bevredigen”. De Algemene Rekenkamer (2008: p.60) is ook tot een definitie gekomen, de rol wordt omschreven als “een functionaris op het strategische niveau van de organisatie en daardoor de schakel tussen de organisatievraagstukken en de informatievoorziening van de organisatie”. Wat opvalt in deze definities is dat het in de tweede definities een functionaris betreft die verantwoordelijk is voor de daadwerkelijke levering van diensten op het gebied van ICT. Indien deze definitie zou worden gehanteerd, zou dit functievermenging zijn met de taken die zijn gedefinieerd in het besluit van BZK (Tweede Kamer, 2008). Immers indien een CIO zowel verantwoordelijk is voor de uitvoering van zijn eigen projecten en de advisering over risico’s en uitvoering van dezelfde projecten is dit in strijd met de beginselen van functiescheiding. Dit betekent dat de definitie van Synott en de AR beide in aanmerking komen. De definitie van Synott noemt expliciet het element “management control”. Management control kan worden gedefinieerd als " alle middelen en activiteiten, waarmee leidinggevenden in een organisatie proberen te bewerkstelligen dat de organisatie zich op succesvolle wijze aanpast aan veranderingen in de omgeving van die organisatie” (Emmanuel,1990: p.7-8). Dit refereert dus aan de organisatiebrede strategie. De definitie van de AR is een zeer brede definitie die veel open laat voor eigen interpretatie. Wel wordt in deze definitie expliciet het alignment element (afstemming tussen IT en organisatie) genoemd. Aangezien de minister van BZK veel van de beleidsnotities heeft geschreven op basis van het onderzoek van de AR wordt in dit onderzoek gekozen voor de definitie van de AR. De definitie die in dit verdere onderzoek gehanteerd zal worden is “functionaris op het strategische niveau van de organisatie en daardoor de schakel tussen de organisatievraagstukken en de informatievoorziening van de organisatie”.

2.1.2 Rollen en taken van de CIO Niet iedere CIO legt vermoedelijk dezelfde accenten. Er bestaan verschillende modellen van de rollen en taken die een CIO heeft. Drie van deze modellen zullen beschreven worden. Vervolgens zal uit deze modellen de gemeenschappelijke aandachtsgebieden als onderzoeksaspect voor de rol van CIO geabstraheerd worden. Met aandachtsgebieden wordt bedoeld op welke strategische onderwerpen van zijn rol als CIO de nadruk gelegd moet worden.

Pagina 17 van 81



Model van de IM-kaart De volgende indeling is gebaseerd op basis van een Informatie Management “kaart” . Deze kaart is een negenvlak waarin Business, Informatie/Communicatie en Technologie worden afgezet tegen Strategie, Structuur en Uitvoering (Maes, 2003). De rollen voor de CIO die uit deze “kaart” afgeleid kunnen worden zijn: 1. Informatiestrateeg 2. Bedrijfsstrategieadviseur 3. ICT-Portfoliomanager 4. Organisatiearchitect 5. Businessadviseur 6. Trendwatcher.

2

6

3 1

4

5

Figuur 1 Rollen van de CIO (Maes, 2003) Concluderend kan gesteld worden dat in dit model de afstemming met de organisatie (alignment) de belangrijkste plaats inneemt. De rollen 2, 4 en 5 maken dit duidelijk. Daarnaast zijn het signaleren van nieuwe ontwikkelingen (innovatie) en het management van het ICTportfolio (project portfolio management) de belangrijkste aandachtsgebieden. Model van de Infrastructuur versus strategie Een andere indeling is te maken op basis van een verdeling IS infrastructuur versus IS strategie (Chun & Mooney, 2009). Uit deze studie blijkt dat de strategie en infrastructuur de rol bepaalt die de CIO aanneemt. Afhankelijk van de dimensie van deze twee variabelen is de rol die een CIO dan primair aanneemt 1. Landscape cultivator (bijv. Staatsbanken, justitiële instellingen), 2. Innovator & Creator (bijv. Ruimtevaartorganisaties, Business Intelligence bedrijven) 3. Triage Nurse & Firefighter (bijv. gezondheidszorg, universiteiten) of 4. Opportunity Seeker (bijv. verzekeringsmaatschappijen en productiebedrijven). Indien de infrastructuur systematisch is en de processen, mensen en technologie zorgvuldig georganiseerd zijn, ligt de focus van de CIO meer op innovatie (rollen 1 en 2). Indien dit niet het geval is, ligt de focus meer op procesverbetering en standaardisatie (rollen 3 en 4). De andere factor van belang is de IS strategie. Indien deze gericht is op stabilisatie en risicomijding, zijn rollen 1 en 3 aan de orde. Daarentegen behoren rollen 2 en 4 meer bij een risiconemende vooruitdenkende strategie. De focus ligt dan meer op het benutten van innovatieve mogelijkheden.

Pagina 18 van 81



De rollen die genoemd worden in het model zijn bepalend voor de fase van volwassenheid van de rol van CIO. In onderstaande figuur zijn deze volwassenheidsfases benoemd aan de hand van Stage 1 tot en met Stage 4 waarbij Stage 4 de hoogste fase van volwassenheid symboliseert. De rollen die zich meer richten op strategie, visie en een vergaande vorm van alignment bevinden zich in een hogere volwassenheidsfase dan de rollen die zich richten op consolidatie van infrastructuur. In deze volwassenheidsfase is de visionaire rol van CIO uitdrukkelijk een andere dan die van een " afdelingshoofd IT".

Figuur 2 de rol van de CIO in groeiperspectief (Chun en Mooney, 2009, p.325) Concluderend kan gesteld worden dat dit model een onderscheid maakt op basis van de kenmerken van organisaties. De nadrukkelijke aandachtsgebieden die een CIO in dit model zou moeten hebben, afhankelijk van het soort organisatie, zijn innovatie of standaardisatie en procesverbetering Model voor de publieke sector Lawry, Waddel en Singh (2007) hebben een model gecreëerd vanuit een literatuurstudie en evaluatie van bestaande CIO-modellen. In dit model wordt specifiek uitgegaan van de karakteristieken van een publieke organisatie. Dit zijn onder andere karakteristieken als minder flexibiliteit, integraal management, bureaucratie en formele procedures, afhankelijkheid van publieke gelden en risicoaversie. Zij geven in dit model aan, rekening houdend met deze genoemde karakteristieken, dat de verantwoordelijkheden van een CIO de volgende zijn: 1. Expenditure management (budgetbeheersing) 2. Technological competitiveness (technologische concurrentiekracht) 3. Organisation/Staffing (organisatie/bemensing) 4. Policies and Procedures (beleid en procedures) 5. Strategic Planning (strategische planning) 6. Business Transformation (organisatie transformatie) 7. Technology/Awareness and education (technolgisch bewustzijn en opleiding) 8. Governance (sturing). Concluderend kan gesteld worden dat dit model een uitgebreide opsomming van aandachtsgebieden. Er is echter een samenvatting te maken aangezien sommige aandachtsgebieden nauw met elkaar verwant zijn, De aandachtsgebieden 1 en 3 worden dan ook samengevat als project portfolio management aangezien dit operationele taken zijn op het gebied van projectbeheersing. De aandachtsgebieden 2 en 7 worden samengevat onder innovatie aangezien hier aandacht wordt gegeven aan de nieuwe ontwikkelingen binnen het vakgebied. Aandachtsgebied 4 en 5 worden samengevat als strategisch beleid aangezien dit aandachtsgebieden zijn op strategisch niveau, voor de langere termijn. Aandachtsgebied 6 wordt vertaald naar alignment; er wordt verondersteld dat dit aandachtsgebied aansluit bij de idee dat transformatie van de organisatie alleen kan plaatsvinden als de strategieën van business en IT worden afgestemd. Aandachtsgebied 8 is een separaat aandachtsgebied aangezien dit een brede focus heeft dat niet door andere aandachtsgebieden wordt afgedekt

Pagina 19 van 81



De aandachtsgebieden die een CIO zou moeten hebben volgens dit model, gecombineerd met een vereenvoudiging zijn dan ook: - Project Portfolio management - Innovatie - Strategisch beleid - Alignment - IT Governance GAO-onderzoek De United States Government Accountability Office (GAO) is vergelijkbaar met onze Nederlandse Algemene Rekenkamer. In 2005 heeft de GAO een studie uitgevoerd naar de positie van twintig CIO’s in private organisaties en deze vergeleken met die van de federale CIO’s. In een eerder onderzoek uit 2004 had GOA twaalf functionele gebieden benoemd die afgedekt zouden moeten worden door deze federale CIO’s. Deze aandachtsgebieden waren de volgende: 1. Capital planning and investment management 2. Enterprise architecture 3. Information security 4. IT/IRM strategic planning 5. IT/IRM workforce planning 6. Major e-gov initiatives 7. Systems acquisition, development and integration 8. Information collection/paperwork reduction 9. Records management 10. Information dissemination 11. Privacy 12. Information disclosure/Freedom of information - Statistical policy and coördination Uit het onderzoeksrapport van 2005 blijkt dat de aandachtsgebieden van de private CIO’s niet veel afwijken van die in de private sector. Daarom zijn bovengenoemde aandachtsgebieden relevant voor zowel private als publieke CIO’s in de USA. Omdat dit een zeer breed palet is aan aandachtsgebieden zal getracht worden de aandachtsgebieden die een gemeenschappelijk uitgangspunt hebben te clusteren. Aandachtsgebieden 1 en 4 worden samengevat onder Strategisch beleid aangezien er in beide aandachtsgebieden een lange –termijn component aanwezig is. Aandachtsgebieden 3, 10, 11 en 12 worden samengevat onder informatiebeveiliging. Aandachtsgebieden 2 en 7 worden samengevat onder architectuurbeleid aangezien ze beiden betrekking hebben op architectuurbeslissingen. Aandachtsgebied heeft echter ook een innovatief aspect, dit wordt apart benoemd als onderwerp. Aandachtsgebieden 6, 8 en 9 worden buiten beschouwing gelaten omdat dit specifieke onderwerplabels kunnen zijn om specifieke projecten onder te labelen. Het wordt in dit onderzoek niet gezien als specifiek aandachtsgebied van een CIO maar valt feitelijk al onder de andere genoemde aandachtsgebieden zoals strategisch beleid. De strategische onderwerpen die tot het aandachtsgebied van een CIO zouden moeten behoren, gecombineerd met een vereenvoudiging zijn volgens dit onderzoek dan ook: - Strategisch beleid (1 en 4) - Architectuurbeleid(2 en 7) - Informatiebeveiliging (3, 10, 11, 12) - Innovatie (7) - Project Portfolio management (5)

2.1.3 Positionering CIO in de organisatie Er zijn geen onderzoeken bekend die enkel de positie van de CIO in de publieke organisatie als onderwerp hebben. Wel blijkt uit diverse literatuur dat de functie van CIO binnen het bedrijfsleven vaak direct onder de CEO of direct onder de CFO wordt gepositioneerd. Echter, hierbij gaat het om een daadwerkelijke functie en niet zozeer om een rol. Zo halen Chun en Mooney (2009, p. 324) aan dat er uit vele studies blijkt dat sinds de jaren negentig een toenemend aantal CIO's direct rapporteert aan de CEO (Chief Executive Officer). Doordat de CIO echter een nieuwe rol vervuld en geen functie, is het in dit onderzoek van belang.

Pagina 20 van 81



Het spreekt voor zich dat het van belang is dat de positie van CIO strategisch goed wordt gekozen. Zo geeft de Rekenkamer (2008:p.60) aan dat het van belang is dat de CIO hoog gepositioneerd is in de organisatie om een volwaardige gesprekspartner te kunnen zijn. Vanuit de organisatietheorie is het relevant begrippen als autoriteit, gezag, span of control (Robbins, 2006:p.253) en functiescheiding hierbij toe te passen. Hierbij wordt vooralsnog uitgegaan van de toezichthoudende rol die de CIO zou moeten hebben zoals in de probleemanalyse genoemd. Hierbij is van belang mee te wegen dat de rol van CIO als rol verplicht is gesteld en niet als functie. Ten eerste geldt dat, om een volwaardige gesprekspartner te kunnen zijn, er sprake moet zijn van autoriteit. Indien de CIO een toezichthoudende rol uitvoert moet hij hiervoor wel beschikken over het gezag en de autoriteit om dit te kunnen doen. Indien er een groot ICT-project wordt opgestart vanuit een specifiek beleidsveld is het van belang dat de CIO vooraf hierover geïnformeerd wordt en dat hij ook in staat wordt geacht hier een advies over te geven dat meegewogen wordt in het besluit om het project wel of niet uit te voeren. Dit lijkt vooral in bureaucratische organisaties aan de orde te zijn omdat er een verregaande vorm van specialisatie van toepassing is (Robbins, 2006: p.255). Daarnaast is zijn gezag hierbij van belang. Dit wordt deels door kennis en kunde opgebouwd (hiermee wordt gezag verworven), maar ook door de positie in de organisatie afgedwongen. Indien een CIO onder een afdeling bedrijfsvoering wordt gepositioneerd, kan dit een ander effect hebben dan wanneer een CIO lid is van de bestuursraad bij een departement. Als tweede kan het begrip span of control hierbij van belang zijn. Dit heeft in deze context een verband met functiescheiding. Indien een CIO deels verantwoordelijk is voor het uitvoeren van grote ICT-projecten (dus hij heeft een grote span of control), lijkt het onlogisch als de CIO zelf een verregaande vorm van toezicht houdt op deze uitvoering. Hiermee zou de CIO toezicht houden op zijn eigen werkzaamheden hetgeen een goed onafhankelijk advies vanzelfsprekend in de weg staat. Echter indien beoogd wordt dat de CIO slechts vooraf toetst en verder geen vorm van toetsing meer wordt verlangd, lijkt deze functievermenging niet aan de orde. Voor de duidelijkheid wordt met functiescheiding niet bedoeld het vermengen van persoonlijke en organisatiebelangen. Van belang is dus om in dit onderzoek een duidelijk beeld te krijgen van de rol die een CIO wordt geacht te hebben en in het bijzonder de adviserende taken die hij heeft. Hierbij kan dan bepaald worden of de positie van de CIO in de organisatie hierbij zou kunnen passen.

2.1.4 Conclusie positionering en rol van de CIO in de publieke sector In deze paragraaf is een overzicht gegeven van de beschikbare modellen die de strategische onderwerpen van de rol van CIO in kaart brengen. Alle modellen hebben een andere invalshoek om de taken bevoegdheden en verantwoordelijkheden van een CIO te structureren. Uit de modellen blijkt dat er weinig verschil is tussen de strategische onderwerpen die behoren tot het aandachtsgebied van private en publieke CIO’s. Met enige interpretatie en vereenvoudiging is er een gemene deler is in deze modellen aangebracht voor de aandachtsgebieden die een CIO zou moeten hebben. In onderstaande tabel worden de aandachtsgebieden zoals deze in de modellen worden gebruikt uiteengezet. De meest voorkomende aandachtsgebieden voor een CIO die genoemd worden in de modellen zijn die van - Innovatie - Project Portfolio management - Alignment en - Strategisch beleid. Deze worden gehanteerd als aandachtsgebied van een CIO en als zodanig als onderzoeksaspect opgenomen in het evaluatiekader. Dit houdt in dat de onderwerpen getoetst worden als zijnde een aanwezig aandachtsgebied in hun functioneren in de rol van de CIO. Er wordt dus in dit kader getoetst of de strategische onderwerpen inderdaad het aandachtsgebied van de CIO binnen de rijksoverheid beslaan en zo ja waar dan de grootste nadruk op wordt gelegd in zijn of haar rol. Indien dit niet het geval is, wordt geanalyseerd welke aandachtsgebieden er dan gelden.

Pagina 21 van 81


Onderzoeksaspecten van aandachtsgebied CIO Strategisch beleid Architectuurbeleid Informatiebeveiliging Innovatie Project Portfolio management Alignment IT Governance Standaardisatie en procesverbetering


Herkomst 3

LWS , GAO, GAO GAO 4 IM-kaart, CM , LWS, GAO IM-kaart, LWS,GAO IM-kaart LWS, LWS CM

Het is opvallend dat IT Governance weinig als apart aandachtsgebied is genoemd. De verklaring hiervoor kan zijn dat IT Governance een breed vakgebied is. Zo zou bijvoorbeeld Project Portfolio management geschaard kunnen worden onder IT Governance. Het is daarom van belang om het begrip IT Governance verder te analyseren en uit te werken met behulp van het onderwerp van risicobeheersing uit de probleemverkenning. Naast deze benoeming van rollen en aandachtsgebieden geldt voor de positie van de CIO dat hier een tweetal randvoorwaarden van belang zijn: autoriteit en span of control (in relatie tot functiescheiding). Afhankelijk van de daadwerkelijk beoogde toezichthoudende rol zijn er randvoorwaarden van toepassing om de rol van CIO op de juiste positie in de organisatie te plaatsen. Voor de positionering van de CIO is er weinig aandacht in de modellen. Vanuit de organisatietheorie zijn relevante begrippen geïdentificeerd die een relatie hebben met kunnen zijn van een volwaardige gesprekspartner in een rol die moet bijdrage aan een betere kwaliteitsborging. Hierbij zijn autoriteit en de positie om een onafhankelijk oordeel te geven belangrijke voorwaarden. Dit zijn dan ook de onderzoeksaspecten die aan het evaluatiekader toegevoegd worden. Onderzoeksaspecten positie CIO Autoriteit Functiescheiding/toezicht versus uitvoering

2.2

Algemene Rekenkamer organisatiekunde

Risicomanagement

Uit voorgaande paragrafen blijkt risicobeheersing een belangrijke rol te spelen in het werkveld van de CIO om projecten beter te beheersen.

2.2.1 Definitie risicomanagement Risicomanagement kan gedefinieerd worden als een systematische analyse van de risico’s, het vaststellen van beheersmaatregelen, het evalueren van de effectiviteit van deze risico’s en waar nodig aanpassen (Fijneman, 2008: p.34). Een risico wordt vaak als volgt gekwantificeerd: Risico = kans x gevolg Een risico is groter als de kans van optreden en de gevolgen van optreden groter zijn. Een risico kan op 4 manieren worden aangepakt: • Voorkomen: één of beide van de factoren kans en gevolg wegnemen (door het implementeren van beheersmaatregelen); • Verminderen: één of beide van de factoren kans en gevolg afzwakken (door het implementeren van beheersmaatregelen); • Uitbesteden: risico's onderbrengen bij verzekeraars;

3

LWS staat voor het model van Lawry Waddel en Singh: omschreven in deze paragraaf als het model voor de publieke sector 4 CM staat voor Chun en Mooney: omschreven in deze paragraaf als het model voor IS infrastructuur versus IS strategie

Pagina 22 van 81


•


Accepteren: Niets doen en het risico aanvaarden, vaak alleen bij kleine risico’s

Het doel van beheersmaatregelen is om te verzekeren dat het project de juiste eindproducten levert in overeenstemming met de juiste kwaliteitseisen binnen de beschikbare tijd en budget en dat het de businesscase verwezenlijkt (Fijneman, 2008: p.121). Risicomanagement is nauw verbonden met Governance. Het begrip governance betekent vrij vertaald “Sturing”. Er zijn vele soorten Governance waaronder eGovernance (Homburg, 2008), Corporate Governance (Fijneman, 2008: p.22), IT Governance (Fijneman, 2008: p.201) en Project Governance (Fijneman, 2008: p.179). IT Governance is in deze context het meest relevant en richt zich op de beheersing van IT (-projecten) rondom de organisatie waarin deze IT wordt ingezet.

2.2.2 Risicomanagement in relatie tot IT Governance IT Governance is specifiek benoemd in het model van Lawry Wadding en Singh (zie paragraaf 2.1.2). In 2006 heeft de AR een rapport uitgebracht met een evaluatie van de IT-Governance bij twee ministeries (EZ en SZW). In dit rapport definieert zij IT-Governance als volgt: Het doel van IT Governance is een informatievoorziening tot stand te brengen die het mogelijk maakt dat de overheid effectief en ketenbewust functioneert en optimaal presteert (AR, 2006). In de vakliteratuur wordt IT Governance wel aangeduid als de verantwoordelijkheid van het management. Het is een integraal deel van de governance van de organisatie als geheel en bestaat uit leiderschap en organisatie structuren en processen die verzekeren dat de IT van de organisatie de strategie en doelen van de organisatie ondersteunt (Fijneman, 2008: p.307). In het rapport van de AR (2006) is een beschrijvingskader opgenomen voor IT-Governance bij ministeries. Dit beschrijvingskader gaat uit van een indeling in • Interne sturing, uitzetten van de koers voor de ICT-voorziening, • Interne beheersing, het op koers houden van de ICT-voorziening • Externe verantwoording: rekenschap afleggen aan externe belanghebbenden • Extern toezicht: Beoordeling en zo nodig interventie door externe toezichthouder • Aansturing van en toezicht op RWT’s (Rechtspersonen met een wettelijke taak). Het onderdeel “interne beheersing” is hierbij relevant als instrument. In onderstaand overzicht is een weergave opgenomen van het beschrijvingskader “interne beheersing”.

Pagina 23 van 81



Figuur 3 Beschrijvingskader IT-Governance bij ministeries (AR, 2006) Het kader geeft een uitwerking aan van de onderdelen van interne beheersing zoals die zou kunnen gelden bij de ministeries. Risicomanagement neemt hierbij een belangrijke plaats in. De rekenkamer geeft overigens aan dat dit geen afvinklijst mag zijn. “Het gaat niet alleen om de vraag óf de componenten zijn ingevuld, maar ook om de vraag hoe ze zijn ingevuld”. (AR, 2006: p.34). Waar dit kader nu is bedoeld voor de “going concern” ICT activiteiten, zou dit waar nodig ook specifieker gemaakt kunnen worden voor de interne beheersing van ICT-projecten.

Pagina 24 van 81



Indien een project beter intern beheerst wordt, kan verondersteld worden dat dit bijdraagt aan de kwaliteit van een project omdat tijd, geld, scope en kwaliteit gezamenlijk bepalen in hoeverre een project succesvol zal zijn.

Figuur 4 Duivelsvierkant (Capegroep, n.d) Risicomanagement is in dit beschrijvingskader als onderwerp onderdeel van de interne beheersing. Vandaar dat hetgeen wat de AR in dit kader gepositioneerd heeft onder “interne beheersing” aan het evaluatiekader toegevoegd zal worden. Dit komt daarnaast overeen met de oorspronkelijke doelstelling uit de beleidstheorie: het verbeteren van de beheersing van de ICT-projecten.

2.2.3 Risicomanagement in relatie tot projectportfolio management Projectportfolio Management (PPM) is een begrip dat eveneens betrekking heeft op de interne beheersing. In deze paragraaf zal het begrip verder toegelicht worden. IT Portfolio management of ook wel projectportfolio management (PPM) is een methode om de totale “portefeuille” van projecten te beheren. Het wordt gebruikt om projecten te beoordelen voorafgaand aan de daadwerkelijke uitvoering, en tijdens de uitvoering. Het principe van PPM is dat projecten gerangschikt worden op basis van vooraf gedefinieerde doelstellingen, waarbij rekening gehouden wordt met het risico dat de uitvoering van het project met zich meebrengt. Het proces van PPM bestaat uit de volgende stappen:

Figuur 5 PPM Working definition (Jeffery en Leliveld, 2003)

Pagina 25 van 81



De bedoeling van een PPM proces is dat ieder project wordt geadministreerd in een “portfolio”. Hierbij is scope en benodigde inzet van middelen van groot belang. Op basis van vooraf vastgestelde criteria kan het project vervolgens “gewogen”worden, eventueel met behulp van een rekenmodule. Uit een analyse volgt vervolgens een voorstel om een project te starten, aan te passen of te stoppen. Reyck et al (2005) hebben een onderzoek gedaan naar de effectiviteit van PPM in relatie tot het verbeteren van de projectbeheersing. In hun onderzoek hebben zij onder 34 respondenten van vooral IT-gerichte organisaties in heel Europa een vragenlijst uitgezet. Uit dit onderzoek blijkt dat 92% van de respondenten PPM gebruikt om de complexiteit van de projecten, risico’s, cash-flows en organisatorische veranderingen mee te beheren. Daarnaast gebruikt 62% van de respondenten PPM om een risico analyse van het gehele projecten portfolio mee uit te voeren. Daarnaast gebruikt 82% van de respondenten PPM voor het proces van alignment (Reyck et al, 2005: p.529).Eén van de conclusies uit het onderzoek is dat hoe meer PPM structureel wordt toegepast in een organisatie, hoe lager het aantal projectgerelateerde problemen (Reyck et al, 2005: p.531,532). Hiermee is aangetoond dat PPM daadwerkelijk toegevoegde waarde levert en dat het vanuit een focus van risicomanagement de complexiteit van de projecten kan verlagen.

2.2.4 Risicomanagement in relatie tot informatievoorziening Een onderdeel van risicobeheersing is het beschikken over goede stuurinformatie. Dit zou stuurinformatie kunnen zijn uit het proces van portfoliomanagement. Immers met behulp van portfoliomanagement wordt ieder project beheerst dus per project is alle relevante informatie beschikbaar. In de USA zijn er al experimenten met een overheidsdashboard ten behoeve van Managementinformatie voor Grote IT Projecten. Deze geven op een hoog abstractieniveau per organisatieonderdeel de investeringen weer. In de diagrammen wordt weergegeven wat de status van tijd en geld is en wat de evaluatie van de CIO is. Hierop kan verder geanalyseerd worden op een hoger detailniveau.

Figuur 6 IT Dashboard overheid USA (United States Government, n.d.) Een managementinformatiesysteem gebruikt worden ten behoeve van interne sturing. In dit voorbeeld in de USA is het gebruikt als instrument om extern verantwoording af te leggen. Hierbij moet gewaakt worden voor de zogenaamde “perverse effecten”. Dit betekent dat informatie niet op de juiste wijze tot stand komt (bijvoorbeeld incompleet of onjuiste variabelen) en de interpretatie van deze informatie dus niet juist is. Dit kan bijvoorbeeld zijn indien verkeerde prestatie-indicatoren worden gekozen of indien de meetmethodes niet onbetwist zijn. Dit is vaak het gevolg van het feit dat deze informatie wordt gebruikt om te meten hoe goed een organisatie het doet. Hierbij zijn er belangen om goede resultaten te kunnen laten zien zodat het risico van manipulatie van gegevens aanwezig is. Uit documentenanalyse van het Interdepartementale Overleg van de CIO’s (ICCIO) blijkt dat voorlopig is besloten om te starten met een intern Rijks ICT Dashboard om het op termijn extern te publiceren. Het dasboard wordt hierbij geschikt gemaakt als instrument voor Project Portfolio management.

Pagina 26 van 81



2.2.5 Conclusies risicomanagement De Algemene Rekenkamer heeft op basis van zijn onderzoek naar IT-Governance bij twee ministeries een beschrijvingskader gemaakt. In dit kader is een aantal componenten benoemd, zowel voor projecten alsook voor ICT-activiteiten op “going concern”-basis. Een inschatting is nodig om te bepalen welke van deze componenten relevant zijn voor beheersing van ICT-projecten: -Risicomanagement: Relevant voor het definiëren van projectrisico’s en continue beheersing. -Naleven van interne procedures, regels richtlijnen en wet en regelgeving: Relevant met betrekking tot het naleven van de afspraken voor het hanteren van de projectmethodiek. -Periodieke en incidentele managementrapportage: Relevant voor het monitoren van voortgang, kosten, deelproducten, mijlpalen, incidenten en risico’s. -Voortgangscontrole op en bijsturen van ICT-planning. Bijsturen op projecten op basis van de projectplanning. -Audits, evaluatie en monitoring: Dit kunnen voor projecten bijvoorbeeld de genoemde gatewayreviews zijn waarbij een collegiale toets wordt uitgevoerd op de beheersing van het project. Een aantal van de hier genoemde onderzoeksaspecten is verwerkt in de methodiek van Projectportfolio management. Indien een organisatie PPM echter niet als instrument in gebruik heeft, zullen deze aspecten niet als onderdeel van PPM getoetst kunnen worden. Deze aspecten worden dan ook los benoemd met een verwijzing naar het instrument van PPM Herkomst Onderzoeksaspect van Risicobeheersing Definiëring projectrisico’s (evt mbv PPM) Continue beheersing projectrisico’s (evt mbv PPM) Naleving projectmethodiek Gebruik van incidentele en periodieke projectrapportages Voortgangscontrole en bijsturing in projecten Uitvoeren van Audits op projecten Gebruik van PPM

AR (2006) AR (2006) AR (2006) AR (2006) AR (2006) AR (2006) Reyck (2005)

2.3 Kwaliteitsborging De CIO’s geven in het Amerikaanse onderzoek van GAO (2005) aan dat ze de afstemming tussen Business en IT de grootste uitdaging vinden. Blijkbaar is deze activiteit niet eenvoudig en heeft het grote gevolgen indien de organisatie en IT er niet in slagen deze alignment goed uit te voeren. In deze paragraaf wordt het begrip alignment uitgelegd en verder onderzocht

2.3.1 Definitie alignment Alignment adresseert een vraagstuk van harmonie: Hoe is IT in harmonie met de organisatie en vice versa (Luftman, 2000). Alignment zorgt ervoor dat Business en IT afgestemde strategie, doelstellingen en behoeften hebben. Dit impliceert dat Business en IT elkaars taal moeten spreken en moeten verstaan. Dit zorgt er vervolgens voor dat: -de goede dingen worden gedaan (effectiviteit), -de dingen goed worden gedaan (efficiency). Alleen als alignment een belangrijke rol speelt kan de kwaliteit van ICT-projecten op hoog niveau worden gebracht. Immers, ICT-projecten hebben betrekking op het ondersteunen van werkwijzen. Deze werkwijzen worden uitgevoerd door een gebruiker. Alleen als er een nauwe afstemming is met de gebruikersorganisatie, de business, kan een ICT-Project renderen. Indien de gebruikersorganisatie niet het product krijgt waar ze haar proces mee kan ondersteunen, is het rendement van het ICTproject niet optimaal.. Indien alignment niet goed wordt beheerst ontstaan dus problemen. Er worden bijvoorbeeld verkeerde IT-systemen ontworpen omdat niet goed naar de organisatie wordt geluisterd. Een ander voorbeeld

Pagina 27 van 81



kan zijn dat het beheer niet adequaat wordt uitgevoerd omdat niet voorzien is dat er meer mensen dan beoogd gebruik van maken. Afstemming tussen Organisatie en IT is dus sleutelvoorwaarde voor alignment. In de literatuur wordt het probleem ook wel omschreven als een loterij. Indien er geen alignment plaatsvindt en hier ook niet goed op gestuurd wordt, is het realiseren van toegevoegde waarde voor de organisatie als een loterij. Bij sommige projecten gaat het dan “toevallig” goed, en bij sommige niet (Cumps, 2007). Wat hierbij een rol speelt is dat het aanpassen van ICT infrastructuur aan de veranderende organisatiestrategie niet op korte termijn realiseerbaar is; ICT infrastructuur is over het algemeen niet flexibel en snel aanpasbaar. Alignment kan ontrafeld worden in drie onderwerpen die allemaal op elkaar ingrijpen. De belangrijkste onderwerpen zijn strategie, infrastructuur en proces (Luftman, 2000). In onderstaande tabel worden deze onderwerpen met componenten en voorbeelden weergegeven. Tabel 1 Componenten van alignment (Luftman, 2000) Component Strategie

Organisatie -Organisatiescope: klanten en producten of diensten, -Sturing: belanghebbenden, management, -Strategische Competenties: merk, research etc.

Infrastructuur

-Administratieve structuur: Organisatievorm en aansturing (bijv. matrix ) -Organisatieprocessen: bijv. Administratieve organisatie

Proces

IT -Technologische Scope: Beschikbare applicaties en technologieën -Sturing: Beschikbare capaciteit, relaties leverancier etc. -IT-competenties: beschikbaarheid informatie etc. -Architectuur: platformafhankelijkheden -IT-processen: bijv. ITIL

Indien alignment op de juiste wijze plaatsvindt zijn strategie en infrastructuur en proces van zowel Organisatie als IT perspectief op elkaar afgestemd. Aangezien de eindgebruiker dus de eindklant is die bepaalt wat de kwaliteit is van een project, wordt alignment als begrip gebruikt om kwaliteitsborging verder te evalueren

2.3.2 De regels van alignment De wijze waarop alignment tot stand kan worden gebracht is van belang voor CIO’s. Immers indien er indicatoren voorhanden zijn waarmee geconstateerd kan worden dat alignment op adequate wijze plaatsvindt, geeft dat iets aan over de succeskans van het project. Cumps (2007) heeft op basis van het raamwerk van Peppard en Ward (2004) een model ontwikkeld waarmee getracht is de optimale werkwijzen voor alignment in beeld te brengen. Zij hebben onder 641 organisaties van verschillende grootte uit verschillende landen een web-enquête uitgezet. Met behulp van een techniek, antminer genoemd en gebaseerd op een algoritme, is er geconcludeerd dat er drie alignment werkwijzen van belang zijn om een zo hoog mogelijke alignment te realiseren. De minimale werkwijzen die zouden leiden tot het hoogste nivo van alignment zijn: -Het prioriteren van ICT investeringen in relatie tot de strategie van de organisatie -Performance management heeft invloed op de budget allocatie -Alignment processen op centraal en decentraal nivo zijn op elkaar afgestemd. Daarnaast zijn de volgende werkwijzen aan te bevelen vanuit het onderzoek: -Organisatie en ICT planning en management processen zouden nauw verweven moeten zijn -Het eigenaarschap van vanuit de organisatie voor ICT-projecten moet duidelijk belegd zijn. Met de eerste werkwijze wordt geborgd dat ICT investeringen in samenhang met de strategie van de gehele organisatie moeten worden bezien. Met de tweede werkwijze wordt de sturing op de “performance” ofwel prestatie van een ICTinvestering gebruikt om alignment te waarborgen. Op deze manier worden er beter gefundeerde en bewustere keuzes gemaakt.

Pagina 28 van 81



De laatste werkwijze duidt op het afstemmen van alignment processen door de gehele organisatie. Zowel op centraal als op decentraal nivo dient dezelfde manier van alignment in de praktijk te worden gebracht. Hierbij kan bijvoorbeeld ook gedacht worden aan een consequent gebruikte projectmethodiek die dit borgt. Specifieke raamwerken op basis van ervaringen binnen de rijksoverheid zijn niet bekend. Bovenstaand model zal echter een werkbare basis kunnen zijn voor de rijksoverheid om alignment te meten aangezien het gebaseerd is op algemeen gangbare thematiek. Doorvertaald naar beleidsprojecten zou de eerst genoemde werkwijze geïnterpreteerd kunnen worden als een afstemming tussen beleidsplannen en het portfoliomanagement.

2.4 Conclusie evaluatiekader In dit hoofdstuk zijn modellen onderzocht die ingaan op de rollen van een CIO, zowel in de publieke als private sector. Een conclusie is dat uit de onderzoeken naar voren komt dat er weinig verschil aangetoond is in aandachtsgebieden van een private ten opzichte van een publieke CIO. Op basis van een toegepaste analyse en interpretatie van deze individuele modellen is een gecombineerd model ontstaan dat de aandachtsgebieden van een CIO beschrijft die van toepassing zijn in dit onderzoek. Wat betreft positie van de CIO zijn er twee onderzoeksaspecten die van belang zijn, te weten autoriteit en span of control. Afhankelijk van de diepgang van de (toekomstige) toezichthoudende of adviserende taken, is het van belang dat de CIO voldoende autoriteit heeft in de organisatie op grond van zijn strategische positie en dat er geen belangenvermenging tussen uitvoering en toezicht plaatsvindt. Een juiste keuze op het gebied van de aandachtsgebieden of rol en bijbehorende strategische positie van de CIO is dan ook randvoorwaardelijk voor een effectieve kwaliteitsborging en risicobeheersing. Het begrip risicomanagement is verder geanalyseerd op basis van het begrip IT-governance. In een rapport van 2006 van de AR over IT-governance binnen twee ministeries (EZ en SZW) is een beschrijvingskader voor IT-governance opgenomen. Hieruit blijkt dat het onderdeel “interne beheersing” een kader vormt voor de toepassing van risicomanagement. Daarnaast is gebleken dat PPM een belangrijk instrument is voor risicomanagement. Vanuit het beschrijvingskader van de AR is een vertaling gemaakt naar de interne beheersing voor ICT-Projecten. Hierbij blijkt het instrument van PPM van toegevoegde waarde te kunnen zijn, dit wordt aangetoond door een onderzoek uit 2005 van De Reyck et al.. Op basis van deze verkenning van risicobeheersing en alignment zijn onderzoeksaspecten gedefinieerd. Deze onderzoeksaspecten zijn samengevat in onderstaand evaluatiekader. Voor het onderzoeksaspect aandachtsgebieden geldt dat deze strategische onderwerpen tot de rol van CIO zouden moeten behoren om de rol goed uit te kunnen uitoefenen.

Pagina 29 van 81



Tabel 2 Evaluatiekader onderzoekscriteria Herkomst Onderzoeksaspecten aandachtsgebied CIO 5

A Strategisch beleid B Innovatie

LWS , GAO, 6 IM_kaart, CM , LWS, GAO IM-kaart, LWS,GAO IM-kaart LWS,

C Project Portfolio management D Alignment Onderzoeksaspecten positie CIO E Autoriteit F Functiescheiding/toezicht versus uitvoering

Algemene Rekenkamer Organisatiekunde

Onderzoeksaspecten Risicobeheersing G Definiëring projectrisico’s (evt mbv PPM) H Continue beheersing projectrisico’s (evt mbv PPM) I Naleving projectmethodiek J Gebruik van incidentele en periodieke projectrapportages K Voortgangscontrole en bijsturing in projecten L Uitvoeren van Audits op projecten M Gebruik van PPM

AR (2006) AR (2006) AR (2006) AR (2006) AR (2006) AR (2006) De Reyck

Onderzoeksaspecten Alignment N Het prioriteren van ICT investeringen in relatie tot de strategie van de organisatie O Afstemming alignment processen op centraal en decentraal nivo P Performance management versus budget allocatie Q Verwevenheid organisatie-, ICT planning en management processen R Beleggen eigenaarschap ICT-projecten

Cumps (2007) Cumps (2007) Cumps (2007) Cumps (2007) Cumps (2007)

De antwoorden op de eerste deelvraag, welke modellen zijn er beschikbaar vanuit de literatuur over de definitie, aandachtsgebieden en positionering van een CIO zijn aan de hand van het evaluatiekader beantwoord. De meeste relevante modellen zoals die voor dit onderzoek zijn geselecteerd zijn genoemd in de kolom “herkomst”. De uitwerking die van toepassing is om kwaliteitsborging en risicomanagement binnen grote ICT-projecten te beheersen is hiermee ook te beantwoorden aan de hand van het evaluatiekader. De tweede deelvraag is aan de hand van de eerste kolom in het evaluatiekader beantwoord; er zijn achttien onderzoeksaspecten opgesteld.

5 6

LWS staat voor het model van Lawry Waddel en Singh: omschreven in deze paragraaf als het model voor de publieke sector CM staat voor Chun en Mooney: omschreven in deze paragraaf als het model voor IS infrastructuur versus IS strategie

Pagina 30 van 81



3 Uitwerking onderzoekscriteria (operationalisering) In dit hoofdstuk worden de onderzoeksaspecten van risicobeheersing en kwaliteitsborging verder geoperationaliseerd. Hiermee wordt de derde deelvraag beantwoord; de identificatie van criteria voor kwaliteitsborging en risicomanagement. Aan de hand van de geïdentificeerde onderwerpen uit de theorie en de hiervoor afgeleide onderzoeksaspecten in het evaluatiekader zoals opgesteld in tabel 2 wordt per aspect bepaald welke criterium van toepassing is. Hieruit volgen de vervolgvragen voor de interviews. De criteria van de operationalisering wordt in het evaluatiekader verder uitgewerkt tot een interviewprotocol, opgenomen als onderdeel van het evaluatiekader in bijlage 1.

3.1 Operationalisering aandachtsgebieden en positie CIO De vier onderwerpen zijn onderverdeeld in een aantal onderzoeksaspecten. Per onderzoeksaspect is het van belang een operationalisering uit te voeren zodat er een criterium per aspect is gedefinieerd. Allereerst worden de aandachtsgebieden van de CIO in kaart gebracht. Aandachtsgebieden kunnen omschreven worden als strategische prioriteiten. Zoals afgeleid uit het literatuuronderzoek zijn er vier aandachtsgebieden die een CIO in algemene zin kan hebben. Dit betreft strategisch beleid, innovatie, project portfolio management en alignment. Aan de hand van de interviews kan bepaald welke aandachtsgebieden de CIO onderdeel van zijn rol heeft gemaakt. Dit wordt vergeleken met de aandachtsgebieden uit het evaluatiekader. Het criterium is dan ook dat het aandachtsgebied in voldoende mate vertegenwoordigd is in het functioneren van de CIO. De onderzoeksaspecten van de positie van de CIO zijn onderverdeeld in twee onderzoeksaspecten. Allereerst is de autoriteit van de CIO onderdeel van de analyse. Aangezien het voor de meeste departementen een nieuwe rol betreft, zal het verkrijgen van draagvlak en gezag onderdeel zijn van de analyse. Mandaat wordt verkregen, het is echter pas effectief als het ook uitgevoerd kan worden. Hierbij is het ook van belang of de CIO alleen grote ICT-projecten beoordeelt die betrekking hebben op bedrijfsvoeringprocessen of dat dit ook vanuit de beleidskant gebeurt. Dit is een indicatie voor de effectiviteit van de CIO. Immers wanneer de CIO gepositioneerd is onder bedrijfsvoering kan dat consequenties hebben voor de mogelijkheden die hij heeft en krijgt (span of control) om ook te adviseren over ICT-projecten die het primaire beleidsproces raken. Het zou kunnen betekenen dat er alleen toezicht wordt gehouden op ICT-projecten die de bedrijfsvoering (het ondersteunende proces) als onderwerp hebben. Wat dus gemeten moet worden is of de CIO voldoende mandaat heeft, op zowel bedrijfsvoering- als beleidsniveau. Het criterium hierbij is dat er voldoende mandaat is om op zowel bedrijfsvoeringniveau alsook beleidsniveau zijn rol te kunnen uitoefenen. Als tweede is het aspect van functiescheiding aan de orde. Een belangrijk onderdeel van zijn rol is het geven van een oordeel en advies. Bij deze onderdelen kan het problemen geven als een CIO tevens opdrachtgever of opdrachtnemer is. Immers dan draagt de CIO vanuit zijn lijnfunctie verantwoordelijkheid. Een adviesrol kan dan niet uitgevoerd worden evenmin als het verstrekken van een oordeel. Van belang is daarom welke rollen de CIO nog meer vervult uit hoofde van zijn eigenlijke functie en of dit in de praktijk tot het bekende “pettenprobleem” leidt. De CIO heeft dan verschillende petten op en verschillende belangen. Een belangenvermenging zou een effectieve functievervulling dan ook in de weg kunnen staan Het criterium is dat de CIO geen last mag hebben van meerdere belangen vanuit zijn rol en functie. Hierbij is het van belang te vernemen van de CIO of dit ook daadwerkelijk leidt tot discussies of problemen. Alle aspecten van aandachtsgebieden en positie van de CIO hangen nauw met elkaar samen. Indien een CIO meerdere rollen heeft kan dat, naast zijn uitvoerende en toezichthoudende focus iets zeggen over de aandachtsgebieden die worden afgedekt. Hierbij is het echter van belang de rol van CIO goed te kunnen scheiden van andere rollen. De rolvermenging als gevolg van de daadwerkelijke functie kan ervoor zorgen dat aandachtsgebieden niet meer expliciet toe te wijzen zijn aan de rol van CIO. Ook is

Pagina 31 van 81



het van belang om te onderzoeken of het mandaat dat de CIO heeft gekregen in de praktijk werkelijk effectief is. Wellicht heeft een CIO wel formeel de instrumenten om de rol van CIO departementsbreed te kunnen vervullen, maar is de organisatie nog niet bereid om de CIO die rol daadwerkelijk in de praktijk te laten brengen. In het algemeen geldt voor de positie en aandachtsgebieden van de CIO dat ook de inrichting van de CIO-office van belang kan zijn. De CIO-office vormt de ondersteuning van de CIO en bepaalt tevens zijn effectiviteit. Aangenomen kan worden dat een groot CIO-office met veel adviespotentieel effectiever zal kunnen zijn dan een kleiner CIO-office dat keuzes moet maken om de capaciteit zo efficiënt en effectief mogelijk in te zetten. Het CIO-office is niet expliciet als criterium in het evaluatiekader opgenomen omdat het betrekking kan hebben op meerdere onderzoeksaspecten van de aandachtsgebieden en positie van de CIO.

3.2 Operationalisering risicomanagement Onderzoeksaspecten G tot en met M uit het evaluatiekader in bijlage 1 geven inzicht in de aspecten van risicobeheersing. Bij onderzoeksaspect G wordt in kaart gebracht in hoeverre er sprake is van definiëring van projectrisico’s. Met dit aspect wordt gemeten in hoeverre er sprake is van inzichtelijkheid van projectrisico’s. PPM kan hierbij bijvoorbeeld een instrument zijn dat wordt ingezet om projectrisico’s vooraf of tijdens het project inzichtelijk te maken. Overigens speelt hierbij het niveau van projectrisico een grote rol. Onder de operationalisering van positie en aandachtsgebieden is de toezichthoudende rol en de uitvoering van projecten besproken. Vanuit dit oogpunt valt er een kanttekening te plaatsen bij het daadwerkelijk definiëren van projectrisico’s. Vanuit de rol van de CIO zal het niet logisch zijn dat hij de risico’s van een project zelf definieert. Echter, het inventariseren van specifieke risico’s van een project die kunnen leiden tot politieke problemen kunnen hierbij wel van belang zijn. Dit kunnen risico’s op een hoger aggregatieniveau zijn. Het criterium is dan ook dat projectrisico’s inzichtelijk zijn. Vervolgens is het onderwerp continue beheersing projectrisico’s gedefinieerd. Een CIO zal zich vanuit zijn controlerende rol een beeld moeten vormen van de beheersing om vervolgens te kunnen bepalen of en op welke manier er bijgestuurd moet worden. Dit onderwerp valt deels samen met de eerder genoemde definiëring van projectrisico’s. Daarom zullen deze twee criteria in samenhang bezien worden en ook zo in de vraagstelling terugkomen. Van belang is om te weten hoe een CIO zich met projectrisico’s bezig houdt om vast te kunnen stellen in hoeverre de uitvoering van de rol gericht is op het mitigeren van deze projectrisico’s hetgeen vanzelfsprekend weer ten goede komt aan de kwaliteitsborging van de projecten. Het criterium is dat er een adequate beheersing is van projectrisico’s. De naleving van de projectmethodiek is het volgende onderwerp. Bij dit onderwerp is het van belang te meten in hoeverre de CIO belang hecht aan een projectmethodiek en in hoeverre er op wordt gestuurd. Algemeen geldt volgens het theoretisch kader dat standaardisering van projectmethodiek binnen een organisatie leidt tot betere projectbeheersing. Het criterium is dat er gestuurd wordt op het naleven van een projectmethodiek om projectmanagementprocessen goed te kunnen beheersen. De onderzoeksaspecten gebruik van incidentele en periodieke projectrapportages en de voortgangscontrole en bijsturing in projecten worden samen geoperationaliseerd. De verkregen informatie heeft als doel om optimaal bij te kunnen sturen en risico’s te mitigeren. Belangrijk in algemene zin is om te weten hoe de CIO’s voortgangsinformatie van projecten verkrijgen en wat zij vervolgens met deze informatie doen. Ook is belangrijk met welke frequentie zij deze informatie krijgen en wat de informatie precies inhoudt. Uit de beantwoording moet ook duidelijk worden wat de ervaringen zijn op het gebied van het Rijks ICT Dashboard. Het criterium is dat er een adequate informatievoorziening rondom de uitvoering van projecten. Een volgend onderwerp is het uitvoeren van audits op projecten. Van belang hierbij is te weten welke tools worden ingezet en waarom deze worden ingezet en wat volgens de CIO het effect hiervan is (geweest). Hierbij kan gedacht worden aan gateway-reviews of andere methodieken. Ook van belang is te weten of hierbij weerstand ontstaat. Weerstand kan erop duiden dat resultaten niet opgevolgd worden. Indien audits niet opgevolgd worden zijn ze per definitie niet effectief en dragen ze niet bij aan

Pagina 32 van 81



een betere kwaliteitsborging. Het criterium is dat audits op adequate wijze worden ingezet en opvolging krijgen. Het laatste onderzoeksaspect is het gebruik van PPM in relatie tot risicomanagement. PPM is een middel om integraal inzicht te creëren en overzicht te houden over alle elementen van een project, inclusief risico’s. Indien PPM op een optimale wijze wordt benut, betekent dit dat ook PPM ook als risicomanagement-instrument wordt benut. Het criterium is dan ook dat PPM wordt ingezet als instrument van risicomanagement.

3.3 Operationalisering kwaliteitsborging Voor kwaliteitsborging zijn in het evaluatiekader verschillende aspecten opgenomen, benoemd in N tot en met R. In wezen zijn dit allemaal alignment aspecten, zoals uit blijkt uit paragraaf 2.3.1 " Definitie Alignment". Om deze criteria te operationaliseren zijn de volgende concepten van belang. Het prioriteren van ICT-investeringen in relatie tot de strategie van de organisatie geeft aan in hoeverre er sprake is van een directe afweging van uit te voeren projecten en de mate waarin deze aansluiten bij de strategie van de organisatie. Alleen op deze manier worden er op strategisch management niveau beoogd de juiste investeringen te doen en wordt in potentie een maximale Return On Investment (ROI) bereikt waarmee de organisatie gediend is. Hierbij is het van belang om te weten welke criteria gebruikt worden om de investeringen te prioriteren. Ook is het van belang om te weten of de methodiek van prioritering breed wordt gedragen. Indien opdrachtgevers een dergelijk prioriteringsmechanisme proberen te omzeilen doet dit afbreuk aan de effectiviteit van het mechanisme. Wat hierbij een rol kan spelen is in hoeverre de toebedeling van financiële middelen samenhangt met dit mechanisme. Alleen indien de gelden voor ICT-projecten allemaal volledig worden geprioriteerd volgens dit mechanisme, kan bepaald worden dat het ook daadwerkelijk wordt toegepast. Het criterium is dan ook dat er departementsbreed een methodiek wordt toegepast om ICT investeringen te prioriteren in relatie tot de doelstellingen van de organisatie. Ook geldt dat er uniforme alignment processen moeten plaatsvinden door de gehele organisatie. Aangezien de bedrijfs- en beleidsprocessen door de gehele organisatie heen worden uitgevoerd, moet alignment ook door de gehele organisatie heen plaatsvinden. In zekere zin kan hierbij ook gedacht worden aan een consequent gebruikte projectmethodiek die dit borgt. Er is dus enige overlap met de criteria N en I. Toch wordt dit onderwerp nog eens apart benoemd en verwerkt in het interviewprotocol om te analyseren of hier specifiek aandacht voor is en of er andere instrumenten dan een projectmethodiek en prioritering worden ingezet om uniforme alignment te borgen. Het criterium dat hierbij is gedefinieerd is dat er uniforme alignment processen bestaan. In hoeverre Performance management invloed heeft op de budgetallocatie heeft te maken met de mate waarin het Rendement van ICT-projecten wordt gemeten. Alleen op deze manier is duidelijk of de investering daadwerkelijk de beoogde ROI oplevert en dus optimaal heeft bijgedragen aan de strategie van de organisatie. Het criterium is dat het rendement van ICT-projecten wordt gemeten. Organisatie en ICT Planning en management processen zouden nauw verweven moeten zijn. Hierbij valt bijvoorbeeld te denken aan prestatie-indicatoren van projecten die verwerkt kunnen worden in de P&C (Planning en Control)-cyclus. Voorbeelden hiervan zouden kunnen zijn de MaandRapportages (MARAPS) en de Kwartaalrapportages (KWARAPS) zoals deze binnen de diverse departementen worden opgesteld. Het criterium is dat ICT-planning en managementprocessen zijn ingebed in de reguliere P&C processen. Duidelijke afspraken over opdrachtgever-en opdrachtnemerschap in ICT-projecten zijn hierbij ook van belang. Alleen op deze manier kan het eigenaarschap van ICT-projecten op de juiste wijze in de organisatie belegd worden. De meetwaarde hierbij is of er regels of standaarden zijn voor opdrachtgever- en opdrachtnemerschap. Indien hier duidelijke afspraken over zijn kan er sprake zijn van professioneel opdrachtgeverschap. Dit komt direct ten goede aan de kwaliteit van de projecten omdat de kans dan groter is dat een opdrachtgever kan sturen op het gewenste resultaat. Van belang is ook welke ervaringen er zijn met opdrachtgever- en opdrachtnemerschap.

Pagina 33 van 81



Het criterium is dat er duidelijke algemeen geldende afspraken binnen de organisatie bestaan over het opdrachtgever- en opdrachtnemerschap.

3.4 Conclusie Operationalisering In dit hoofdstuk zijn de criteria voor kwaliteitsborging en risicomanagement geïdentificeerd conform de derde deelvraag. Ieder onderwerp is in het evaluatiekader geoperationaliseerd. Uit de operationalisering blijkt dat twee criteria op dezelfde wijze geoperationaliseerd zijn. Zo blijkt de informatievoorziening in projecten een belangrijke meetwaarde voor de criteria J en K, respectievelijk het gebruik van incidentele en periodieke projectenrapportages en de voortgangscontrole en bijsturing in projecten.

Pagina 34 van 81



Tabel 3 Operationalisering onderzoeksaspecten

Onderwerp Onderzoeksaspect

Criterium

Aandachtsgebied CIO

A Strategisch beleid B Innovatie

Strategisch beleid als aandachtsgebied CIO Innovatie als aandachtsgebied CIO

C Project Portfolio management (PPM) PPM als aandachtsgebied CIO D Alignment Alignment als aandachtsgebied CIO Positie CIO Voldoende mandaat op zowel bedrijfsvoeringsE Autoriteit als beleidsniveau Functiescheiding/toezicht versus Geen vermenging van belangen F uitvoering (pettenprobleem) Risicobeheersing

Definiëring projectrisico's (evt mbv G PPM) Continue beheersing projectrisico's H (evt mbv PPM) I Naleving projectmethodiek

Inzichtelijkheid projectrisico's Beheersing van projectrisico's Beheersing projectmanagementprocessen

Gebruik van incidentele en periodieke J projectrapportages Adequate informatievoorziening projecten Voortgangscontrole en bijsturing in K projecten Adequate informatievoorziening projecten

L Uitvoeren van Audits op projecten

Audits worden op adequate wijze ingezet en opgevolgd PPM wordt in samenhang met risicomanagement benut

M Gebruik van PPM Alignment Het prioriteren van ICT investeringen in relatie tot de strategie van de N organisatie

Een methodiek wordt toegepast om ICT investeringen departementsbreed te prioriteren in relatie tot de doelstellingen van de organisatie

Afstemming alignment processen op O centraal en decentraal nivo Uniforme alignment processen Performance management versus P budget allocatie Rendement van ICT-projecten wordt gemeten Verwevenheid organisatie-, ICT Q planning en management processen

Inbedding ICT-processen in management en planning en control processen

Beleggen eigenaarschap ICTR projecten

Afspraken opdrachtgever-en opdrachtnemerschap ICT-Projecten

Pagina 35 van 81



4 Beleid rondom instellen CIO In dit hoofdstuk zal de vierde en zesde deelvraag worden beantwoord, te weten welke invulling er wordt gegeven aan de rol van de CIO’s in het besluit van BZK en in welke mate er wordt gerefereerd aan de geïdentificeerde criteria voor kwaliteitsborging en risicomanagement.

4.1

Chronologische ontwikkelingen

Uit mondelinge informatie van de Algemene Rekenkamer blijkt dat er al een aantal jaar eerder bij meerdere ministeries een CIO was aangesteld. Dit heeft echter niet tot succes geleid en langzaam is de functie destijds weer verdwenen. Omdat hier geen documentatie over voorhanden is, is er geen lering te trekken uit deze eerdere ontwikkelingen. Als gevolg van het eerder genoemde rekenkamerrapporten uit 2007 en 2008 konden verdere beleidsveranderingen vanuit het ministerie van Binnenlandse Zaken (BZK) niet uitblijven. Het rapport doet de aanbeveling om de wetgeving in de USA (zie vorige paragraaf) die gericht is op de rol van de CIO verder te beschouwen en elementen hieruit te betrekken op de Nederlandse praktijk (Algemene Rekenkamer, 2007). Samen met een verbetering in de informatievoorziening zou dit kunnen zorgen voor een betere grip op de ICT-projecten. De minister heeft hierop aangegeven de rol van CIO verder te onderzoeken. In december 2008 heeft de minister van BZK hierop van het kabinet verwoord om in het tweede kwartaal van 2009 op alle ministeries de CIO rol te beleggen. Het feit dat in veel landen al ervaring is opgedaan met de inrichting en het functioneren van de rol van CIO heeft dit waarschijnlijk vergemakkelijkt, er was hierdoor immers een referentiekader voorhanden.

4.2

De inrichting van de rol van CIO

In de brief van de minister van BZK is het besluit over de inrichting van de rol van de CIO als volgt verwoord: “Het kabinet acht het noodzakelijk dat binnen alle ministeries de CIO-rol op hoog ambtelijk niveau wordt belegd, zoals ook door de Rekenkamer bepleit. De bestaande integrale managementverantwoordelijkheid van beleidsdirecties voor ICT-projecten kan daarbij onverkort worden gehandhaafd. Bewust wordt hier gesproken over een rol en niet over een functie. De wijze waarop de rol wordt belegd is vormvrij. In de meeste gevallen zal deze rol bij bestaande functionarissen worden belegd. De rol is echter niet vrijblijvend. Voorop staat dat ministeries geen projecten met een grote ICT-component starten zonder dat de CIO daarover een oordeel heeft gegeven. De CIO heeft tot taak de ambtelijke en politieke leiding gevraagd en ongevraagd te adviseren over de doelstelling, uitvoering, kosten en risico’s van grote ICTprojecten. De CIO geeft een oordeel over de start van ICT-projecten en op kritieke momenten tijdens de uitvoering daarvan. Hij kan als opdrachtgever namens de Bestuursraad functioneren voor generieke departementale ICT voorzieningen. De CIO is verantwoordelijk voor het opstellen en actueel houden van de departementale strategie en visie op geautomatiseerde informatievoorziening en ICT en ontwikkelt en onderhoudt, vanuit de rijksbreed afgesproken kaders, de departementale architectuur en standaarden. De CIO is ook verantwoordelijk voor het toezicht op de naleving van de rijksbrede kaders binnen het ministerie. Hij bewaakt de samenhang in informatievoorziening en ICTprojecten binnen een ministerie door applicatie- en projectenportfoliomanagement. Ten slotte stelt de CIO, op basis van de rijksbrede kaders, eisen aan projectbeheersingsmethodieken en ondersteunt hij audits, reviews en second opinions. Vanuit zijn taken en verantwoordelijkheden is de CIO bevoegd voorstellen aan de bestuursraad te doen over de start van grote ICT-projecten of eventuele opschorting of bijsturing tijdens de uitvoering daarvan. Binnen een ministerie kan ook een stelsel van CIO’s worden ingericht, waarbinnen één CIO de bovengenoemde taken voor het gehele ministerie vervult, en grote onderdelen of/en batenlastendiensten over een eigen CIO beschikken ten behoeve van de aansturing van de projecten van deze onderdelen en/of batenlastendiensten” (Tweede Kamer, 2008, p.2).

Pagina 36 van 81



Opvallende elementen van dit besluit zijn: 1. CIO functie is een rol die wordt neergelegd bij bestaande functionarissen 2. Ministeries mogen geen project starten met een “grote” ICT component zonder dat een CIO daarover een oordeel heeft gegeven 3. De CIO heeft een adviesfunctie en kan ook tijdens projecten een oordeel geven 4. Hij kan als opdrachtgever functioneren voor generieke departementale ICT-voorzieningen’ 5. De CIO is verantwoordelijk voor het opstellen en actueel houden van de departementale strategie en visie en onderhoudt departementale architectuur en standaarden 6. Hij bewaakt de samenhang in informatievoorziening en ICT-projecten binnen een ministerie door applicatie- en projectenportfoliomanagement 7. Ten slotte stelt de CIO, op basis van de rijksbrede kaders, eisen aan projectbeheersingsmethodieken en ondersteunt hij audits, reviews en second opinions. Belangrijk in deze opsomming is dat de rol van CIO een adviesfunctie is, ook opdrachtgever kan zijn en dat er verantwoordelijkheid wordt gedragen voor de architectuur, kaders, projectenportfoliomanagement en de projectbeheersingsmethodieken. Aangezien het mogelijk mislukken van diverse ICT projecten (OV-chipkaart, Elektronisch Patiënten Dossier, P-Direkt) op dat moment in 2008 nog zeer actueel waren, was er een noodzaak om daadwerkelijk maatregelen te nemen zodat een signaal afgegeven kan worden dat deze problematiek serieus wordt genomen. Met het besluit van BZK over de implementatie van de rol van CIO is de politieke noodzaak bekrachtigd. Enerzijds zou het instellen van de CIO dan ook beschouwd kunnen worden als een symbolische zet. De aanbeveling van de rekenkamer wordt hiermee overgenomen en dit zorgt ervoor dat de beleidsdruk op dit onderwerp tijdelijk afneemt. Het ligt immers voor de hand dat een dergelijke implementatie tijd kost. Tevens kan met deze ingezette implementatie alle negatieve publiciteit voorlopig weggenomen worden. De politiek heeft immers hiermee erkend dat er verbeteringen moeten plaatsvinden en deze verbeteringen ingezet. Aan de andere kant lijkt er wel een bewustzijn dat er sprake is van een urgente problematiek die daadwerkelijk structureel moet worden aangepakt. In het programma “Vernieuwing Rijksdienst” heeft ICT een groot aandeel; veel van de verbeteringen binnen de rijksdienst worden ontwikkeld vanuit de ICT. Denk bijvoorbeeld aan Digitale Werkplek Rijk (DWR), of de reductie administratieve lasten die deels met behulp van ICT gerealiseerd kan worden (Vernieuwing Rijksdienst, 2009). ICT speelt een steeds belangrijke rol bij zowel de primaire als ondersteunende processen van de rijksoverheid. Er zullen in de toekomst dan ook nog veel grote ICT-projecten uitgevoerd worden. De grote ICT nadruk in de vernieuwingsinitiatieven zou kunnen worden opgevat als een bevestiging hiervan.

4.3 De rol van kwaliteitsborging en risicobeheersing bij de inrichting van de rol van CIO In deze paragraaf zal deelvraag zes worden beantwoord. Er zal een evaluatie worden gemaakt van de rol die kwaliteitsborging en risicobeheersing spelen in de voorstellen en besluiten. Er is een aantal elementen in bovengenoemd besluit en bijbehorende opsomming die bij kunnen dragen aan kwaliteitsborging en risicobeheersing. Hierbij kan aangetekend worden dat dit ook de inzet is aangezien het een vervolgbesluit is over “de positionering en kwaliteitsverbetering van het informatiemanagement”(Tweede Kamer, 2008). Belangrijk is om te destilleren welke aspecten uit de brief specifiek toe zijn te wijzen aan het verbeteren van deze kwaliteitsborging en risicobeheersing. Hierbij wordt per relevant onderdeel van de brief geanalyseerd of dat betrekking heeft op positie, aandachtsgebied, risicobeheersing of alignment en welk vergelijkend criterium in het evaluatiekader dit betreft. Op deze manier wordt duidelijk in hoeverre de inrichting van de rol overeenkomt met het evaluatiekader van dit onderzoek en op welk onderwerp de nadruk ligt bij de inrichting. Allereerst wordt in de brief uit december opgemerkt dat de I-functie binnen de departementen zich soms alleen richt op de bedrijfsvoering en soms wel het primaire (beleids) proces als scope heeft. Geconcludeerd kan worden dat het positioneren van de functie op niveau van de bestuursraad ertoe zou moeten bijdragen dat de scope van de I-functie zowel bedrijfsvoering als primair proces zal

Pagina 37 van 81



hebben. Er wordt expliciet aangetekend dat de integrale managementverantwoordelijkheid van beleidsdirecties voor ICT-projecten wordt gehandhaafd. Dit zegt iets over de positie van de CIO, criterium E van het evaluatiekader. Daarnaast wordt het oordeel van de CIO voorafgaand aan een project verplicht geacht voor projecten met een grote ICT-component. Het oordeel is dus een instrument om zowel risicobeheer als kwaliteit te borgen. Het oordeel is in het evaluatiekader onderdeel van risicobeheersing, en zal bij dit onderwerp in de praktijkanalyse worden geanalyseerd. Het oordeel op zich is niet eenduidig in het evaluatiekader opgenomen maar wordt gelijkgesteld aan het criterium L: het uitvoeren van audits. Ook tijdens de uitvoering van het project wordt de CIO geacht gevraagd en ongevraagd te adviseren. Hierbij worden doelstelling van het project en risico’s expliciet als adviesgebieden genoemd. De verwachting is dus dat de CIO tijdens de looptijd toezicht houdt op de projecten en daar in de vorm van een advies uiting aan geeft. Dit kan geschaard worden onder zowel alignment alsook risicobeheersing. Voor risicobeheersing geldt dat het valt onder criterium L van het evaluatiekader. Voor alignment is de adviesfunctie niet eenduidig toe te wijzen aan een criterium in het evaluatiekader. Vervolgens worden in één zin departementale strategie en visie op ICT en het onderhouden van kaders, architectuur en standaarden genoemd. Het opstellen van een departementale strategie zou gezien kunnen worden als een vorm van alignment indien hierbij de afspraak gemaakt zou worden dat dit aan moet sluiten op de beleidsspeerpunten. Dit wordt echter niet nader gespecificeerd. Het kan daarom geschaard worden onder één van de aandachtsgebieden van de CIO, te weten criterium A, strategisch beleid. De kaders, architectuur en standaarden zouden ook een aspect van kwaliteitsbeheersing en risicomanagement kunnen zijn. Kaders is echter een breed begrip dat op meerdere manieren uitgelegd zou kunnen worden. Departementale architectuur en standaarden dragen bij aan de kwaliteit van de ICT op zichzelf en zijn niet direct van belang voor alignment. Het is voor het uiteindelijke resultaat van een project voor de eindgebruiker niet van belang of dit voldoet aan de departementale architectuur. Voor de overdracht naar beheer en het technische ontwikkeltraject van deze projecten kan dit echter wel van belang zijn. Het komt dus uiteindelijk de kwaliteit van het project ten goede. In het evaluatiekader van dit onderzoek valt dit onder aspect I van risicobeheersing; het naleven van kaders en standaarden kan gezien worden als onderdeel van een projectmethodiek. In de brief wordt ook gesproken over het bewaken van de samenhang in informatievoorziening en ICT-projecten door applicatie en portfoliomanagement. Dit kan uitgelegd worden als de samenhang tussen ICT-projecten onderling en niet zozeer de samenhang naar de beleidsdoelen in relatie tot de ICT-projecten die hierbij benodigd zijn. Het lijkt hier dus als instrument bedoeld te zijn voor het bewaken van het complete ICT-projecten portfolio. Het beeld kan hierbij ontstaan dat het vooral gaat om het bereiken van een totaal overzicht en het voorkomen van projecten die strijdig met of redundant zijn aan elkaar. Of deze projecten dan daadwerkelijk bijdragen aan de gestelde beleidsdoelen (alignment) is hier wellicht niet bedoeld. Het hoofdmotief zal eerder risicobeheersing zijn door overzicht en voortgangsbewaking te kunnen voeren op alle relevante projecten. In dit onderzoek zal het onder risicobeheersing worden geëvalueerd als onderdeel van criterium M, het gebruik van PPM. Vervolgens wordt het aspect van de projectbeheersingsmethodieken genoemd. De CIO zou hiervoor eisen moeten stellen en reviews en audits moeten ondersteunen. Impliciet wordt dus gesuggereerd dat een projectbeheersingsmethodiek bijdraagt aan de kwaliteit en risicobeheersing van ICTprojecten. In het evaluatiekader van dit onderzoek valt dit eveneens onder aspect I van risicobeheersing. Ook wordt genoemd dat de beleidsdirecties evenwel een belangrijke taak hebben. Het opdrachtgeverschap zal geprofessionaliseerd moeten worden. Hiervoor wordt een curriculum ontwikkeld. Onduidelijk is welke rol de CIO heeft bij het ontwikkelen van dit curriculum. Duidelijk is wel dat professioneel opdrachtgeverschap een belangrijke bijdrage kan leveren aan alignment aangezien de opdrachtgever de eindgebruiker vertegenwoordigt en dus het realiseren van de doelstelling moet borgen. Dit is in het evaluatiekader onder alignment, criterium R opgenomen.

Pagina 38 van 81



Als laatste wordt toegelicht wat het nieuwe rapportagemodel voor grote projecten inhoudt. Hierin is een aantal criteria opgenomen die de eisen vormen waarvan projectplannen en reviews moeten voldoen. Hierbij is het advies om de auditdiensten in te zetten: “De ministeries zijn vrij in de keuze van hun reviewinstanties mits die aan professionele standaarden en eisen als deskundigheid en onafhankelijkheid, voldoen. De departementsleiding beslist doorgaans over deze keuze op advies van het audit committee. Voor de hand ligt dat de ministeries voor het verrichten van de reviews de Rijksauditdienst of de departementale auditdienst inschakelen” (Tweede Kamer, 2008). Bij grote projecten krijgen de reviews een belangrijke rol toebedeeld waarbij de auditdiensten ook een belangrijke rol kunnen spelen. Criteria J, K en L van het onderwerp risicobeheersing uit het evaluatiekader behandelen deze twee onderdelen: projectrapportages, voortgangscontrole en bijsturing en de inzet van audits. Uit de analyse blijkt dat voor alle relevante onderdelen uit het besluit van BZK • één onderdeel van het besluit is toe te wijzen aan de aandachtsgebieden, • één onderdeel toe te wijzen is aan de positie van de CIO, • zes aspecten direct zijn toe te wijzen aan een criterium van risicobeheersing • en 1 onderdeel is toe te wijzen aan het onderwerp alignment uit het evaluatiekader. Er is ook een onderdeel dat zowel onder alignment als risicobeheersing geschaard zou kunnen worden. Duidelijk wordt hieruit dat er in het besluit van BZK de nadruk wordt gelegd op de risicobeheersing.

4.4

Beleidstheorie

In hoeverre het inrichten van een CIO-rol een weloverwogen gekozen instrument is, is moeilijk te beoordelen. Aan de hand van de informatie uit deze verkenning kan de volgende beleidstheorie gereconstrueerd worden. Een beleidstheorie maakt de veronderstellingen die aan het beleid ten grondslag liggen inzichtelijk. Deze beleidstheorie betreft een doelenboom die betrekking heeft op het besluit van BZK tot het aanstellen van een CIO per departement. Uitgangspunt is het adviesrapport van de AR aangezien deze aanbevelingen tot het instellen van een CIO per departement zijn overgenomen.

Pagina 39 van 81



Betere Beheersing ICT-Projecten

Politieke complexiteit beheersen

advisering over de doelstelling, uitvoering, kosten en risico’s van grote ICTprojecten

Advisering tijdens het project

Technische complexiteit beheersen

Sturing op departementale strategie en visie

Toepassing standaarden in projectmethodiek

Organisatorische complexiteit beheersen

Meer samenhang binnen een ministerie door applicatie- en projectenportfolio management

Advisering voorafgaand aan project

Figuur 7 Beleidstheorie CIO-rol Uit deze beleidstheorie wordt duidelijk dat het instrument van advisering een groot aandeel heeft in een betere beheersing. Sturing op departementale strategie en projectmethodiek zou moeten bijdragen aan een betere projectbeheersing. Er wordt niet expliciet aandacht wordt gegeven aan het vraagstuk van alignment.

4.5 Conclusie beleidsanalyse In dit hoofdstuk is antwoord gegeven op de vierde en zesde deelvraag. Er is allereerst geanalyseerd welke invulling er in de brief van december 2008 van de minister van Binnenlandse zaken, aan de rol van CIO is gegeven. Hieruit blijkt dat de rol van CIO vooral een adviesfunctie is. Aangezien het een rol is en geen functie kan ook gesteld worden dat het voor de meeste CIO’s een rol naast hun dagelijkse werkzaamheden zal zijn. Verder bestaan de belangrijke componenten van deze rol uit het voorafgaand oordelen over grote ICT-projecten, het zijn van opdrachtgever voor generieke ICTvoorzieningen, opstellen en onderhouden van de departementale strategie en visie en onderhoudt departementale architectuur en standaarden en het bewaken van samenhang door middel van applicatie- en portfoliomanagement. Het opstellen van kaders voor projectbeheersingsmethodieken en het ondersteunen van audits is de laatste. Uit de beleidstheorie blijkt dat deze instrumenten alle bijdragen aan de beheersing van complexiteit, zowel politiek als technisch en organisatorisch. De meeste van de genoemde instrumenten kunnen, zo blijkt uit een vergelijking met het evaluatiekader, toegewezen worden aan een vorm van risicomanagement. In de brief van december 2008 wordt expliciet het professioneel opdrachtgeverschap genoemd. Dit is een belangrijk onderdeel van de kwaliteitsborging in de vorm van alignment. Risicomanagement lijkt echter het belangrijkste onderliggende thema in de brief van december 2008.

Pagina 40 van 81



5 Praktijkanalyse 5.1

Inleiding

In deze paragraaf wordt de vijfde deelvraag beantwoord. Uitgangspunt is de praktijksituatie zoals de elf geïnterviewde CIO’s deze hebben verwoord in hun interviews. Aan de hand van de eerdere operationalisering zijn er in de interviews gegevens verzameld per criterium van het evaluatiekader. Met behulp van de uitgeschreven interviews is geanalyseerd welke taken, bevoegdheden en verantwoordelijkheden de huidige CIO’s op dit moment hebben. Ook is geanalyseerd welke ontwikkelingen kunnen worden geïdentificeerd. De gegevens uit de interviews zijn op drie manieren geanalyseerd. •

Allereerst zijn zoveel mogelijk feitelijke gegevens uit de interviews verzameld. De gegevensanalyse is alleen uitgevoerd voor de aspecten positie en rol omdat hier sprake is van feitelijke gegevens, bij de overige aandachtsgebieden is het moeilijker feiten te scheiden van Multi-interpereteerbare gegevens. Voor de overige aandachtsgebieden is het dan ook niet mogelijk feiten te verzamelen uit de interviews. Ook is hierbij tijdens de interviewperiode de rapportage `Rijk verantwoord 2009` van de Algemene Rekenkamer geanalyseerd. Aangezien in deze rapportage een feitelijke opsomming geeft van de positie taken bevoegdheden en verantwoordelijkheden van de CIO is dit in de gegevensanalyse meegenomen als bron.

•

Aan de hand van de volledig uitgeschreven interviews is vervolgens een kwalitatieve, semantische analyse toegepast. Hierbij is gezocht naar codewoorden die betrekking hebben op het aandachtsgebied en criterium. Deze codewoorden zijn een verdere detaillering van de operationalisering. Bij ieder aspect zijn codewoorden gezocht. Enerzijds komen deze voort uit het theoretisch kader, anderzijds kunnen dit woorden zijn die niet zozeer in het theoretisch kader zijn genomen maar juist veel genoemd blijken te zijn in de interviews zelf. Er vindt dus een inventarisatie plaats van codewoorden enerzijds vanuit de theorie, anderzijds vanuit de praktijk. Overigens zijn niet alle coderingen eenduidig toe te wijzen aan één aspect. Bijvoorbeeld de codering “projectleider” zou kunnen vallen onder zowel alignment alsook onder risicobeheersing. In die gevallen is ervoor gekozen dit in samenhang te bezien met de inhoudelijke antwoorden die de CIO’s hebben gegeven. Zo kan snel geanalyseerd worden in welke context het woord het meest is gebruikt. Dit kan wel betekenen dat het voor beide aspecten relevant is, dit zal dan blijken uit de analyse. Vervolgens is geturfd hoe vaak deze codewoorden in alle interviews tezamen voorkomen, het resultaat is een frequentie. Hierbij zijn alleen de antwoorden van de respondenten gebruikt; de vraagstelling is niet meegenomen in deze semantische codering. Uit de frequentie blijkt vervolgens of de theorie leidend is of dat de praktijk leidend is. Indien er codewoorden met een hoge frequentie voorkomen die niet verbonden zijn met de inhoud van een theoretisch kader, dan kan dit betekenen dat de theorie niet van toepassing is. Dit zal dan in samenhang met de inhoudelijke analyse moeten leiden tot een bepaalde conclusie. Anderzijds, als er juist een hoge frequentie is van codes die wel uit de theorie voorkomen, kan dit betekenen dat de theorie uit het kader in de praktijk van toepassing is. Ook kunnen de frequenties in samenhang voor een aspect worden bezien. Indien voor een aspect een semantische code een hogere frequentie heeft dan een code van een ander aspect, betekent dit dat de CIO in het interview minder nadruk heeft gelegd op dit aspect en dat het per definitie voor de CIO dus minder relevant kan zijn.

•

Als laatste is er een inhoudelijke analyse toegepast van de uitspraken en de context waarin de uitspraken zijn gedaan. Per interview zijn uitspraken gegroepeerd en toebedeeld aan een criterium om zoveel mogelijk uitspraken per aandachtsgebied met elkaar te kunnen vergelijken en te kunnen analyseren. Ook is het aan de hand van deze groepering mogelijk om mee te wegen hoeveel CIO’s een uitspraak over het betreffende criterium hebben gedaan. Zo kan het voorkomen dat er slechts enkele uitspraken over gedaan zijn waardoor de waarde van de uitspraken kritischer bekeken moet worden dan wanneer alle CIO’s eenzelfde uitspraak doen over het betreffende criterium. De opbouw van deze analyse aan de hand van de gegroepeerde uitspraken is overigens niet

Pagina 41 van 81



in de bijlagen opgenomen aangezien het soms gevoelige informatie betreft waarvan vooraf aan de interviews is aangegeven dat deze niet expliciet in het onderzoeksrapport zullen terugkomen. Op basis van deze drievoudige analyse wordt er per aandachtsgebied een conclusie geformuleerd, mede op basis van eventueel gevonden verbanden. Een aantal voorlopige observaties is mondeling voorgelegd aan de Algemene Rekenkamer om op informele basis te spreken over de voorlopige analyse. De relevante inzichten die hierdoor zijn ontstaan zijn meegenomen in de inhoudelijke analyse. Uitgangspunt bij de analyse is dat wanneer er een plaatsvervangend CIO is gesproken de analyse uitgevoerd wordt alsof het gaat om de CIO omdat de plaatsvervanger inzicht heeft in het werkgebied van de CIO. Een onderscheid wordt dus niet gemaakt.

5.2 Praktijkanalyse aandachtsgebieden en positie rol CIO Aan de hand van de analyses wordt bepaald welke taken bevoegdheden en verantwoordelijkheden de huidige CIO’s hebben op dit moment en welke ontwikkelingen kunnen worden geïdentificeerd.

5.2.1 Resultaat gegevensanalyse Voor de interviews geldt dat soms met een plaatsvervangend CIO en soms met de CIO zelf is gesproken. Uit de opgenomen tabel in bijlage 2 is af te leiden dat er met drie plaatsvervangend CIO’s is gesproken. Indien het de plaatsvervanger betrof is gevraagd zoveel mogelijk vanuit de rol als CIO te antwoorden. Het effect van plaatsvervanging op de beantwoording van de vragen wordt dan ook niet meegenomen. In de interviews is de positie en aandachtsgebieden van de CIO in algemene zin aan de orde gekomen. In bovengenoemde tabel is zoveel mogelijk op basis van de feitelijke gegevens uit de interviews een overzicht gemaakt van de onderdelen die betrekking hebben op de rol en aandachtsgebieden van de CIO. De onderdelen portefeuille en aandachtsgebieden zijn afgeleid uit indirecte antwoorden. Hier is dus soms een interpretatie toegepast van de beantwoording van de interviewvragen. De volgende observaties zijn uit het overzicht af te leiden. De meeste van de elf CIO’s zijn benoemd vanaf het moment dat het besluit van BZK over de rol van CIO in december 2008 is vastgesteld. Twee CIO’s zijn eerder al in hun rol actief dan eind 2008. Observatie 1: Van de elf geïnterviewde CIO’s zijn er twee CIO’s al een aantal jaren in functie voordat het besluit van BZK tot instellen van een CIO per departement is genomen in december 2008. In algemene zin geldt dat niet alle CIO’s op dezelfde wijze gepositioneerd zijn. Allereerst valt op dat er van de CIO’s die geïnterviewd zijn, één CIO was die geen rol had maar een functie als CIO. Ook is opvallend dat van de elf geïnterviewde CIO’s er twee onderdeel zijn van een stelsel van CIO’s en dat één departement overweegt om de rol van CIO ook op lagere uitvoeringsniveaus in de organisatie te beleggen. Eveneens geldt als algemeen aspect dat er van de elf geïnterviewden departementen geldt dat er twee departementen zijn die een CIO hebben op plaatsvervangend SG niveau of vergelijkbaar, ook is er één directeur FEZ die de rol van CIO erbij doet. Er geldt voor alle CIO’s dat ICT-beleid in alle portefeuilles aanwezig is. Voor zes CIO’s geldt dat zij naast ICT ook bedrijfsvoering (waar ICT overigens onderdeel van uitmaakt) in hun portefeuille hebben. Voor de overige vijf CIO’s geldt dit niet. Er is dus een tweedeling waar te nemen van CIO’s die specifiek vanuit de ICT en CIO’s die vanuit de bedrijfsvoeringportefeuille zijn aangesteld als CIO. Een verband tussen deze constateringen is er niet. Het kiezen voor een stelsel, positie en rol versus functie levert geen verband op. In onderstaande figuur is de functie van de CIO in de vorm van een grafiek weergegeven. Omdat er verschil is in functiebenaming is er vereenvoudigd in vijf categorieën.

Pagina 42 van 81



Functie CIO

ICT Bedrijfsvoering CIO (functie) pSG FEZ/Concerncontroller

Figuur 8 Functie departementale CIO's (vereenvoudigd naar portefeuille)

Observatie 2: Met betrekking tot de geïnterviewde CIO’s is er geen uniformiteit in de wijze waarop de CIO gepositioneerd is. De portefeuille die zij vanuit hun functie behartigen is ICT of Bedrijfsvoering gericht. Op het gebied van rol en functie, niveau in de organisatie en het stelsel van CIO’s is geen onderling verband waar te nemen. Met betrekking tot het CIO-office geldt dat deze bijna allemaal virtueel zijn samengesteld. Dit houdt in dat het CIO-office bestaat uit functionarissen die niet per definitie direct onder de CIO gepositioneerd zijn. Drie CIO’s geven aan dat zij in zekere mate een CIO-office hebben of krijgen dat echt alleen is toegewezen aan de CIO-taken. Observatie 3: iedere CIO heeft een CIO-office. Voor de meeste CIO’s geldt dat dit virtuele CIO-offices zijn die niet alleen zijn toegewijd aan de expliciete CIO-taken.

5.2.2 Resultaat semantische analyse interviews De semantische analyse is als tabel opgenomen in bijlage 3. Hieruit zijn de volgende observaties gedaan. Allereerst valt op dat er relatief weinig semantische codes voor de vier verschillende aandachtsgebieden gevonden zijn. Hierbij valt overigens aan te tekenen dat de inhoud van de aandachtsgebieden, ook terugkomt in andere criteria. Er is dus specifiek gelet op de codes die alleen betrekking hebben op het onderwerp als aandachtsgebied vanuit de rol van CIO. Indien het op de inhoud over het betreffende aandachtsgebied ging, is dit niet meegenomen in de semantische codering. Voor het criterium “aandachtsgebied strategisch beleid” en “aandachtsgebied anders” zijn er vier codes gevonden. Voor het “aandachtsgebied alignment” zijn er drie codes gevonden en voor het “aandachtsgebied Innovatie” en “aandachtsgebied PPM” zijn er twee codes gevonden. Wat betreft de frequentie van de semantische codes geldt dat semantische codes uit het aandachtsgebied alignment het meest frequent zijn, 53 maal. Het aandachtsgebied anders heeft een frequentie van 46, strategisch beleid 37, PPM 25 en Innovatie heeft een frequentie van 9.

Pagina 43 van 81



60 50 40 30 20 10 0 Totaal Strategisch beleid

Totaal Innovatie

Totaal PPM

Totaal Alignment

Totaal anders

Figuur 9 Totale frequenties semantische codes aandachtsgebieden Observatie 4: Het aandachtsgebied strategisch beleid is met de meeste semantische coderingen benoemd. De semantische codes voor alignment zijn het meest frequent. Innovatie is met de minste semantische coderingen benoemd en het minst frequent. Wat betreft de positie van de rol van CIO zijn er twee criteria gedefinieerd in het evaluatiekader: autoriteit en functiescheiding (toezicht versus uitvoering). Voor autoriteit zijn er zeer veel semantische coderingen in de interviews gebruikt, te weten 15. De frequentie van deze coderingen samen is 158. Voor het criterium van functiescheiding zijn er vier semantische codes gevonden, deze hebben samen een frequentie van 44. Observatie 5: autoriteit is met veel semantische coderingen en zeer frequente benoemd. Functiescheiding is in relatie tot autoriteit aantoonbaar minder benoemd.

5.2.3 Resultaat inhoudelijke analyse interviews In deze inhoudelijke analyse worden eerst de criteria met betrekking tot de aandachtsgebieden geanalyseerd. Vervolgens worden de uitspraken met betrekking tot de positie van de CIO behandeld. Aandachtsgebieden Strategisch beleid als aandachtsgebied wordt vrijwel door alle CIO’s benaderd vanuit het opstellen van een meerjaren beleidsplan. Uit de interviews blijkt dat bijna iedere CIO aangeeft dat het betreffende departement een meerjarenstrategie heeft in de vorm van een visie of plan. De tijdspanne van de meerjarenvisie is niet overal uniform. Soms is deze gemaakt voor twee, soms voor vijf jaar. Een enkele CIO geeft aan dat er tussendoor ook nog een herijking plaats vindt. Observatie 6: Voor de meeste CIO’s geldt dat zij betrokken zijn geweest bij het maken van een meerjarenstrategie. De looptijd en de vorm (visie of planning) lijkt niet uniform te zijn. Innovatie is slechts door één CIO aangehaald als specifiek aandachtsgebied. Uit het interview blijkt dat hiermee ook echt vernieuwing is bedoeld. Door een aantal andere CIO’s is het aspect van open source aangehaald. Dit wordt echter niet als innovatie gezien omdat dit grotendeels beleidsmatig wordt afgedwongen en niet toe te rekenen is aan de innovatieve behoeften van de CIO zelf. Observatie 7: Innovatie wordt slechts door één CIO expliciet aangehaald in het interview. Bij de overige CIO’s is dit niet uitvoerig of in het geheel niet benoemd. PPM is een aandachtsgebied van alle CIO’s. PPM zelf en het doel hiervan wordt niet door alle CIO’s hetzelfde omschreven. Dit doel wordt door de meeste CIO’s omschreven als het hebben van een integraal overzicht van alle projecten. Een enkeling echter vindt dit een zeer uitgeklede vorm van PPM en gebruikt PPM om samenhang aan te brengen in de prestatiedoelen van de primaire en ondersteunende processen door middel van een vorm van procesmanagement. Projecten en programma’s zijn in deze filosofie een klein onderdeel van de complete PPM filosofie.

Pagina 44 van 81



Observatie 8: Het merendeel van de CIO’s heeft dezelfde visie op het inzetten van PPM als instrument. Een enkeling ziet PPM als een onderdeel van procesmanagement. Naast deze bovengenoemde is het aandachtsgebied van departementale verantwoordelijkheid op inter- en extradepartementale niveau nog veel genoemd. Dit valt volgens de respondenten uiteen in twee aspecten. Ten eerste is er het zijn van een departementaal vertegenwoordiger naar de buitenwereld en in bijvoorbeeld overleggremia zoals de ICCIO. Als tweede is het beoordelen van de interdepartementale projecten op departementale relevantie. De CIO’s maken de vertaalslag van interdepartementale programma’s en projecten naar hun eigen departement om de interdepartementale ontwikkelingen zo goed mogelijk te laten renderen voor hun eigen departement. Ook volgt vervolgens weer departementale inzet in de vorm van adviseurs of project/programmaleiders op deze ontwikkelingen. Enkele CIO’s geven aan dat hier veel tijd mee gemoeid is en dat zij deze taak ook erg relevant vinden aangezien er steeds meer toegewerkt wordt naar interdepartementale samenwerking. Een enkele CIO geeft zelfs aan dat betere sturing op ICT juist bestaat uit het creëren van meer samenhang tussen de departementen. Observatie 9: Departementale visie op interdepartementale ontwikkelingen is een gebied dat CIO’s zeer relevant vinden en waar zij veel aandacht aan geven. Positie CIO Het criterium autoriteit is een aspect waar veel uitspraken over gedaan zijn. Er is één dilemma dat bij alle interviews als onderwerp is aangehaald. Dit betreft het dilemma van control versus advies. Als onderdeel van dit dilemma zijn er twee observaties gedaan die veel met elkaar samenhangen. Er is één CIO die dit thema niet uitdrukkelijk als dilemma heeft genoemd. Om gezag te winnen en hiermee autoriteit te verkrijgen, menen de CIO’s dat er vanuit de adviesrol eerst draagvlak gecreëerd worden. Deze aanname wordt vooral uitgesproken door de CIO’s die recentelijk, na het besluit van BZK, zijn aangesteld. Zij geven aan dat het lastig is om aan tafel te komen bij de beleids-DG’s. In die situatie moeten zij toegevoegde waarde leveren zodat het een vanzelfsprekendheid wordt dat zij aan tafel komen en hun advies zelfs gevraagd gaat worden. Een CIO zegt hierover: “Wij zijn geen strenge schoolmeester. Op het moment dat wij komen is het op verzoek van en ter ondersteuning van de lijnorganisatie”. Ook uitspraken als “vertrouwen komt te voet en gaat te paard”zijn hierbij aan de orde geweest. Advies geven is dus een belangrijke opstap om deze positie waar te maken. Eén CIO definieert de rol van CIO zelfs als een stevige adviesfunctie aan DG of beleidsdirecteur over ICT-vraagstukken. Een andere CIO geeft aan dat er wel eens conflicten zijn ontstaan toen deze vanuit een meer control-rol opmerkingen over een project had gemaakt. Dit werd door de betreffende medewerkers zelf als een “steek in de rug” opgevat. Het blijkt dus een precair onderwerp waarbij de balans tussen advies en control voor de gestarte CIO’s meer naar advies lijkt door te buigen. Observatie 10: De CIO’s sturen vooral vanuit een adviesrol om hun toegevoegde waarde te kunnen leveren. Autoriteit wordt door veel CIO’s niet als passende term gezien. Zij spreken liever van gezag of reputatie. Dit heeft verband met het sturen op advies als toegevoegde waarde. Aangegeven wordt dat er meer wordt gestuurd vanuit het informele netwerk dan vanuit de formele macht. Met formele macht wordt hun toezichthoudende taak bedoeld zoals deze is benoemd in het besluit van BZK. Zij zouden dit besluit kunnen aanwenden als middel om op een formele, gebiedende wijze hun informatie te vergaren. Vooral de CIO’s die na december 2008 gestart zijn, geven aan dat zij niet als politieagent gezien willen worden. Overigens wil dit niet betekenen dat de formele betekenis van CIO minder waarde heeft. Observatie 11: De CIO’s sturen niet vanuit hun formele macht maar doen dit vanuit hun gezag en reputatie. Een aantal CIO’s geeft uitdrukkelijk aan dat zij door het oormerk van CIO wel gemakkelijker toegang krijgen tot informatie en dat zij het idee hebben dat adviezen sneller serieus worden genomen. Echter, hierbij wordt aangetekend dat dit geen vanzelfsprekendheid is. Of een advies daadwerkelijk wordt overgenomen is aan degene die het advies ontvangt. Volgens sommige respondenten is het niet vanzelfsprekend dat er iets met de adviezen gebeurt. Dit kan eventueel afgedwongen worden door de

Pagina 45 van 81



bestuursraad te informeren en voorstellen voor bijsturing te doen. Dit wordt door de CIO’s als uiterste middel gezien. Opgeteld voor alle respondenten geldt dat er twee keer een escalatie naar de bestuursraad heeft plaatsgevonden. Er is een hoge drempel om verschillen van inzicht over het verloop van projecten via de bestuurraad te bespreken, dit gebeurt meer in het informele circuit. Ook is er nog een ander aspect te nomen met betrekking tot de interactie met bestuursraden. Een CIO geeft aan dat er binnen het betreffende departement een apart overleg is ingevoerd onder de bestuursraad om ieder geval te borgen dat bedrijfsvoering onderwerpen toch aandacht krijgen; hier wordt geen prioriteit aan gegeven in de bestuursraad. Een andere CIO merkt op: “Er is op het niveau van de departementsleiding te weinig affiniteit, kennis en bewustzijn met ICT als productiefactor”. Dit probleem is ook door een CIO verwoord door te stellen dat kantoorautomatisering van belang is voor de departementsleiding en men daar ook een voorstelling en verwachting van heeft. Maar als het gaat om ICT-projecten is men op hoog bestuursniveau al snel geneigd dingen versimplificeert voor te stellen of, juist tegengesteld, haakt men snel af omdat men vermoedt niet over de juiste kennis te beschikken om mee te denken. Het imago van ICT is als volgt in een interview verwoord: “Het imago van ICT is dat het ondersteunend is, dat moet doorbroken worden”. Observatie 12: Bestuursraden van de departementen zijn, gemeten over de periode vanaf eind 2008, een enkele keer geïnformeerd bij verschillen in inzicht tussen CIO en opdrachtgever of projectverantwoordelijke. CIO's twijfelen aan de affiniteit van bestuursraden met ICT. In de interviews is ook het aspect van budgetverantwoordelijkheid aan de orde geweest. Het blijkt dat er een tweedeling aan meningen is over het inzetten van budgetverantwoordelijkheid. Budgetverantwoordelijkheid wordt door meer dan de helft van de CIO’s gezien als belangrijk instrument om controle te houden over het proces van prioritering. Het wordt daarnaast gezien als instrument om te borgen dat de informatie over de projecten de CIO bereikt. De meningen over het inzetten van het budgetinstrument lopen uiteen. Er zijn CIO’s die menen dat een CIO zonder budgetverantwoordelijkheid een “schreeuwende in de woestijn” is. Er is een verband te zien tussen het bestaan van deze budgetverantwoordelijkheid onder de CIO en de mening hierover. CIO’s die de budgetverantwoordelijkheid al hebben menen dat het ook een noodzaak is. CIO’s die dit echter niet hebben, twijfelen hieraan. Zij menen het niet nodig te hebben als instrument. Hierbij is het ook de vraag in hoeverre het bedrijfsvoeringsgelden voor ICT-projecten alsook de ICT-gelden voor beleidsgerelateerde projecten hiertoe gerekend kunnen worden. Niet in alle gevallen geldt dat beleidsen bedrijfsvoeringsgelden voor ICT projecten beiden zijn gecentraliseerd bij de CIO. Ook wordt hierbij door de respondenten meermaals het begrip van countervailing power gebruikt. Gemeend wordt dat het centraliseren van deze gelden countervailing power vereist. Een CIO mag niet alleen beslissen over deze gelden, er moet een zekere compenserende macht zijn om ervoor te waken dat beslissingen over deze gelden altijd vanuit het juiste perspectief worden genomen. Observatie 13: Budgetverantwoordelijkheid voor ICT-projecten bij CIO’s beleggen wordt door de CIO’s voor wie dit geldt als noodzaak gezien in tegenstelling tot CIO’s die geen budgetverantwoordelijkheid hebben voor alle ICT-projecten. Hierbij wordt wel gewezen op de noodzaak van countervailing powers. Wat betreft het stelsel van CIO’s blijken CIO’s die onderdeel zijn van een stelsel veel aandacht te moeten steken in het coördineren en het bewaken van overzicht. Ook blijkt soms dat de verantwoordelijkheden en mandaat niet helemaal duidelijk zijn. Sectorale CIO’s voelen zich in de praktijk vaak niet ondergeschikt aan de departementale CIO terwijl de departementale CIO vaak wel degene is die ultiem verantwoordelijk wordt geacht voor alle ICT-Projecten. Dit brengt spanning met zich mee. Een uitspraak die hierop aanhaakt is: “Sector-CIO's doen, als je niet uitkijkt zelf waar ze zin in hebben”. Departementale CIO’s die geen stelsel van CIO’s hebben geïmplementeerd blijken in de praktijk wel behoefte te hebben aan coördinerende medewerkers die zich inhoudelijk bezig houden met de ICTprojecten bij beleids-DG’s, agentschappen en andere organisatieonderdelen. Bij sommige departementen blijken er een soort I-regisseurs te zijn die dit gat inhoudelijk opvullen en zorgen voor een verbinding.

Pagina 46 van 81



Observatie 14: Departementale CIO’s die onderdeel zijn van een stelsel van CIO besteden specifieke aandacht aan het coördinatiemechanisme waarbij de niet bestaande hiërarchische relaties soms zorgen voor extra spanningen. CIO’s die geen stelsel hebben maar wel omvangrijke DG’s, agentschappen of andere organisatieonderdelen van omvang, hebben wel behoefte aan inhoudelijke coördinatie of dit reeds geïmplementeerd. CIO’s hebben per definitie meerdere rollen, mede vanwege de functie waar hun rol aan gekoppeld is. Soms kan dit functievermenging veroorzaken. Meerdere CIO’s geven aan dat zij soms verantwoordelijk zijn voor projecten waarbij een plaatsvervanger regelmatig een oordeel geeft over deze projecten. Ter illustratie zijn de volgende rollen onder andere benoemd: stuurgroeplid, opdrachtgever, opdrachtnemer, programmadirecteur en adviseur. Het pettenprobleem vraagt dan ook een zekere flexibiliteit. Toezichthoudende taken en operationele taken lopen in de praktijk nog wel eens door elkaar heen. Een CIO verwoord het als volgt: “Soms moet ik met mijn ene pet toezicht houden op mijn andere pet”. Geen enkele CIO ziet dit als een echt probleem. Observatie 15: Een combinatie van toezichthoudende taken en operationele taken zijn in de functie die de CIO heeft eerder regelmaat dan uitzondering. In de praktijk menen CIO’s dat hier geen probleem mee gecreëerd wordt en dat zij zelf goed in staat zijn hiermee om te gaan. De CIO’s geven ook aan dat zij niet altijd over de middelen beschikken om de verwachtingen waar te kunnen maken. Aangezien zij bijna allen de rol van CIO hebben gekregen, naast hun reguliere functie, ontbreekt vaak de tijd om deze rol goed te vervullen. Daarnaast wordt als bedreiging genoemd de huidige taakstellingen die wellicht in de toekomst verder gaan toenemen. Een CIO gaf aan dat er één directe medewerker was die feitelijk alle operationele werkzaamheden van de CIO op zich nam. Dit veroorzaakt kwetsbare situaties. Een aantal CIO’s voegt hieraan toe dat het tijd kost om daadwerkelijk een nieuwe aanpak neer te zetten. Bezuinigingen of andere uitholling zou ervoor kunnen zorgen dat de rol niet voldoende tot wasdom kan komen. Denk hierbij aan het feit dat de rol van CIO al enkele jaren eerder is geprobeerd vorm te geven binnen de rijksoverheid. Aan de andere kant wordt aangegeven door enkele CIO’s dat zij verwachten dat als hun rol succesvol wordt ingevuld, het tijdsbeslag van de rol van CIO verder zal toenemen. Er wordt dus veel verwacht van de CIO terwijl het in de praktijk extra werkzaamheden zijn die naast een al bestaande functie uitgevoerd moeten worden. Ook de reikwijdte van het mandaat van een CIO staat volop in de aandacht. Een CIO geeft expliciet aan dat de verwachting is dat ook ZBO’s in de nabije toekomst wel eens onder de verantwoordelijkheid zouden kunnen gaan vallen. Observatie 16: Taakstellingen en tegelijkertijd uitbreiding van het werkgebeid van de CIO zijn genoemd als bedreigingen voor de toekomst.

5.2.4 Conclusie aandachtsgebieden en positie rol CIO Aandachtsgebieden De aandachtsgebieden van de CIO bestaan vooral uit alignment, strategisch beleid, projecten portfolio management en interdepartementale afstemming. Innovatie lijkt op dit moment ondergeschikt aan deze onderwerpen, wat overigens niet betekent dat er totaal geen aandacht voor het onderwerp is. Dit zou verklaard kunnen worden door het gebrek aan capaciteit bij de CIO. De CIO kan nog niet routinematig zijn werk doen. De meeste CIO’s zijn nog zo kort in hun rol dat zij keuzes moeten maken. Hierbij is het waarschijnlijk dat innovatie nog geen prioriteit krijgt. Eerst krijgen de aandachtsgebieden die in de brief van de minister van BZK benoemd zijn aandacht. Het op orde brengen van het Portfolio management en het opstellen van het strategisch beleid worden genoemd in deze brief dus is het logischer dat hier meer aandacht aan wordt besteed. Adequaat portfolio management is een belangrijke uitgangspositie om überhaupt risicobeheersing en kwaliteitsborging te kunnen uitvoeren. Veel van de genoemde aspecten in de brief van de minister van BZK (denk aan oordeelsvorming, uitvoeren van reviews en rapportage) kunnen niet effectief toegepast worden als onduidelijk is welke projecten per departementen onder handen zijn of geprioriteerd moeten worden. Er wordt niet aan alle criteria uit het theoretisch kader voldaan. Ook zijn er aandachtsgebieden die in de praktijk toegepast worden maar niet als criterium in het evaluatiekader zijn opgenomen. Het

Pagina 47 van 81



interdepartementale aandachtsgebied is niet genoemd in de theorie rondom CIO’s (in de publieke sector). In het model van Lawry, Waddel en Singh dat specifiek is opgesteld voor publieke organisaties komt dit aandachtsgebied niet voor. Dit zou verklaard kunnen worden door het bestaan van meerdere CIO’s binnen één organisatie-eenheid als de Rijksoverheid. Uit de probleemverkenning is gebleken dat er in Australië en Oostenrijk sprake is van één publieke CIO. Door het Nederlandse model voor de Rijksoverheid met meerdere CIO’s, namelijk één per departement, ontstaat een coördinatiebehoefte voor de Rijksoverheid als geheel. Dit krijgt vorm aan de hand van interdepartementale samenwerking. In het model van Lawry, Waddel en Singh is dit niet aan de orde gekomen. Het aandachtsgebied van departementale visievorming op interdepartementale ontwikkelingen heeft waarschijnlijk als doel om standaardisatie of procesverbetering te realiseren, anders waren het geen interdepartementale projecten. Interdepartementale projecten betreffen meestal het gezamenlijk gebruiken van infrastructuur of applicaties (bijvoorbeeld het project van Elektronisch Bestellen en Factureren) of bijvoorbeeld het opzetten van shared services (bijvoorbeeld P-Direkt). Het model van Chun en Mooney (2009) lijkt te kunnen verklaren waarom deze behoefte tot standaardisatie gevolgen heeft voor de aandacht voor innovatie. In dit model is aangegeven dat er twee variabelen, strategie en infrastructuur, zijn. Afhankelijk van de dimensie van deze variabelen krijgen innovatie óf standaardisatie en procesverbetering meer aandacht. In dit model sluiten innovatie en standaardisatie elkaar in wezen uit. In dit geval is het duidelijk dat interdepartementale standaardisatie en procesverbetering een oorzaak zou kunnen zijn voor de mindere aandacht die er is voor innovatie. Bevinding 1: De criteria uit het theoretisch model ter bepaling van de aandachtsgebieden van de CIO’s komt niet overeen met het functioneren van de CIO’s binnen de rijksoverheid. Aan innovatie als criterium voor aandachtsgebied van een CIO wordt niet voldaan; het mag niet als algemeen geldend aandachtsgebied worden gekwalificeerd. Visievorming op interdepartementale ontwikkelingen kan toegevoegd worden als criterium in het evaluatiekader. Positie Uit de analyse blijkt dat de positie van de CIO in relatie tot autoriteit een onderwerp is dat erg actueel is bij de CIO’s. Ten eerste blijkt dit uit de semantische analyse; er is een uitgebreid semantisch model bestaande uit semantische codes met een hoge frequentie. Ook uit de inhoudelijke analyse blijkt dat dit onderwerp een onderwerp is met vele aspecten. Er is een aantal dilemma’s van toepassing waarbij de CIO’s keuzes moeten maken. Allereerst blijkt dat er per departement een verschil is in de positionering van de CIO in de organisatie. Bij twee van de geïnterviewde CIO’s of plaatsvervangers is de CIO op pSG niveau belegd. Hoewel de brief van de minister van BZK van december 2008 spreekt over een hoog ambtelijk niveau, is er een vrijheid in de positie waar de rol precies wordt belegd. Dit leidt in de praktijk tot verschillende keuzes. De vraag die hierbij opkomt, is of een rol op pSG niveau wel de aandacht krijgt die ze nodig heeft. Een pSG heeft in de praktijk al een overvolle agenda met een zeer breed taakveld. Aan de andere kant heeft het beleggen van de positie op een dergelijk hoog niveau ook weer de voordelen van reeds verworven gezag. Onduidelijk is of er bij de departementen dergelijke afwegingen hebben plaatsgevonden. Feit is dat er geen uniformiteit is. Daarnaast is er de keuze voor een stelsel van CIO’s of een enkele CIO per departement. Volgens de brief van de minister van BZK (2008) hebben de departementen hier zelf de keuze in. Wat opvalt, is dat er bij de departementen die gekozen hebben voor een stelsel, er coördinatieproblematiek kan ontstaan. Enerzijds lijkt het dat een stelsel effectiever kan zijn omdat er directer toezicht uitgevoerd kan worden doordat er meerdere CIO-rollen zijn per departement. Anderzijds levert dit specifieke coördinatieproblemen op. Er moet weer een coördinatiemechanisme worden ingevoerd om de samenhang in beleidskeuzes tussen de verschillende CIO’s te waarborgen. Het belangrijkste dilemma is die van de schijnbare tegenstelling van beleid en advies. De CIO’s geven aan dat zij, om draagvlak te creëren, liever op de advies kant dan op de controlkant sturen. Door de grote aandacht voor de adviesrol verwachten de CIO’s dat er toegevoegde waarde wordt gecreëerd waardoor zij hun rol en dus hun gezag verder kunnen verstevigen. Budgetverantwoordelijkheid lijkt hierbij een belangrijk instrument. Voor de CIO’s die het in kunnen zetten geldt dit als een belangrijke maatregel om ervoor te zorgen dat alle informatie die benodigd is voor het uitoefenen van de rol van CIO te verkrijgen. Hierover wordt onder andere gezegd: “Het is

Pagina 48 van 81



toch altijd een kwestie van follow the money. Dan moet je wel weer je eigen countervailing power organiseren, maar een vorm is ieder geval via financiën af te dwingen”. Mede hieruit zou afgeleid kunnen worden dat de CIO’s dit instrument nodig hebben om verzekerd te zijn van de informatie die benodigd is om hun rol goed uit te kunnen oefenen. Echter voor de CIO’s die niet beschikken over dit instrument lijkt het geen gemis. De effectiviteit van dit instrument is dus moeilijk in te schatten. Wat betreft functievermenging lijkt dit geen onderwerp te zijn waar de CIO’s een probleem van ondervinden. Duidelijk is dat operationele taken en toezichthoudende taken door elkaar heen lopen. CIO’s vinden vaak met inzet van de plaatsvervangend CIO een oplossing. Bevinding 2: de positie van de CIO kent een aantal dilemma’s die niet in theoretische modellen zijn opgenomen. Allereerst zijn er in de praktijk voor- en nadelen te benomen van een stelsel van CIO’s en het hebben van een enkele CIO per departement. Daarnaast geldt het dilemma van advies en control. De meeste CIO’s verkiezen advies als instrument om gezag te verwerven en invloed uit te oefenen. Functievermenging van operationele en toezichthoudende activiteiten doet zich voor maar de CIO’s geven aan hier pragmatisch mee om te gaan.

5.3

Praktijkanalyse risicomanagement

Aan de hand van de analyses wordt bepaald op welke manier en op welke aspecten van risicobeheersing CIO’s hun aandacht richten.

5.3.1 Resultaat semantische kwalitatieve analyse interviews De gehele semantische analyse is als tabel opgenomen in bijlage 4. In de figuur is een overzicht gegeven van de totale frequenties per criterium. Het betreft criteria G tot en met M van het evaluatiekader, opgenomen in bijlage 1.

Totaal PPM

Totaal uitvoeren audits

Totaal voortgangscontrole en bijsturing

Totaal projectrapportages

Totaal naleving projectmethodiek

Totaal beheersing projectrisico's

Totaal definiering projectrisico's

100 90 80 70 60 50 40 30 20 10 0

Figuur 10 Totale frequenties semantische codes risicomanagement Allereerst valt op dat het gebruik van incidentele en periodieke projectrapportages een criterium is met een relatief hoge frequentie, evenals het criterium “definiëring projectrisico’s”. De criteria “continue beheersing projectrisico’s”, “uitvoeren van audits en “voortgangscontrole en bijsturen” hebben de laagste frequenties. De frequenties hebben niet een hele grote afwijking ten opzichte van de gemiddelde frequentie voor alle criteria die vallen onder risicobeheersing. Opvallend is ook dat het begrip complex(iteit) slechts door één CIO is genoemd in het interview. Overigens is complexiteit wel

Pagina 49 van 81



op een andere wijze benoemd door een andere CIO, er wordt dan gesproken over het ambitieniveau van projecten en het creëren van hapklare brokken. Met het opstellen van het semantische model bleek al dat er veel semantische coderingen zijn die elkaar overlappen. Het begrip “kaders stellen” zou bijvoorbeeld onder meerdere criteria geplaatst kunnen worden. Het feit dat de frequenties zou dicht bij elkaar liggen zou hiermee verklaard kunnen worden. Observatie 17: De semantische codes voor het criterium ‘gebruik van incidentele en periodieke projectrapportages” zijn het meest frequent. Het criterium “voortgangscontrole en bijsturing” is met de minste semantische coderingen benoemd. De waardes liggen zo dicht bij elkaar dat een daadwerkelijk onderscheid weinig valide lijkt. Geconcludeerd kan worden dat alle aspecten van risicobeheersing relevant lijken.

5.3.2 Resultaat inhoudelijke analyse interviews Wat betreft het definiëren van projectrisico’s is het vanzelfsprekend volgens de CIO’s dat zij zelf niet verantwoordelijk kunnen zijn voor de risicodefiniëring binnen de projecten. Wel definiëren de CIO’s risico’s in een strategisch plan indien dat gemaakt wordt (zie ook Observatie 6). In dit plan besteden zij aandacht aan strategische risico’s op het gebied van ICT. Observatie 18: De risico’s die CIO’s zelf definiëren zijn onderdeel van een strategisch ICT-plan. Op projectniveau definiëren zij geen risico’s. De volwassenheid van PPM blijkt te verschillen. Een aantal CIO’s geeft zelf aan dat zij vinden dat PPM binnen de organisatie voldoende volwassen is. Het hebben van overzicht over het integrale projectenportfolio en het inzicht hebben in accurate informatie over deze projecten en programma’s wordt hierbij door de respondenten als maatstaf wordt gebruikt. Een enkele CIO geeft aan dat er zelfs een functie van portfoliomanager binnen de CIO-office is geïmplementeerd. Het grootste deel van de CIO’s geeft aan dat zij vinden dat PPM binnen hun organisatie redelijk opgezet is maar nog verder moet groeien. Het integrale overzicht is wel voorhanden maar het benutten van PPM als instrument om bij te kunnen sturen wil men verder verbreden. Soms is hier al een verbeterplan voor gemaakt. Een enkele CIO vindt dat PPM adequaat benut wordt: “Wij hebben portfoliomanagement waarmee we zicht hebben in de fases van de projecten maar ook zicht hebben op hoe kaders nageleefd worden”. Voor twee CIO’s geldt dat zij vinden dat er binnen hun departement nog geen integraal overzicht is van alle ICT-projecten. Zij willen hier de komende tijd verbeteringen in aanbrengen zodat het hebben van een integraal overzicht het startpunt kan zijn van een verdere inzet van PPM als instrument. Observatie 19: Het volwassenheidsniveau van PPM verschilt erg waarbij het merendeel wel voldoende inzicht heeft in het portfolio van projecten en programma’s maar dit nog verder wil verbeteren. Op het gebied van een continue beheersing van projectrisico’s zijn er verschillende opmerkingen te maken. Allereerst blijkt dat PPM slechts bij een klein aantal departementen wordt ingezet om de risico’s van projecten integraal te monitoren en te beheersen. Dit is te verklaren aan de hand van de volwassenheid van PPM, zie ook hiervoor genoemde observatie. Observatie 20: PPM wordt weinig ingezet als instrument om risico’s te beheersen Welke projecten op basis van de risicoanalyse daadwerkelijk geanalyseerd worden is een lastige keuze. Een aantal CIO’s geeft aan dat zij behoefte hebben aan een instrument om een goed risicoprofiel op te kunnen stellen op basis waarvan zij kunnen beoordelen of deze projecten meer aandacht behoeven vanuit hun rol. Nu worden vaak de grote projecten beoordeeld. Waar nu sommige departementen een “top 10”van grote projecten hebben samengesteld lijkt de tendens voor de toekomst dat dit verder uitgebreid wordt naar een top 20, zo geven de CIO’s aan. Volgens de CIO’s zijn de bestuurlijke risico’s belangrijk voor het risicoprofiel. Enkele CIO’s geven echter aan dat bestuurlijke risico’s niet per definitie de enige risicocategorie is op basis waarvan meer aandacht vereist is. Ook interne projecten met weinig

Pagina 50 van 81



politieke uitstraling kunnen een risico vormen. Risico’s bij de overdracht naar beheer zijn bijvoorbeeld genoemd. Belangrijk bij het risicoprofiel is de informele informatie die beschikbaar is. De CIO-office kan hierbij een belangrijke rol spelen. Vaak hebben zij vanuit hun functie een inhoudelijk inzicht in de uitvoering van de projecten. Zij krijgen vaak de (informele) informatie en signalen over projecten die meer aandacht behoeven. Omdat zij vaak dichter op de materie zitten en inzicht hebben in verbanden tussen projecten blijken zij de CIO’s vaak van deze informatie te kunnen voorzien. Ook komt het voor dat de CIO direct signalen ontvangt vanuit allerlei functies rondom het project. Het beslissen welk project vanuit risicobeheersing oogpunt de meeste aandacht verdiend is dus vaak een mix van grootte van het project, politiek risico en beoordeling vanuit een CIO-office. Er is geen uniforme methodiek om het risicoprofiel per project vast te stellen. Observatie 21: Er is behoefte aan een uniforme methode om het risicoprofiel van een project te bepalen. Op dit moment wordt er op basis van verschillende soorten risico’s (van politieke tot beheerrisico’s) en op basis van signalen een pragmatische inschatting gemaakt van het risicoprofiel. Een ander aspect van risicobeheersing is de naleving van de projectmethodiek. PRINCE2 (PRojects IN Controlled Environments) is de meest genoemde projectmethodiek door de CIO’s. Sommige departementen werken met afgeleiden hiervan. Bij sommige departementen wordt er strak gestuurd op de methodiek. Bij deze departementen is een getoetste en goedgekeurde PID (Project Initiatie Document) een voorwaarde voor de start van het project. De mening over de toegevoegde waarde van het hanteren van een standaard projectmethodiek loopt nogal uiteen. Een CIO zegt hierover: “Ik stel liever eisen aan de kwaliteit van het management dan aan de inhoud van de methodiek”. Er wordt toch door een enkele respondent aangegeven dat hier veel efficiencywinst te behalen valt omdat het projectmatig werken tijd en geld kan besparen. De meeste CIO’s vinden de projectmethodiek niet zo belangrijk. Hun zorg ligt meer bij de rol van opdrachtgever. Observatie 22: Naleving van een projectmethodiek op zich wordt door de meeste CIO’s niet als prioriteit gezien. Een enkeling denkt juist dat door meer projectmatig te werken de efficiency van een project verder verbeterd kan worden. De meeste CIO’s geven aan dat zij richtlijnen hebben uitgevaardigd betreffende de te ontvangen rapportages over projecten. Vanzelfsprekend geldt wel voor alle grote projecten die gerapporteerd moeten worden naar de Tweede Kamer dat informatie hierover verplicht wordt gesteld. Hierover is de CIO namelijk zelf weer eindverantwoordelijk. De regels voor de projecten die in de definitie van de Tweede Kamer hier niet onder vallen, zijn niet gelijk. De projecten waarover informatie verschaft moet worden, hangen mede samen met het risicoprofiel (zie observatie 19). Het is voor de CIO belangrijk goed op de hoogte zijn van risicovolle projecten. Een CIO merkt op dat als hij ergens niet in gekend is, hij er ook geen verantwoordelijkheid voor kan dragen. Informatie is dus van cruciaal belang voor het uitoefenen van zijn rol. De frequentie, vorm en diepgang van deze rapportages en aldus de selectie van het aantal projecten dat onder de rapportage richtlijnen valt is niet gelijk voor alle departementen. Iedere CIO maakt zijn eigen keuzes. Sommigen hebben een “top 10”en een tweejaarlijkse uitvraag, anderen hebben een grotere uitvraag en een hogere frequentie. Hierbij wordt vaak de administratieve last als struikelblok genoemd. Hierover wordt onder andere het volgende gezegd: “Voor je het weet heeft een project last van een CIO want die wil dingen weten die ze zelf in de sturing niet gebruiken, dat is dan weer administratieve last”. Omdat er al veel gerapporteerd wordt over projecten willen de CIO’s hier niet teveel dubbeling in aanbrengen. Er is dus een dilemma in het verkrijgen van benodigde informatie en voorkomen van administratieve last. Er wordt geprobeerd een balans te vinden tussen het voorkomen van administratieve last en het verkrijgen van adequate en relevante informatie. Dat dit belangrijk is, is als volgt uitgesproken door een CIO:” Als ik ergens niet in gekend ben, kan ik er geen verantwoordelijkheid voor nemen”.

Pagina 51 van 81



Observatie 23: CIO’s hebben allen eigen richtlijnen, voor frequentie en inhoud, op basis waarvan zij projectrapportages uit de organisatie verkrijgen. Het dilemma dat hierbij speelt is dat zij administratieve last willen voorkomen maar wel adequaat geïnformeerd willen worden. Voor sommige departementen geldt dat zij het dashboard gebruiken dat wellicht rijksbreed ingezet gaat worden. Omdat het een dashboard is geeft dit vanzelfsprekend op een hoger abstractieniveau inzicht in de status van een project. Een CIO die meedoet met de pilot geeft aan dat het minder geschikt lijkt als instrument voor de bestuursraad omdat de bestuurlijke risico’s in het dashboard (nog) geen plek hebben gekregen. Observatie 24: Het Dashboard lijkt door het ontbreken van bestuurlijke risico’s niet volledig op maat om te dienen als rapportage-instrument voor de bestuursraad. De wijze waarop de CIO’s accenten leggen in de bijsturing en voortgangscontrole van projecten is divers. Het ene departement richt zich hierbij vooral op de normen die vanuit de kaders gelden voor bijvoorbeeld architectuur, een andere CIO richt zich vooral op de financiën of juist op de inhoudelijke kwaliteit van het project. Voor nu wordt de bijsturing en voortgangscontrole vooral veel gedaan op basis van ervaring en voorgevoel. De CIO’s geven aan dat ieder project op zich uniek is en dat het daarvan afhangt waar de nadruk van de voortgangscontrole wordt gelegd en welke manier er wordt gekozen om eventueel bij te sturen. Observatie 25: Iedere CIO legt de nadruk in de voortgangscontrole op projecten op andere wijze, afhankelijk van het soort project. Ook de manieren van bijsturen hangen hiervan af. Navraag naar de audit-instrumenten die in worden gezet door de CIO’s levert een divers beeld op. Niet alleen de inzet van audit-instrumenten is verschillend, ook de wijze waarop deze instrumenten worden ingezet is verschillend. Het kan voorkomen bij een departement dat de opdrachtgever een soort keuzemenu krijgt voor het kiezen van de door hem gewenste audit-instrument. Bij andere departementen wordt het voor het grootste deel aan de opdrachtgever overgelaten welk en wanneer deze een audit of review wil inzetten. De instrumenten variëren van “health checks” en zelfevaluaties tot het inzetten van Gateway-reviews en de audits van de auditdienst. Sommige CIO’s vinden het instrument van Gateway-reviews effectief, andere CIO’s vinden het een te zwaar instrument. Het lijkt afhankelijk te zijn van de voorkeuren en ervaringen van een CIO welk instrument wordt ingezet. Overigens wordt door een enkele CIO aangegeven dat audit-instrumenten nauwkeurig op een goede wijze moeten worden ingezet. Indien dit niet gebeurt, kunnen er perverse effecten ontstaan in de vorm van calculerend gedrag. Indien de resultaten van audits naar de Tweede Kamer zouden gaan kan dit effect versterkt worden. Observatie 26: De CIO’s zetten een mix in van instrumenten om audits of reviews uit te voeren. Wanneer welke instrument wordt ingezet is niet eenduidig bepaald. De rol die de auditdienst zich toebedeelt verschilt ook per departement. In het algemeen geven de CIO’s aan dat zij het idee hebben dat de auditdienst nog een beetje zoekende is naar de rol die zij het beste kunnen vervullen. De meeste CIO’s geven aan dat de uitvoering van deze audits door de auditdienst nog in volwassenheid moeten groeien omdat zij minder bekend zijn met de specifieke aspecten van ICT-projecten. Bij sommige departementen speelt de auditdienst alleen een rol bij de grote projecten die gerapporteerd moeten worden aan de Tweede Kamer. Bij andere departementen vindt er nauw overleg plaats met de CIO om gezamenlijk te bepalen welke projecten nuttig kunnen zijn om door de auditdienst te reviewen. Bij de meeste departementen geven de CIO’s aan dat de audits op ICTprojecten door de auditdienst vastgesteld via het auditcommitee. Observatie 27: De inzet van de auditdienst is volgens de meeste CIO’s nog niet optimaal.

Pagina 52 van 81



5.3.3 Conclusie risicomanagement Uit de semantische en inhoudelijke praktijkanalyse risicomanagement kan een aantal conclusies getrokken worden. Allereerst zal een vergelijk worden gemaakt met de verschillen in de praktijksituatie en hetgeen in de brief van de minister van BZK in december 2008 is verwoord. Zoals eerder aangegeven is de brief niet eenduidig interpreteerbaar. De brief geeft aan dat het oordeel geldt voor “grote”projecten zonder dat in de brief het begrip “groot” is gedefinieerd. Wat opvallend is, is dat bijna geen enkele CIO een expliciet startoordeel geeft voor alle ICT-projecten voorafgaand aan het project op basis van een initiële risicoanalyse. Bij twee departementen geldt dat er op basis van een PID een oordeel wordt gegeven door de CIO. Uit de analyse blijkt dat de meeste van de elementen uit het theoretisch kader ingevuld worden door de CIO. Wat echter ontbreekt als instrument voor de CIO’s is een eenduidige wijze om het risicoprofiel per project te kunnen bepalen. Het risicoprofiel bepaalt in belangrijke mate waar de CIO zijn aandacht op moet richten. Indien een dergelijk risicoprofiel niet volgens standaard richtlijnen kan worden bepaald, kan dit betekenen dat de CIO zich niet op de juiste projecten richt. Het definiëren en beheersen van ICT-risico’s vindt op strategisch niveau plaats binnen de rol van de CIO. Dit is ook logisch want er wordt alleen voortgang bewaakt op basis van operationele projectrisico’s. De CIO’s stellen deze operationele risico’s zelf niet vast maar zij proberen een mechanisme in te bouwen waardoor ze op de hoogte zijn als een risico zich echt voordoet. Dit gebeurt niet alleen op basis van projectenrapportages, ook op basis van informele signalen en ervaring. PPM wordt nauwelijks ingezet als instrument om risico’s te monitoren. Complexiteit van projecten is weinig expliciet aan de orde geweest in de interviews. Dit blijkt ook uit de semantische analyse. Eén CIO spreekt wel over het ambitieniveau van projecten en stelt: “Je moet hapklare brokken creëren, niet te ambitieus en niet sneller dan de bedrijfsvoering aankan. Ik ben voorstander van kleine projecten”. Het naleven van de projectmethodiek wordt niet als eerste prioriteit gezien. De meeste departementen hebben PRINCE2 in gebruik. De meeste CIO’s lijken te vertrouwen op de professionaliteit ven de projectleiders. Wat wel een grote impact heeft op de projectmethodiek is de rol van de opdrachtgever. Dit is niet in het theoretisch kader onder het onderwerp risicobeheersing benoemd maar blijkt volgens meer dan de helft van de CIO’s een belangrijk aandachtspunt ter verbetering van de projectbeheersing te zijn. De CIO’s proberen door middel van hun adviezen de opdrachtgever hierbij te helpen. Bevinding 3: De criteria van risicobeheersing uit het theoretisch kader zijn alle van toepassing. Ze behoren allemaal in min of meerdere mate tot het aandachtsveld van de CIO. Wat risicobeheersing effectiever zou kunnen maken is een instrument om eenduidig een risicoprofiel te bepalen. Ook de invulling van de rol van opdrachtgever zien de CIO’s als belangrijk verbeterpunt. Gaandeweg de uitvoering vinden er op diverse manieren door de meeste CIO’s reviews plaats. Ook adviseert een CIO regelmatig tot het inzetten van een uitgebreidere audit. Audits op projecten worden door vrijwel alle CIO’s uitgevoerd met de inzet van verschillende instrumenten. Het adviseren van een gateway wordt ook vaak toegepast. De CIO’s menen dat de inzet hiervan zorgvuldig moet gebeuren en dat resultaten hiervan slechts moeten dienen als interne evaluatie: bij externe communicatie kunnen perverse effecten ontstaan. De rol van de auditdienst bij inzet van de audits wordt niet altijd uitgenut. Het inzetten van de (R) AD zoals aanbevolen in de brief van de Minister van BZK uit december vindt volgens de CIO’s niet altijd plaats. Voor de inzet van de auditdienst kan geconcludeerd worden dat dit nog niet eenduidig op intensieve wijze plaatsvindt.

Pagina 53 van 81



Bevinding 4: De rol van de auditdienst zoals deze in de brief van de minister van BZK is omschreven is nog niet bij ieder departement effectief ingebed. Er bestaan veel verschillen in de manier waarop de auditdienst deze rol vervult.

5.4

Praktijkanalyse kwaliteitsborging

Aan de hand van de analyses wordt bepaald op welke manier en op welke aspecten van kwaliteitsbeheersing CIO’s hun aandacht richten.

5.4.1 Resultaat semantische kwalitatieve analyse interviews De semantische analyse voor de aspecten van kwaliteitsborging zijn opgenomen als bijlage 5. Uit de analyse blijkt dat er relatief weinig semantische codes zijn gedefinieerd per criterium. Hieruit kan afgeleid worden dat er overwegend met dezelfde bewoordingen over alignment wordt gesproken. Voorkant en advies zijn de meest gebruikte woorden. Een nadere gedetailleerde semantische analyse laat zien dat deze woorden in de zinsconstructies vaak in samenhang gebruikt worden. Uit de frequentie van de semantische codes kan afgeleid worden dat “aan de voorkant adviseren”de meest gebruikte woorden zijn die de CIO’s gebruiken als zij over alignment spreken. Aangezien deze coderingen horen bij het criterium van het prioriteren van ICT investeringen in relatie tot de strategie van de organisatie, kan afgeleid worden dat hier volgens de semantische analyse de meeste aandacht van de CIO naar uitgaat. Observatie 28: adviseren aan de voorkant wat behoort bij het prioriteren van ICT investeringen in relatie tot de strategie van de organisatie is volgens de semantische analyse het belangrijkste aspect van alignment voor de CIO. Voor het afstemmen van alignment processen centraal en decentraal zijn er weinig uniforme coderingen gevonden, hetzelfde geldt voor performance management in relatie tot budgetallocatie. Organisatie en ICT planning en management processen zijn slechts gecodeerd aan de hand van planning en control. Verder werden er geen codes gevonden die meerdere keren voorkwamen om dit aspect te benoemen. Het eigenaarschap van ICT-projecten is vooral benoemd in de sfeer van opdrachtgever en opdrachtnemer relaties. De frequentie is erg hoog. Dit wijst erop dat dit meer dan gemiddelde aandacht heeft als het aspect alignment wordt besproken. Overigens is de opdrachtgever opdrachtnemer relatie ook al aan de orde gekomen bij de inhoudelijke analyse van risicomanagement. Het betrof hier de rol van de opdrachtgever op het gebied van projectmanagement. Zie ook observatie 22 uit de inhoudelijke analyse. Observatie 29: De opdrachtgever en opdrachtnemer relatie is volgens de semantische analyse een belangrijk aspect van alignment voor de CIO.

5.4.2 Resultaat inhoudelijke analyse interviews Het prioriteren van ICT investeringen vindt bijna bij ieder departement plaats. Er is echter een verschil in de wijze waarop dit gebeurt en de reikwijdte van deze prioritering. Voor zes departementen is aangegeven door de CIO dat er sprake is van duidelijke criteria aan de hand waarvan wordt geprioriteerd. Er wordt jaarlijks een inventarisatie gemaakt van alle wensen en vervolgens worden deze criteria toegepast om gezamenlijk, dus departementsbreed te bepalen welke projecten wel en welke projecten vooralsnog geen doorgang vinden. Dit betekent dat er bij de overige departementen een andere situatie van toepassing is. Zo geldt voor twee departementen dat het prioriteren alleen plaatsvindt voor ICT-projecten die worden opgestart als onderdeel van de bedrijfsvoering. Bij een enkel departement wordt het bijvoorbeeld niet gezamenlijk gedaan, bij een ander departement wordt het niet op basis van eenduidige criteria gedaan. Het daadwerkelijke revenu dat de organisatie krijgt door de realisatie van een project (deels uitgedrukt in een businesscase) lijkt ook niet overal een hard criterium te zijn. Een CIO geeft expliciet aan dat dit geen onderdeel is van het prioriteringsproces. Echter, aangezien de methodiek per departement echter niet uitvoerig is geanalyseerd, kan dit niet enkel op basis van de interviews geconcludeerd

Pagina 54 van 81



worden. Hiervoor zou een documentanalyse van het prioriteringsproces en een diepgaande analyse van het gebruik van - en de kwaliteit van de businesscases meegenomen moeten worden. Ook wordt er aangegeven door een departement dat het prioriteren pas dit jaar voor het eerst heeftgedaan dat het ook een cultuurverandering vergt van de organisatie. Waar organisatieonderdelen eerst zelf konden beslissen over hun investeringen wordt dat nu deels uit handen gegeven doordat hun wensen in een groot geheel worden bezien. Een CIO zegt hierover: “Eind vorig jaar hebben we dat spel gedaan en je merkt dat de organisatie dat nog heel moeilijk vindt”. Observatie 30: Ieder departement heeft een vorm van prioritering van ICT-investeringen. De reikwijdte verschilt echter. Omdat niet alle criteria eenduidig en bekend zijn kan niet bepaald worden of de strategie van de gehele organisatie altijd meegewogen wordt. Het afstemmen van alignmentprocessen op centraal en decentraal niveau is een criterium dat moeilijk te duiden is. De CIO’s vonden het moeilijk om hier concrete antwoorden op te geven en ook de aard van de antwoorden is erg verschillend. Een aantal departementen werkt met informatiemanagers of regisseurs. Dit zijn functies die bijvoorbeeld binnen beleidsdirecties zijn gepositioneerd. Deze functies moeten de alignmentfunctie decentraal verder borgen. Zij verzamelen bijvoorbeeld informatie over nieuwe wensen en geven advies waar mogelijk. Echter slechts twee departementen geven ongevraagd aan een dergelijke functie in het leven te hebben geroepen. De overige departementen zien de afstemming van decentrale en centrale alignment meer op het niveau van de CIO zelf. Een stelsel van CIO’s is bijvoorbeeld ook genoemd om centraal en decentraal afstemming in alignment te bewerkstelligen. Een andere CIO geeft aan dat deze afstelling meer plaatsvindt via het ketenproces. Vanuit de keten wordt er op ieder niveau in de organisatie alignment geborgd. Hierbij wordt door twee CIO’s ook aangegeven dat departementaal denken steeds meer vervangen moet worden door ketendenken. Ketendenken wordt dan gedefinieerd als het denken in ketens van uitvoeringsprocessen. Denk hierbij bijvoorbeeld aan een jeugdzorgketen waarbij verschillende organisaties betrokken zijn. Observatie 31: Alignment op centraal en decentraal niveau lijkt impliciet plaats te vinden hetzij in verschillende vormen. Sommige departementen gebruiken hier hun stelsel van CIO’s voor, andere hebben regiefuncties in het leven geroepen. Ook is het sturen op ketens in plaats van departementen volgens enkele CIO’s een methode om centrale en decentrale alignment te verwezenlijken. Performancemanagement en de invloed hiervan op de budgetallocatie heeft nagenoeg geen enkele CIO als focus. Dit betekent dat het achteraf evalueren van een project en het beoordelen van de revenuen nog geen prioriteit heeft. Twee CIO’s geven aan dat er wel wordt geëvalueerd maar dat dit geen directe invloed heeft op budgetallocatie. Van de overige CIO’s zijn er geen uitspraken genoteerd over evaluaties in relatie tot budgetallocatie. Wel is er door een enkele CIO genoemd dat budget vervalt indien er geen voortgang wordt geboekt. Dit zou ook als performancemanagement geïnterpreteerd kunnen worden. Deze analyse heeft een relatie met de uiteenzetting die leidt tot observatie 28. Indien er vooraf, bij de prioritering van een project, een businesscase is opgesteld die ook wordt meegewogen bij het toebedelen van budget, dan zou het een logisch mechanisme kunnen zijn om dit achteraf te toetsen, dit lijkt nu niet plaats te vinden. Echter gezien het feit dat hier meer onderzoek naar gedaan moet worden omdat dat slechts twee CIO’s dit expliciet benoemd hebben, is dit geen observatie maar blijft het bij een veronderstelling. Observatie 32: Performancemanagement en de invloed hiervan op budgetallocatie lijkt niet plaats te vinden. Er wordt weliswaar geëvalueerd maar dit heeft geen invloed op de budgetallocatie. Nader onderzoek zal deze veronderstelling verder moeten toetsen. Het nauw verweven zijn van organisatie en ICT planning en management processen wordt niet als zodanig herkend door de CIO’s. Een enkele CIO geeft aan dat ICT-projecten stevig verweven zijn in de planning en control cyclus, maar dat is een uitzondering. Dat het niet herkend wordt wil niet vanzelfsprekend zeggen dat het niet plaatsvindt. Omdat er al zoveel apart wordt gerapporteerd over ICT-projecten zou het best kunnen zijn dat er in de genoemde processen wel een grote verwevenheid

Pagina 55 van 81



is, maar dit is dus niet duidelijk geworden. Geconstateerd kan worden dat dit criterium niet herkend wordt door de CIO’s. Observatie 33: Het nauw verweven zijn van organisatie en ICT planning en management processen wordt door de CIO’s niet als dusdanig herkend. Het duidelijk beleggen van eigenaarschap vanuit de organisatie is een criterium dat gelieerd is aan het onderwerp opdrachtgeverschap. Vrijwel alle CIO’s vinden dat het uitoefenen van de rol van opdrachtgever sterk verbeterd moet worden. Niet alle opdrachtgevers begrijpen wat er van hun verwacht worden en blijven sturen vanuit hun lijnverantwoordelijkheid in plaats van een projectmatige focus. Wie daadwerkelijk eigenaar is (en dus opdrachtgever) van ICT-projecten blijkt in de praktijk volgens de CIO’s te verschillen. Bij het ene departement moet het vanzelfsprekend iemand uit de “gebruikersorganisatie zijn”, als procesverantwoordelijke. Bij een ander departement kan de CIO zelf ook opdrachtgever zijn, bijvoorbeeld in het geval van generieke ICT-voorzieningen zoals ook aangegeven in de brief van BZK uit december 2008. Dit is echter niet bij ieder departement gelijk. Eén CIO geeft ook meteen het gevaar aan van onduidelijk opdrachtgeverschap. Het komt wel eens voor dat er in een project een verschil is tussen de formele en materiële opdrachtgever. De formele opdrachtgever is dan weliswaar een lijnverantwoordelijke maar de materiële opdrachtgever, vaak een beleidsmedewerker blijkt een grote invloed te hebben waardoor er al snel inefficiënties in bijvoorbeeld communicatie kan ontstaan wat de alignment niet ten goede komt. Het gewenste projectresultaat kan hierdoor afwijken van hetgeen is beoogd bij de materiële opdrachtgever. Aangegeven wordt ook dat bij sommige projecten blijkt dat de grens tussen opdrachtgever en opdrachtnemer soms onduidelijk is. Observatie 34: Het professioneel opdrachtgeverschap wordt alom genoemd als belangrijk verbeterpunt. De meeste departementen zijn in de opstartfase van verbeterprogramma’s. De positie in de organisatie van opdrachtgevers verschilt en daarmee ook hun professioneel opdrachtgeverschap.

5.4.3 Conclusie kwaliteitsborging Uit de semantische en inhoudelijke praktijkanalyse kwaliteitsborging kan een aantal conclusies getrokken worden. Allereerst is het element uit de brief van BZK uit december 2008 dat direct betrekking had op het criterium dat het eigenaarschap vanuit de organisatie voor ICT-projecten duidelijk belegd moet zijn. De brief stelde hierbij dat het opdrachtgeverschap verder geprofessionaliseerd zal moeten worden en dat hiervoor een curriculum ontwikkeld zou worden. Uit de observaties van zowel de inhoudelijke alsook de semantische analyse blijft dat opdrachtgeverschap nog steeds een punt van zorg is en dat de invulling van de rol van opdrachtgever per soort project kan verschillen. Soms komt de opdrachtgever vanuit de lijnorganisatie vanuit een beleidsdirectie en soms vanuit de ICT- of bedrijfsvoeringsorganisatie. Het zou namelijk kunnen verklaren dat de verbetering van het opdrachtgeverschap moeilijk te realiseren is. Er is immers een doelgroep die een gedifferentieerde rolvolwassenheid heeft. Een opdrachtgever die vanuit de ICT-organisatie komt heeft een andere ervaring en kijk op een ICT-project dan een opdrachtgever uit de beleidsorganisatie. Hierbij kan ook de observatie betreffende budgetverantwoordelijkheid een rol spelen. Er zou een verband kunnen zijn tussen budgetverantwoordelijkheid zoals genoemd in observatie nummer dertien en professioneel opdrachtgeverschap. Dit is verder niet onderzocht. Bevinding 5: Professioneel opdrachtgeverschap is nog steeds een punt van aandacht en verbetering van de CIO. Uit de semantische analyse blijkt dat enkele aspecten uit het evaluatiekader niet veel coderingen kent in de interviews. Het betreft voornamelijk de aspecten performance management en de invloed op budgetallocatie, het afstemmen van alignment processen centraal en decentraal en het verweven van organisatie en ICT-planning en managementprocessen. Dit beeld wordt grotendeels bevestigd in de inhoudelijke analyse. Er wordt wel nagedacht over het centraal en decentraal afstemmen van de

Pagina 56 van 81



alignment processen maar niet door alle CIO’s. Nadrukkelijk wordt echter de alignment aan de “voorkant” genoemd als aandachtspunt van de CIO’s. Het prioriteren en adviseren vooraf vraagt en krijgt veel aandacht van de CIO’s. Dit zou wellicht kunnen duiden op een volwassenheidsniveau waarbij men vooral aan de voorkant probeert om alignment te verwezenlijken waarbij er niet voldoende capaciteit meer is om aan de achterkant te evalueren en te leren. Bevinding 6: Aan de criteria van kwaliteitsborging uit het theoretisch kader wordt niet volledig voldaan. De nadruk ligt op kwaliteitsborging voorafgaand aan het project aan de hand van een advies. De criteria die te maken hebben met kwaliteitsborging tijdens en na het project krijgen minder aandacht.

5.5 Conclusie praktijkanalyse In deze praktijkanalyse is aan de hand van de 11 interviews informatie verzameld over de aandachtsgebieden van de CIO en de invulling die hij of zij in de praktijk geeft aan risicobeheersing en kwaliteitsborging. Er zijn 34 observaties gedaan die allemaal een deel van het antwoord op deze deelvraag vertegenwoordigen. De belangrijkste conclusies zijn dat de CIO’s meerdere dilemma’s heeft. Vanuit de semantische analyse over het geheel bezien lijken alignment en autoriteit de onderwerpen te zijn waar de CIO die de CIO het meest bezig houden, deze onderwerpen hebben de hoogste frequentie coderingen en ook de meeste semantische codes, zie bijlage 3. Aandachtsgebieden Zoals blijkt uit bevinding 1 op pagina 48 geldt voor de positie en aandachtsgebieden van de CIO dat het theoretisch kader niet geheel van toepassing is. Innovatie is het minst genoemd als aandachtsgebied, dit blijkt uit de semantiek alsook uit de inhoudelijke analyse. De CIO geeft verder aan dat visievorming op interdepartementale ontwikkelingen een belangrijk aandachtsgebied is. Er geldt dan ook voor de CIO binnen de rijksoverheid dat er een afwijkend model dan gehanteerd in het theoretisch kader van toepassing is. Positie en coördinatiemechanisme Verder geldt voor de positionering van de CIO dat deze divers is. Doordat de brief van Binnenlandse Zaken uit december 2008 de mogelijkheid heeft gegeven om de rol van CIO op eigen wijze te positioneren, is er geen uniformiteit. Zowel het hanteren van een stelsel van CIO’s alsook het hanteren van een enkele CIO voor het gehele departement komt voor. De functie die de CIO heeft is ook verschillend. De meest voorkomende is een functie gerelateerd aan ICT of bedrijfsvoering, op zowel pSG niveau alsook directeursniveau. Deze twee variabelen, de functie die gerelateerd is aan de rol van CIO en de keuze voor een stelsel van CIO’s of een enkele CIO voor een geheel departement, is niet in de literatuurstudie tot uitdrukking gekomen. Risicobeheersing en alignment Naast functie en coördinatiemechanisme speelt ook het dilemma van advies en control een belangrijke rol. Hiermee lopen risicobeheersing en kwaliteitsborging eigenlijk in elkaar over. Om een goede positie te verwerven binnen de organisatie en draagvlak te creëren wordt er meer gestuurd aan de hand van de adviserende taak van een CIO dan de nadruk te leggen op de controlfunctie. Er wordt aangegeven dat het aantal vrijheidsgraden verkleind is door het stellen van duidelijke kaders en richtlijnen. Het beeld dat ontstaat, is dat de meeste CIO’s bang zijn vergeleken te worden met een auditor die een oordeel afgeeft. Hierover laat een CIO zich als volgt uit: “Control heeft een nare nasmaak; de politiepet, ik krijg er gekrulde tenen van”. De aversie die er in algemene zin is tegen een controlerende instantie zou dan geprojecteerd kunnen worden op een CIO. Het antwoord op de vijfde deelvraag is veelomvattend. Het geven van gevraagd en ongevraagd advies blijkt voor de CIO een belangrijk instrument Wat betreft taken, bevoegdheden en verantwoordelijkheden balanceren de CIO’s tussen hun adviesrol en de verantwoordelijkheid om projecten daadwerkelijk beter te beheersen. In de brief uit december 2008 is immers gesteld: De

Pagina 57 van 81



bestaande integrale managementverantwoordelijkheid van beleidsdirecties voor ICT-projecten kan daarbij onverkort worden gehandhaafd. In die zin zijn zij dus niet verantwoordelijk. Vraag is of dit ook zo in de praktijk beleefd wordt door de CIO’s aangezien ook is aangegeven dat de rol niet vrijblijvend is. Wat betreft ontwikkelingen geldt dat de meeste CIO’s nog niet lang in hun rol actief zijn. Zij zijn dus nog volop bezig om draagvlak en gezag te verwerven. De meeste ontwikkelingen in hun rol zijn hierop terug te voeren.

Pagina 58 van 81



6 Conclusies Dit hoofdstuk geeft de conclusies weer van het onderzoek. Begonnen wordt met het beantwoorden van de hoofdvraag. Daarna volgt de evaluatie. Hierbij staat de deelvraag centraal in welke mate er wordt voldaan aan de criteria voor kwaliteitsborging en risicomanagement. De evaluatie geeft per onderwerp uit het evaluatiekader weer in welke mate aan de criteria is voldaan. Vervolgens worden alle deelvragen beantwoord die in paragraaf 1.5 Evaluatiedoelstelling" zijn gedefinieerd. De beantwoording van de deelvragen onderbouwen per element de beantwoording van de hoofdvraag. Afgesloten wordt met aanbevelingen en mogelijke vervolgvragen voor aanvullend onderzoek.

6.1 Beantwoording hoofdvraag De centrale vraag van het onderzoek luidt als volgt: Draagt de invoering van de rol van CIO binnen de verschillende departementen van de Rijksoverheid bij aan een betere kwaliteitsborging en risicobeheersing van grote ICT-projecten? De conclusie is dat de opzet van de rol van CIO en daarmee ook het functioneren, in beperkte mate bijdraagt aan een betere risicobeheersing en kwaliteitsborging van ICT-projecten. De CIO geeft vrijwel volledig uitvoering aan alle elementen uit het besluit van BZK tot instellen van een CIO uit december 2008. De manier waarop hier uitvoering aan wordt gegeven is niet uniform. De rol van de CIO is nog niet bij ieder departement volwassen. Er zijn indicaties dat met een verdere groei van de rol van CIO verdere verbetering van risicobeheersing en kwaliteitsborging behaald kan worden. Uit de praktijkanalyse blijkt dat de CIO aan de helft van de criteria uit het evaluatiekader uitvoering geeft. Het theoretisch kader is wel toepasbaar, maar niet op alle geïdentificeerde criteria. Het instellen van een CIO heeft op specifieke gebieden bijgedragen aan kwaliteitsbeheersing en risicobeheersing. Zo zijn de aandachtsgebieden van strategisch beleid, PPM en alignment alle vertegenwoordigd in de rol van CIO. Het aandachtsgebied van innovatie in de rol van CIO wordt weinig in praktijk gebracht. Voor de positie van de CIO geldt dat formeel mandaat in het besluit van BZK tot instellen van de CIO niet geëffectueerd is. In de praktijk meent de CIO op basis van toegevoegde waarde gezag te verwerven. Aan de criteria van risicobeheersing wordt grotendeels voldaan. Het gebruik van projectrapportages en de bijsturing hierop in projecten is bij alle departementen geëffectueerd. Het uitvoeren van audits vindt bij nagenoeg alle departementen plaats. Het gebruik van PPM is bij de meeste departementen in de opstartfase. Dit wordt nog niet altijd in samenhang met het principe van risicomanagement benut. Op de naleving van projectmethodiek en hiermee het gebruik van businesscase, wordt weinig nadruk gelegd. Het bepalen van een risicoprofiel en de inzet van de instrumenten van risicomanagement is niet uniform. Er wordt niet gestructureerd gestuurd op het verminderen van technische, organisatorische en politieke complexiteit. In het besluit van BZK zijn weinig van de gedefinieerde criteria van alignment opgenomen. Voor het functioneren van de CIO op het gebied van alignment geldt dat de nadruk ligt op de adviesrol en het prioriteren van investeringen. Het prioriteren gebeurt aan de hand van het toepassen van PPM. De CIO probeert eerst samenhang en overzicht te creëren. Er wordt vooral advies gegeven voorafgaand aan een project. De CIO ziet zelf de meeste toegevoegde waarde in zijn adviesrol. Professioneel opdrachtgeverschap is een aandachtsgebied van de CIO, maar heeft nog weinig geleid tot concrete activiteiten.

Pagina 59 van 81



6.2 Evaluatie Het is relevant om de context van de evaluatie te schetsen. Een aantal CIO’s geeft aan dat zij van menig zijn dat een evaluatie nog wat vroeg is. Negen van de elf geïnterviewde CIO’s zijn begin 2009 gestart, een enkeling zelfs pas in 2010. Twee CIO’s functioneren al een aantal jaar als CIO. Ten tijde van de interviews, april en mei 2010, hadden de meeste CIO’s dan ook anderhalf jaar ervaring in hun nieuwe rol. De evaluatie is opgesteld op basis van de onderwerpen uit het evaluatiekader, namelijk • aandachtsgebieden en positie, • risicobeheersing en • alignment. Per onderwerp worden alle criteria uit het evaluatiekader geëvalueerd, zie Bijlage 1 Evaluatiekader". Per onderwerp wordt aan de hand van de criteria uit het evaluatiekader bepaald of de opzet van de rol van CIO bijdraagt aan de doelstelling van betere kwaliteits- en risicobeheersing van ICT-projecten. Dit wordt in de evaluatie aangeduid als de “evaluatie opzet”. Bij het evalueren van de opzet van de rol wordt de beschrijving uit het besluit van BZK gehanteerd. Vervolgens wordt per onderwerp geëvalueerd of het functioneren van de CIO daadwerkelijk bijdraagt aan een betere risicobeheersing en kwaliteitsborging van ICT-projecten. Dit wordt aangeduid als de “evaluatie functioneren”. Ook wordt hierbij beschouwd hoe dit zich verhoudt tot de opzet van de rol.

6.2.1

Evaluatie aandachtsgebieden en de positie van de CIO

Evaluatie opzet • Criterium A tot en met D: de aandachtsgebieden van een CIO Er zijn als criterium vier aandachtsgebieden genoemd die een CIO vanuit theoretisch perspectief zou kunnen hebben: Strategisch beleid (criterium A), Innovatie (criterium B), Project Portfolio Management, aangeduid als PPM (criterium C) en Alignment (criterium D). Strategisch beleid zou in het besluit van BZK overeen kunnen komen met het opstellen van de departementale strategie en visie. In de opzet van de rol is strategisch beleid dus als aandachtsgebied genoemd. Innovatie komt niet als zodanig voor in het besluit van BZK. Er wordt in het besluit niets aangegeven over innoverende ICT en de rol van de CIO hierbij. Projecten Portfolio Management wordt wel uitdrukkelijk genoemd. Volgens het besluit moet de CIO de samenhang in informatievoorziening en ICT-projecten bewaken door middel van applicatie- en portfolio management. Er zijn twee aspecten in het besluit die kunnen duiden op een vorm van alignment. Een verantwoordelijkheid van de CIO die hierbij zou kunnen aansluiten is de, in dit onderzoek al veel besproken, adviesrol. Uit de analyse in paragraaf 4.3 "De rol van kwaliteitsborging en risicobeheersing bij de inrichting van de rol van CIO" is geconcludeerd dat de adviesfunctie niet eenduidig is toe te wijzen aan alignment. In het besluit is wel expliciet genoemd dat beleidsdirecties een belangrijke taak hebben vanuit hun integrale managementverantwoordelijkheid. Het verbeteren van professioneel opdrachtgeverschap moet daarbij zorg dragen voor een verbetering van de kwaliteit. Deze onderdelen uit het besluit van BZK zijn in paragraaf 4.3 wel als aspecten van alignment benoemd. In het theoretisch kader is een aantal modellen gehanteerd om de aandachtsgebieden te benoemen. Dit zijn de IM-kaart, ook wel negenvlaksmodel genoemd (Maes, 2003), het model van Chun en Mooney (2009), het model van Lawry, Waddel en Singh (2007) en het onderzoek van de GAO. Als we het model van Maes (2003) aan het besluit van BZK toetsen, blijkt dat vooral de rollen van informatiestrateeg (in het model op pagina 18 aangeduid met nummer 1), ICT-portfoliomanager (3) en bedrijfsadviseur (5) de nadruk krijgen. Redenerend vanuit het model betekent dit op strategisch niveau de rol van organisatiearchitect (4) trendwatcher (6) en bedrijfsstrategisch adviseur (2) nog onvoldoende aandacht krijgen. Maes doet de volgende uitspraak over het alignment aspect van de rol van CIO: “In een informatieintensieve organisatie behoort de CIO tot de leiding. Hij co-definieert en co-structureert de business strategie.” (Maes, 2003). Deze uitspraak geeft aan dat een CIO tot de leiding moet behoren om de

Pagina 60 van 81



business strategie mede te kunnen bepalen. In het besluit van BZK is de rol van CIO niet als bedrijfsstrategie adviseur beschreven; de CIO is niet per definitie onderdeel van de bestuursraad. Dit betekent dat de alignment in opzet niet optimaal is ingericht aangezien juist rollen 2, 4 en 5 alle drie belangrijk zijn voor het inrichten van de alignment en het integreren van organisatiestrategie en ICT-strategie. Alleen rol 5, bedrijfsadviseur, is middels de adviesrol geborgd in het besluit van BZK. Conclusie 1: Het aandachtsgebied innovatie is in het besluit van BZK niet genoemd. Strategisch beleid en PPM zijn wel expliciet benoemd, alignment in mindere mate. PPM en Strategisch beleid uit het theoretisch kader komen wel overeen met de aandachtsgebieden in de opzet van inrichting van de rol van CIO. Innovatie en alignment niet Het model van Chun en Mooney (2009), benoemd in het evaluatiekader, definieert een aantal rollen die een CIO primair aanneemt. De opzet van de rol, zoals in het besluit van BZK is beschreven, sluit het meeste aan bij die van een “triage nurse en firefighter”. De rol wordt in het model als volgt omschreven: “These are IS managers or executives whose main goal is to fix urgent IS-related problems (e.g.,technical bugs, failed systems and disrupted processing). …. Their type of IS environment involved many stand-alone IS applications and a diverse set of business and operations processes. These CIOs generally are charged with minimizing the cost of IT expenditures and maintenance by leveraging the existing technology and infrastructure of the firm.” (Chun en Mooney, 2009, p.330). De rol is daarmee gericht op procesverbetering en standaardisatie in combinatie met stabilisatie en risicomijding. In figuur 2, opgenomen op pagina 19, is het groeiperspectief van de rol van CIO weergegeven. In de praktijk kan de volwassenheid van deze rol voor de departementale CIO gepositioneerd worden op de overgang van stage 1 naar stage 2.

Conclusie 2: De aandachtsgebieden van de CIO zoals verwoord in het besluit van BZK tot instellen CIO komen het meest overeen met de rol van “triage nurse en firefighter”uit het model van Chun en Mooney (2009), Dit betekent dat er sprake is van procesverbetering, standaardisatie en risicomijding. De rol bevindt zich hiermee volgens het model van Chun en Mooney (2009) in een beginnende fase van volwassenheid. • Criterium E: Voldoende mandaat op zowel bedrijfsvoering- alsook beleidsniveau Dat de CIO mandaat heeft om toezicht te houden op en advies te leveren over ICT-projecten die betrekking hebben op bedrijfsprocessen wordt vanzelfsprekender geacht dan ICT-projecten ter ondersteuning van beleidsprocessen. ICT-processen zijn vaak gepositioneerd onder een organisatieeenheid bedrijfsvoering; het zijn ondersteunende processen. Hierdoor heeft een CIO een sterke relatie met bedrijfsvoering. Ook kan de CIO volgens het besluit van BZK zelfs als opdrachtgever functioneren van generieke departementale ICT-voorzieningen. In het besluit van BZK wordt min of meer vermeld dat de rol van CIO zich ook moet uitstrekken over de ICT-projecten die vanuit beleidsdirecties worden geïnitieerd. Er staat: " Grote ICT-projecten worden veelal ontwikkeld en aangestuurd vanuit directies, niet altijd met centraal toezicht en advisering" (Tweede Kamer, 2008). Dit, samen met de keuze in het besluit van BZK om de rol op hoog ambtelijk niveau te beleggen, betekent dus dat de CIO ook toezicht moet houden op ICT-projecten die tot doel hebben primaire beleidsprocessen te optimaliseren. Hoe dit mandaat geëffectueerd wordt, is in het besluit van BZK niet aan de orde gekomen. Conclusie 3: In het besluit van BZK wordt verwoord dat de CIO ook toezicht moet houden op ICTprojecten die vanuit het beleidproces worden geïnitieerd. Formeel mandaat is echter niet geëffectueerd in het besluit.

• Criterium F: Geen vermenging van rollen De reden voor het instellen van de rol van CIO in plaats van de functie van CIO, is in dit onderzoek niet duidelijk geworden. Het risico is aanwezig dat een rol minder aandacht krijgt dan een functie. Dit omdat er minder tijd beschikbaar is voor het uitvoeren van een rol. Vanuit zijn eigen functie heeft de CIO ook werkzaamheden die tijd vragen. De kans is groot dat hij concessies zal moeten doen. Daarnaast ontstaat eerder rolvermenging vanuit een rol dan vanuit een functie. Een CIO zal per

Pagina 61 van 81



definitie vanuit zijn eigen functie ook één of meerdere rollen hebben. Hij heeft dus per definitie meerdere rollen met verschillende belangen. Het is voor de focus op de rol van CIO van belang om een CIO-office met voldoende middelen en capaciteit uit te rusten. Een CIO-office kan dan voorbereidende werkzaamheden uitvoeren. Dit leidt ertoe dat een CIO voldoende en adequate informatie heeft om op basis hiervan beslissingen te nemen. Alleen dankzij een goede advisering van dit CIO-office aan de CIO kan de rol kwalitatief goed worden ingevuld. In het besluit van BZK is hierin voorzien door een kleine staf beschikbaar te stellen in de vorm van 1 FTE. Conclusie 4: De activiteiten van een CIO zijn ingericht als rol. Dit betekent dat een CIO per definitie extra tijd zal moeten vrijmaken om de rol naast zijn al bestaande functie te vervullen. Daarnaast is het risico van rolvermenging groot.

Evaluatie functioneren • Criterium A tot en met D: de aandachtsgebieden van een CIO In de praktijk, volgens de CIO’s, blijkt innovatie het minste aandacht te krijgen, zie ook observatie 7. Dit kan gevolgen hebben voor de toegevoegde waarde van een CIO, omdat een doel van ICTinnovatie is het vergroten van effectiviteit en efficiency van processen. De rijksoverheid geeft bijvoorbeeld zelf aan dat ICT-innovatie in het onderwijs van groot belang is: “om met minder docenten kwalitatief goed onderwijs te kunnen blijven bieden, moeten er (innovatieve) manieren gevonden worden om ‘slimmer’ te werken. Innoveren gaat om voortdurend nadenken over en structureel verbeteren van werkwijzen” (rijksoverheid.nl, 2010). De meeste aandacht gaat uit naar het op orde brengen van adequaat projecten portfolio management en het strategische beleid. Dit duidt erop dat de CIO vooral bezig is om overzicht te krijgen en samenhang aan te brengen in de totale projectenportfolio. Een mogelijke verklaring hiervoor is de korte periode waarin de rol effectief is binnen de meeste departementen. De rol van CIO moet nog verder volwassen worden waarbij het verkrijgen van overzicht en het neerzetten van een strategie behoort bij een eerste fase tot volwassenheid. Immers zonder strategie, samenhang en overzicht kan een CIO niet effectief sturen en toezicht houden. Voor de twee CIO’s die de rol al langer uitvoeren geldt dit overigens niet. Overzicht en samenhang zijn daar al meer gerealiseerd. Zij richten zich meer op de kwaliteits- en risicobeheersing van de projecten. Conclusie 5: In het algemeen geldt dat de CIO die recentelijk is aangesteld in zijn rol, zich richt op het realiseren van overzicht en samenhang. ICT-innovatie en het hiermee innovatief verbeteren van werkwijzen is weinig aan de orde. De aandachtsgebieden die de nadruk krijgen in het functioneren, komen hiermee grotendeels overeen met de opzet, het besluit van BZK. Zoals aangegeven in observatie 9 wordt de relevantie van interdepartementale projecten steeds groter. De CIO geeft hier veel aandacht aan. De huidige recessie en de gegevens uit het recent bekend geworden regeerakkoord waarin staat dat de rijksoverheid verder in zal moeten krimpen, kunnen desondanks leiden tot een interne, departementaal gerichte focus. Ieder departement kan geneigd zijn vooral te kiezen voor activiteiten waar zij zelf als departement baat bij hebben. Dit is een mogelijke bedreiging voor het succes van de CIO in de toekomst. Conclusie 6: Interdepartementale ontwikkelingen zijn een belangrijk aandachtsveld dat niet voorkomt in het theoretisch kader.

• Criterium E: Voldoende mandaat op zowel bedrijfsvoering- als beleidsniveau Door enkele CIO’s is benadrukt dat ICT als deelonderwerp van bedrijfsvoering een ondergeschoven kindje is, zie observatie 12. Het onderwerp ICT krijgt op hoog bestuurlijk niveau blijkbaar niet de aandacht die het volgens de CIO’s verdient. ICT wordt echter steeds belangrijker in de primaire processen waardoor ook op hoog bestuurlijk niveau vertrouwen moet ontstaan in de sturing van ICT-projecten. Indien er weinig aandacht en

Pagina 62 van 81



affiniteit is voor ICT op bestuursraad niveau, kan dit betekenen dat de CIO niet snel bestuurlijke steun krijgt in conflictsituaties. Dit kan ten koste gaan van de autoriteit van de CIO. Conclusie 7: Het belang van bedrijfsvoering in het algemeen en ICT in het bijzonder wordt op hoog bestuurlijk niveau niet altijd op waarde geschat. Omdat het mandaat van een CIO niet formeel is geregeld, kan hierdoor afbreuk ontstaan aan de autoriteit van de CIO op bestuursraadniveau. CIO’s voelen de druk om slechte politieke berichtgeving in de toekomst te voorkomen, op welke manier dan ook. Een CIO verwoorde het als “het opruimen van politieke bananenschillen”. Een andere CIO verwoorde dit: “Ik ben trots op het feit dat ik al die jaren geen krant gehaald heb”. Ook gaf een CIO aan dat het misschien verwachtingen betreffen die überhaupt niet waargemaakt kunnen worden. Het lijkt soms alsof zij geacht worden op een haast goddelijke wijze alle problemen op te kunnen lossen. Dit impliceert dat een CIO het meest succesvol is als vooral politieke risico’s beheerst worden. Conclusie 8: CIO’s voelen het als hun primaire taak om politieke risico’s te mitigeren.

• Criterium F: Geen vermenging van rollen Wat betreft de positionering van de CIO is in observatie 2 beschreven dat deze niet uniform is. De positionering varieert van pSG niveau tot hoofd ICT, alsmede hoofd FEZ. Daarnaast is er één CIO aangesteld in de functie van CIO in plaats van de rol. Ook het wel of niet hanteren van een stelsel van CIO’s varieert per departement. Belangrijk hierbij is dat het niet duidelijk is wat precies de achterliggende redenen zijn voor deze positionering en het hanteren van een stelsel van CIO’s of een enkelvoudige CIO. Bij één departement wordt binnenkort de rol van CIO opnieuw belegd, de reden hiervan is onduidelijk. Dit zou erop kunnen duiden dat de positionering en het hanteren van een stelsel geen rationele keuze is maar een resultaat van verschillende krachten in een organisatie. Al deze variabelen hebben een grote invloed op de wijze waarop IT-Governance ingericht moet worden. Bij een stelsel van CIO’s kan er bijvoorbeeld sprake zijn van een andere vorm van ITGovernance dan bij een autonome CIO. Conclusie 9: De wijze waarop de rol van CIO is gepositioneerd verschilt sterk per departement. Dit heeft echter tot gevolg dat er andere IT Governance stijlen van toepassing zouden moeten zijn. Om dit optimaal in te zetten dient dit goed doordacht te zijn. Dit lijkt niet het geval te zijn. Zoals blijkt uit observatie 15 is vermenging van rollen regelmatig aan de orde. Dit betekent dat een functiescheiding tussen toezicht en uitvoering niet altijd vanzelfsprekend is. De CIO's gaan hier in de praktijk pragmatisch mee om door bijvoorbeeld een plaatsvervangend CIO toezicht te laten houden. Het delegeren van taken brengt risico’s met zich mee. Zij geven aan dat zij hier zelf geen directe problemen van ondervinden. Conclusie 10: Rolvermenging komt voor maar wordt door de CIO zelf niet direct als een probleem ervaren.

6.2.2 Evaluatie risicomanagement Evaluatie opzet Uit de analyse in paragraaf 4.3 blijkt dat er in het besluit van BZK veel nadruk wordt gelegd op de risicobeheersing. Van de zeven elementen die zijn genoemd, zijn er vijf direct of indirect gekwalificeerd als instrument voor risicobeheersing. De elementen uit het evaluatiekader die niet terugkomen in het besluit van BZK tot instellen CIO zijn: • Onderzoeksaspect G, het definiëren van projectrisico's en het hierbij behorende criterium van het inzichtelijk maken van projectrisico's • Onderzoeksaspect H, continue beheersing van projectrisico's met het bijbehorende criterium. Dit lijkt vreemd, omdat juist risicobeheersing essentieel is voor risicomanagement. In het besluit van BZK is echter niet uitgewerkt hoe de risico's beheerst moeten worden door de CIO. Er is alleen gesproken over de adviesrol, waarbij ook geadviseerd moet worden over de risico's. De vraag is hoe

Pagina 63 van 81



zwaar dit als echte risicobeheersing moet worden gezien, vooral als het advies niet bindend is. De praktijk moet uitwijzen hoe hier vorm aan wordt gegeven. Conclusie 11: Van de 7 onderzoeksaspecten van risicomanagement uit het evaluatiekader komen er vijf terug in het besluit van BZK. In het besluit ligt dus een grote nadruk op risicomanagement. De operationele invulling van risicomanagement zoals het beheersen van risico’s is niet verder bepaald. • Criterium I: Beheersing projectmanagementprocessen In het besluit van BZK is genoemd dat kaders en standaarden opgesteld moeten worden door de CIO en dat er toezicht moet zijn op de naleving van de rijksbrede kaders. Hoewel deze kaders op meerdere onderwerpen betrekking kunnen hebben, wordt aangenomen dat hier ook kaders op het gebied van projectmanagement bedoeld zijn. • Criterium J en K: adequate informatievoorziening projecten In het besluit van BZK is een aparte paragraaf gewijd aan het rapportagemodel voor grote projecten. Het rapportagemodel valt niet binnen de scope van dit onderzoek. Wat wel relevant is, is dat voor het vullen van het rapportagemodel informatie nodig is vanuit de projectuitvoering. De CIO moet immers zelf informatie vergaren om dit te kunnen verwerken. Deze rapportages kunnen ook worden gebruikt voor de voortgangscontrole. • Criterium L: Het inzetten van audits op adequate wijze en opvolging geven aan de uitkomsten Een van de belangrijke taken die genoemd is, is het oordeel over de start van ICT projecten en op kritieke momenten tijdens de uitvoering daarvan. Dit kan gezien worden als het uitvoeren van een "intake-audit" door de CIO zelf. Het kan ook bedoeld zijn als toets op de risicobeheersing. Het oordeel kan zich dan richten op de vraag of alle risico’s wel voldoende in kaart zijn gebracht en of de CIO meent dat er voldoende beheermaatregelen zijn genomen. In het besluit van BZK ontbreekt een werkwijze of methode waarop het oordeel bij start of uitvoering van een groot ICT-project tot stand moet komen, de elementen waar het oordeel uit zou moeten bestaan en de mate waarin het oordeel bindend is. Genoemd wordt dat het oordeel afgegeven moet worden voor grote ICT-projecten, boven de twintig miljoen euro. Het oordeel strekt zich dus uit over een klein deel van de op te starten ICT-projecten. In het besluit van BZK wordt ook genoemd dat de CIO ondersteunt bij het uitvoeren van audits. Wat voor soort audits dit zijn, is niet nader bepaald. Conclusie 12: Er ontbreekt een duidelijk toetsingskader voor het afgeven van een oordeel over ICTprojecten door de CIO. Ook is niet vastgesteld in hoeverre een oordeel bindend is. Dit betekent dat het oordeel, als het al tot stand komt gezien het hoge drempelbedrag, mogelijk niet effectief is omdat het niet getoetst is aan kaders.

• Criterium M: PPM wordt in samenhang met risicomanagement benut Het gebruik van PPM is genoemd in het besluit van BZK. In paragraaf 4.3 "De rol van kwaliteitsborging en risicobeheersing bij de inrichting van de rol van CIO" is aangegeven dat het onduidelijk is of hiermee wordt bedoeld dat PPM ook voor integraal risicomanagement ingezet moet worden. In paragraaf 4.4 " Beleidstheorie" is de doelenboom ter ondersteuning van het besluit tot inrichting van de rol van CIO afgeleid. Hieruit wordt duidelijk dat, uitgaande van de rapporten “Lessen uit ICTprojecten bij de overheid” (Rekenkamer, 2007 en 2008) vooral het beheersen van de politieke, organisatorische en technische complexiteit de grondslag vormt voor de CIO-rol. Hoe dit vertaald is in de taken van de CIO is niet direct te herleiden. Dit kan een onderdeel zijn van het oordeel wat de CIO wordt geacht te geven, of als onderdeel van zijn adviestaak. Ook zou het een prioriteringscriterium kunnen zijn om projecten mee te rangschikken of om businesscases mee te beoordelen. Conclusie 13: De meerdere dimensies van complexiteit, onderdeel van de beleidstheorie komen niet terug in de invulling die wordt gegeven aan de rol van CIO in het besluit van BZK. De tussendoelen in de beleidstheorie komen in de opzet van de rol van CIO niet aan bod.

Pagina 64 van 81



Evaluatie functioneren Criterium G: inzichtelijk maken van projectrisico's Gedurende de uitvoering van projecten wordt er informatie verstrekt aan de CIO. Dit gebeurt, zoals beschreven in observatie 20, veelal aan de hand van een top-10 grootste projecten per departement. De financiële omvang van een project is echter niet altijd leidend voor de mate waarin risico’s zich voor kunnen doen. Het is de vraag of grote ICT-projecten boven een bepaald bedrag per definitie het meest risicovol zijn. Ook voor minder grote projecten kunnen de politieke gevolgen van mislukken groot zijn. Dit kunnen bijvoorbeeld projecten zijn die de burger direct raken (denk aan het elektronisch patiënten dossier). Dit soort projecten kan al tot veel publiciteit leiden bij de schijn van mislukken. Indien er geen risicoprofiel wordt gemaakt per project, dat ook nog eens uniform wordt toegepast binnen de gehele rijksoverheid, kunnen niet alle juiste (politieke) risico’s beheerst worden. Uit de semantische analyse blijkt dat het begrip complexiteit geen begrip is dat veelvuldig voorkomt in de semantiek van de interviews. Dit kan betekenen dat er weinig “complexiteitsbewustzijn” is. Indien complexiteit van projecten geen aandacht krijgt bij zowel de start als uitvoering van projecten, kan dit betekenen dat complexiteit in al zijn vormen niet beheerst wordt. Dit gaat ten koste van de kwaliteitsborging en risicobeheersing van de ICT-projecten. Conclusie 14: Het ontbreken van een eenduidig risicoprofiel waarin het aspect van complexiteit wordt meegenomen, doet afbreuk aan de adequate inventarisatie en beheersing van risicovolle projecten. • Criterium H: continue beheersing van projectrisico's Zie criterium G • Criterium I: Beheersing projectmanagementprocessen Uit observatie 22 blijkt dat CIO’s niet sturen er op het werken volgens standaard projectmethodieken. Conclusie 15: De meerderheid van de CIO's richt zich niet op het naleven van het gebruik van standaard projectmethodieken. • Criterium J en K: adequate informatievoorziening projecten Uit observatie 23 en 25 blijkt dat de CIO's bijna allemaal separate richtlijnen hebben over de informatievoorziening van ICT-projecten. Denk hierbij aan frequentie en vorm. Hierbij speelt het dilemma dat zij niet teveel extra administratieve last willen veroorzaken, maar desondanks adequaat geïnformeerd moeten worden. Aangezien er geen uniforme afspraken zijn over de vorm en frequentie van de informatievoorziening, is de kans groot dat dit proces niet voor alle departementen optimaal is ingericht. Uit observatie 24 blijkt dat het ICT dashboard, waar een pilot mee wordt uitgevoerd nog niet voldoet aan de verwachtingen. Conclusie 16: Informatievoorziening aan de CIO en de wijze waarop hier wordt bijgestuurd is niet uniform en waarschijnlijk niet optimaal. • Criterium L: Het inzetten van audits op adequate wijze en opvolging geven aan de uitkomsten Bij de evaluatie van de opzet is genoemd dat een toetsingskader en handreiking voor de effectuering van het oordeel ontbreekt. Het is opvallend dat in de praktijk het oordeel van een CIO slechts enkele malen is uitgebracht. Het kan zijn dat de oorzaak hiervan is gelegen in het feit dat er sinds 2009 weinig grote ICT-projecten zijn opgestart. Hieruit wordt afgeleid dat het drempelbedrag dusdanig hoog is dat een oordeel niet vaak afgegeven wordt. Er wordt wel een aantal andere instrumenten toegepast die een substituut zouden kunnen zijn voor het oordeel. Bij één departement worden alle projecten door de CIO tussentijds geëvalueerd voordat er weer budget beschikbaar wordt gesteld. Dit kan vanzelfsprekend alleen als het budget gecentraliseerd is bij de CIO, zie ook observatie 13. Ook zou de prioritering van projecten als onderdeel van PPM zich kunnen kwalificeren als oordeel vooraf. Zoals uit observatie 30 blijkt is de businesscase hierbij niet structureel aanwezig. Met het vaststellen van een lijst van projecten met een ICT-component die in een jaar mogen worden

Pagina 65 van 81



uitgevoerd, geeft de CIO indirect zijn oordeel in de vorm van een goedkeuring, mits er daadwerkelijk een kwalitatieve toets plaatsvindt. Voor de inzet van audits is het dilemma van advies en control, beschreven in de analyse, relevant. De meeste CIO’s beschrijven hun rol als een “zware adviesrol”. Zij leggen de nadruk op advies en niet zozeer op control. Er wordt op een zachte manier, vanuit dit advies, gestuurd in overleg met de opdrachtgever. CIO’s geven aan dat dit juist voorafgaand aan een project plaatsvindt. Dit zou als invulling kunnen gelden van het oordeel dat dan meer uitvoering krijgt in de vorm van een advies. De vraag is of het effectief is om de nadruk meer op de adviesrol te leggen dan op de controle rol. Het lijkt logisch om vooral in de opstartfase van een CIO, draagvlak te creëren door toegevoegde waarde te tonen aan de hand van de adviezen die een CIO geeft. Echter uiteindelijk moet dat daadwerkelijk leiden tot een betere risicobeheersing. Er hangt veel af van de kwaliteit van het advies en de mate waarin de opdrachtgever bereid is dit advies op te volgen. De CIO’s geven aan dat zij vinden dat dankzij de rol van CIO beheersing meer op de agenda is geplaatst. Wat veranderd is, is dat er geen majeure beslissingen over ICT-gerelateerde projecten worden gemaakt zonder dat er een gesprek met de CIO is gevoerd. Conclusie 17: Het geven van een oordeel door de CIO voorafgaand aan de start van een ICT-project wordt zelden op deze wijze in praktijk gebracht. Het kan zijn dat de richtlijn dat dit alleen voor grote projecten noodzakelijk is, ervoor zorgt dat het oordeel in de praktijk weinig wordt afgegeven. Dit wordt in de praktijk vervangen door een advies vooraf. Niet vast te stellen is of het advies, in deze fase van rolvolwassenheid, even effectief is als het opleggen van een bindend oordeel. De CIO’s beoordelen het advies vooraf zelf als een grote toegevoegde waarde van hun rol. Uit observatie 26 en 27 blijkt dat de CIO keuze heeft uit meerdere auditinstrumenten. Deze lopen uiteen van verplichte healthchecks, eigen reviewlijsten tot vrijwillige gateway reviews. Er is dus een diversiteit aan instrumenten en werkwijzen rondom de audittaak. Ook de rol van de auditdienst verschilt per departement. Soms wordt er nauw samengewerkt met de auditdienst en soms ook uitdrukkelijk niet. Er zijn geen richtlijnen wanneer welke audit wordt ingezet en wat de kwaliteitseisen van de audits zijn. Conclusie 18: de inzet van auditinstrumenten (hoe, wanneer, welke) verschilt per CIO. Ook de rol van de auditdienst bij de audits is niet uniform per departement. Het is waarschijnlijk dat de kwaliteit en effectiviteit van deze instrumenten verschilt per departement. • Criterium M: PPM wordt in samenhang met risicomanagement benut Uit observatie 19 blijkt dat de inzet van PPM over het algemeen weinig volwassen is. Dit kan verklaren dat PPM weinig ingezet wordt voor integraal risicomanagement, zie observatie 20. Dit wordt verder in criterium N uitgewerkt.

6.2.3

Evaluatie kwaliteitsborging

Evaluatie opzet In paragraaf 4.3 "De rol van kwaliteitsborging en risicobeheersing bij de inrichting van de rol van CIO", is geconstateerd dat er weinig elementen in het besluit van BZK te kwalificeren zijn als element van alignment. De adviesrol in algemene zin wordt genoemd. Dit kan gezien worden als een vorm van risicobeheersing maar ook als alignment. De CIO kan toetsen of de verwachtingen van opdrachtgever en opdrachtnemer over de doelstelling en het uiteindelijk resultaat van het project wel overeenkomen zodat de kwaliteit geborgd is. Ook het oordeel vooraf kan een onderdeel van alignment zijn als in het oordeel de doelstelling en afstemming met de strategie van de organisatie meegewogen worden. Dit is echter onvoldoende af te leiden uit het besluit van BZK. Het ontwikkelen van een curriculum om het professioneel opdrachtgeverschap verder te ontwikkelen wordt weliswaar genoemd in het besluit van BZK, maar onduidelijk is wat de rol van de CIO hierin is. Niet gespecificeerd is welke instrumenten de CIO hiervoor moet inzetten.

Pagina 66 van 81



Het evaluatiekader bestaat uit vijf criteria voor kwaliteitsborging waarvan er vier niet terugkomen in het besluit van BZK. De criteria N tot en met Q: Het prioriteren van ICT investeringen, het uitvoeren van uniforme alignmentprocessen, het meten van rendement van ICT-projecten, het inbedden van organisatie en ICT planningmanagementprocessen, komen geen van alle terug. Conclusie 19: Het professionaliseren van het opdrachtgeverschap is een element van alignment dat genoemd is in het besluit van BZK. Geen van de andere elementen uit het evaluatiekader op het gebied van alignment komen terug in het besluit van BZK. Evaluatie functioneren • Criterium N: Het toepassen van een methodiek om ICT investeringen departementsbreed te prioriteren in relatie tot de doelstellingen van de organisatie De prioritering van projecten wordt door de CIO als belangrijk onderdeel gezien van alignment. Dit blijkt uit observatie 30. Echter niet ieder departement hanteert hierbij dezelfde criteria. Zo is bijvoorbeeld niet altijd duidelijk in hoeverre de organisatiestrategie hierbij meegewogen wordt. Juist het prioriteren van projecten kan een belangrijk instrument zijn om te zorgen voor een zo optimaal mogelijke alignment. Hier kan immers, aan de hand van een businesscase, op basis van een rangschikking bepaald worden welk project het meeste bijdraagt aan de strategie van de organisatie en welk project het meeste revenuen behaalt. De meeste CIO’s geven aan dat zij pas recent zijn begonnen het instrument PPM departementsbreed in te zetten. Niet alle ICT-projecten die in een jaar voorgesteld worden hiermee bij ieder departement geprioriteerd. Soms zijn dit alleen de ICT-projecten van de bedrijfsvoeringkolom. De organisatie zelf en de CIO zijn vaak nog op zoek naar een manier waarop dit instrument effectief en efficiënt ingezet kan worden zonder de verhoudingen op scherp te zetten. Uiteindelijk kan het proces gebruikt worden om gezamenlijk een discussie te voeren over het belang van deze projecten. Indien dit instrument meer volwassen is, kan het ook gebruikt kunnen worden om performance management verder te verbeteren. Nu hebben uitkomsten van projectenevaluaties geen invloed op de budgetallocatie voor nieuwe projecten. Conclusie 20: Het prioriteren van projecten is op dit moment een belangrijk instrument van alignment om discussie tussen de eindgebruikerorganisatie en de CIO te realiseren. De inzet van PPM voor het prioriteren van projecten is nog niet volwassen. Omdat rijksbreed (nog) niet met dezelfde criteria wordt gewerkt is het niet mogelijk om te bepalen wat de reikwijdte is van deze prioritering. Hiermee is onduidelijk of de strategie van de organisatie, essentieel voor alignment, significant meegewogen wordt. Criterium O, P en Q spelen nagenoeg geen rol in het functioneren van de CIO, zie observatie 32 en 33. Dit betekent dat uniforme alignment processen nog niet aanwezig zijn, rendement van ICTprojecten over het algemeen niet wordt gemeten en de inbedding van ICT-processen in Management en P&C-processen nog weinig voorkomt. Uit de evaluatie van risicobeheersing blijkt dat enkele CIO’s hun rol primair als een zware adviesrol beschouwen. Hiermee wordt gevraagd en ongevraagd geadviseerd over verschillende aspecten van het project. In hoeverre dit gezien kan worden als een bijdrage aan alignment is moeilijk te beoordelen. Daarvoor is er te weinig informatie verkregen uit de interviews. Sommige CIO's hebben bijvoorbeeld I-regisseurs of informatiemanagers aangesteld die samen met de opdrachtgever moet inventariseren welke ICT-behoeften er zijn in de beleidsorganisatie. De manier waarop de CIO deze adviesrol invult kan ertoe leiden dat er meer nadruk ligt op het behalen van de doelstellingen van een project en de rol die het project speelt bij het behalen van de organisatiedoeleinden of juist meer nadruk ligt op de beheersbaarheid van het project en daarbij behorende risico’s. Hierbij speelt het project zelf ongetwijfeld een grote rol. Afhankelijk van de ontwikkelingen en knelpunten in een project zal de CIO hier een keuze in maken. Conclusie 21: De bijdrage die de adviesfunctie levert aan alignment is niet eenduidig per departement. Er zijn, als onderdeel van de adviesrol, binnen departementen initiatieven ontplooid die de afstemming van behoefte aan ICT met de beleidsdirecties moeten faciliteren.

Pagina 67 van 81



6.3 Beantwoording deelvragen In deze paragraaf worden alle deelvragen beantwoord op basis van de verzamelde gegevens. Theorie 1. Welke modellen zijn er beschikbaar vanuit de literatuur over de definitie, aandachtsgebieden en positionering van een CIO? 2. Welke uitwerking is er van toepassing om kwaliteitsborging en risicomanagement binnen grote ICT-projecten te beheersen? De antwoorden op deze twee theoretische deelvragen is gegeven door middel van het opstellen van het evaluatiekader, zie bijlage 1. In dit evaluatiekader is aan de hand van het literatuuronderzoek een uitwerking gemaakt naar mogelijke aandachtsgebieden van een CIO en kwaliteitsaspecten rondom de positie van een CIO. Ook is het begrip risicomanagement onderzocht in relatie tot het aangrenzende begrippenkader zoals IT Governance, Project Portfolio management en informatievoorziening. Hetzelfde is gebeurd voor kwaliteitsborging en de relatie met alignment. De conclusie is dat er geen eenduidig toepasbaar model is dat rekening houdt met alle genoemde onderwerpen van het onderzoek. Ook zijn er weinig modellen die zich specifiek richten op CIO’s in de publieke sector. Wat betreft de aandachtsgebieden, dus de strategische prioriteiten van de CIO, blijken innovatie, PPM, alignment en strategisch beleid het meest genoemd te zijn in relevante onderzoeken. Voor de positie van de CIO is de mate waarin hij zijn toezichthoudende taken kan uitvoeren van belang. Hier zijn geen concrete modellen voor. Autoriteit en het scheiden van uitvoering en toezicht zijn hier als onderzoeksaspecten gedefinieerd. Risicobeheersing in ICT projecten binnen de overheid is door de AR meerdere malen onderzocht. De onderzoeksaspecten van risicobeheersing zijn dan ook grotendeels afkomstig uit de onderzoeken van de AR en hebben betrekking op het beheersen van projectrisico’s, het gebruik van projectmethodieken en het inzetten van auditinstrumenten. De onderzoeksaspecten van kwaliteitsborging komen voort uit het gebruik van alignment als belangrijkste factor. Zonder alignment tussen organisatie en ICT, is de kwaliteit van een ICT-project per definitie niet goed geborgd. De onderzoeksaspecten van alignment komen voort uit onderzoek van Cumps (2007) waarin de optimale werkwijzen voor alignment zijn geanalyseerd. Deze aspecten hebben vooral betrekking op het prioriteren van ICT-investeringen, het afstemmen van alignment processen en het eigenaarschap van ICT-projecten. 3. Welke criteria voor kwaliteitsborging en risicomanagement kunnen worden geïdentificeerd? In het evaluatiekader, opgenomen in bijlage 1, is voor ieder onderzoeksaspect een criterium benoemd. Het evaluatiekader wordt gebruikt als referentie voor de evaluatie van de opzet en het functioneren van de CIO. Empirie 4. Welke invulling wordt gegeven aan de rol van CIO’s in het besluit van BZK? Op basis van de brief van de minister van BZK van december 2008, waarmee de rol van CIO is ingesteld, is geanalyseerd wat de invulling van de rol van CIO in de praktijk zou moeten zijn. Uit conclusie 11 van de evaluatie blijkt dat er in de opzet van de rol veel nadruk ligt op risicomanagement. Alignment wordt vorm gegeven door de adviesrol van de CIO en het professionaliseren van het opdrachtgeverschap waarmee de opdrachtgever beter in staat zou moeten zijn de alignment in projecten te optimaliseren. 5. Welke taken bevoegdheden en verantwoordelijkheden hebben de huidige CIO’s op dit moment en welke ontwikkelingen kunnen worden geïdentificeerd? Uit de evaluatie, die gebaseerd is op de verkregen informatie uit de individuele interviews met CIO’s of plaatsvervangend CIO’s, blijkt dat 9 van de 11 CIO’s eind 2008 of begin 2009 zijn gestart met hun rol. Hun functie en daarmee positie verschillen, evenals de keuze voor een stelsel van CIO’s of een

Pagina 68 van 81



individuele CIO per departement. De CIO’s hebben meerdere rollen die soms conflicteren. In de praktijk gaat de CIO hier pragmatisch mee om en worden er geen problemen ondervonden. Uit conclusie 7 van de evaluatie blijkt dat er in het besluit van BZK geen duidelijk mandaat aan de CIO is gegeven. Conclusie 5 geeft aan dat projecten portfolio management, interdepartementale afstemming en het prioriteren van projecten belangrijke activiteiten zijn waar de CIO veel focus op legt. Dit is ook logisch gezien de behoefte aan overzicht en samenhang voordat er effectief gestuurd kan worden. Voor CIO’s die al langer in hun rol functioneren is de focus op portfoliomanagement minder relevant, zij hebben het overzicht al gerealiseerd en ingebed in de projectprocessen, bijvoorbeeld in de vorm van een portfoliomanager. Er wordt veel gebruik gemaakt van de adviesrol om toegevoegde waarde te kunnen realiseren als CIO. Sturen vanuit een controlperspectief wordt niet opportuun geacht omdat men eerst gezag moet opbouwen, vooral bij de beleidsdirecties. Conclusie 8 geeft aan dat CIO's het als hun primaire taak zien om politieke risico's te mitigeren. Evaluatie 6. In welke mate wordt in het besluit van BZK gerefereerd aan geïdentificeerde criteria voor kwaliteitsborging en risicomanagement? Uit de evaluatie van het besluit van BZK blijkt dat de meeste van de genoemde taken van de CIO geschaard kunnen worden onder risicomanagement. In de brief is geen verwijzing gemaakt naar criteria. Er ontbreekt een duidelijk toetsingskader voor het afgeven van een oordeel over grote, meer dan 20 miljoen euro, ICT-projecten. Ook is niet beschreven in hoeverre een oordeel bindend is. Er wordt in de brief weinig nadruk gelegd op alignment. De adviesfunctie zou kunnen bijdragen aan zowel risicobeheersing als kwaliteitsborging. In het besluit is de adviesrol niet verder ingekaderd. Uit de beleidstheorie blijkt dat het beheersen van politieke, technische en organisatorische complexiteit belangrijke tussendoelen zijn die aan het besluit van BZK ten grondslag liggen. Deze worden echter niet uitgewerkt in het besluit van BZK tot instellen CIO.

7. In welke mate wordt in de praktijk van CIO’s bij de Nederlandse departementen voldaan aan criteria voor kwaliteitsborging en risicomanagement? Uit de evaluatie blijkt dat de CIO zijn rol over het algemeen invult als een adviesrol, overeenkomstig het besluit van BZK tot instellen CIO. Het dilemma tussen advies en control geeft aan dat de CIO in dit stadium van volwassenheid vooral stuurt op basis van deze adviesrol. Over het algemeen wil de CIO niet teveel vanuit een auditperspectief sturen. De CIO wil eerst gezag verwerven aan de hand van de toegevoegde waarde die geleverd kan worden met advies. Men is beducht voor de aversie tegen een controlerende instantie. CIO’s die langer in hun rol functioneren, sturen meer vanuit een control. Aan het afgeven van een oordeel voor grote projecten, zoals dat verwoord is in het besluit van BZK, is in de praktijk zelden uitvoering gegeven. Er is slechts enkele malen een oordeel afgegeven. Het besluit geeft geen verdere kaders voor het oordeel. Doordat het oordeel geldt voor grote projecten, is de reikwijdte beperkt. Uit de evaluatie blijkt dat drie van de vier aandachtsgebieden die als criterium zijn genoemd, van toepassing zijn op het functioneren van de CIO, zie conclusie vijf. Voor de positie van de CIO geldt dat geen van de criteria van toepassing is, zie conclusie drie en vier. De conclusies veertien tot en met achttien, voor het functioneren van de CIO op het gebied van risicomanagement, geven aan dat vijf van de zeven criteria van toepassing zijn. Instrumenten voor risicobeheersing worden niet uniform toegepast. Conclusie negentien geeft aan dat in het besluit van BZK alignment een kleine rol heeft. Het professionaliseren van het opdrachtgeverschap draagt bij aan alignment, maar concrete verbeterplannen zijn nog weinig tot uitvoer gekomen. Kwaliteitsborging wordt vooral vorm gegeven vanuit de adviesrol van de CIO

Pagina 69 van 81



Samenvattend kan worden gesteld dat door de CIO invulling wordt gegeven aan de helft van de criteria uit het gehele evaluatiekader. De mate waarin de CIO invulling geeft aan deze criteria is niet uniform.

6.4 Aanbevelingen Positie en aandachtsgebieden In het besluit van BZK tot instellen CIO is geen duidelijk mandaat voor de CIO gedefinieerd. Voor de positie van de CIO is het noodzakelijk dat zijn mandaat alsnog wordt vastgelegd. Op deze wijze kan voorkomen worden dat andere interne stakeholders geen volledig inzicht wordt gegeven in projectinformatie of dat de adviezen van de CIO niet opgevolgd worden. Aanbeveling 1: Stel het mandaat van de CIO interdepartementaal vast. De rol van CIO is niet uniform belegd. Zoals blijkt uit de elementen in het besluit van BZK, wordt de CIO geacht om advies te kunnen geven over ICT-projecten. Dit betekent wel dat een CIO een zeker inzicht moet hebben in de specifieke risico’s die zich voor kunnen doen bij ICT-projecten om zijn advies functie goed uit te kunnen voeren en gezag te verkrijgen. Ook het bewaken van de samenhang in informatievoorziening en het opstellen van rijksbrede kaders, architectuur en standaarden verlangt enige specifieke ICT-affiniteit. Van de CIO wordt ook verlangd dat hij ondersteunt bij audits en eisen stelt aan projectbeheersingsmethodieken. Aan de ene kant lijkt het hierdoor logisch deze rol te beleggen bij een functionaris die (onder andere) verantwoordelijkheid draagt voor ICT. Aan de andere kant zou, vanuit beheersingsperspectief, dit ook een rol kunnen zijn die past bij een concerncontroller. Dit voorkomt ook de rolvermenging van toezicht en uitvoering. Het is belangrijk dit opdrachtgeverschap voor generieke ICT los te kunnen zien van de adviesrol die zich over alle ICT-voorzieningen, dus ook voor beleidsdirecties, uitstrekt. Indien het beeld ontstaat dat ook de adviesfunctie zich beperkt tot generieke ICT, zou dit het verder uitbreiden van advisering over ICT ter ondersteuning van primaire beleidsprocessen in de weg kunnen staan. Aanbeveling 2: Onderzoek of de rol van CIO interdepartementaal uniform belegd kan worden, dit voorkomt een onevenwichtige nadruk op de advies- of controlrol. Gebruik hierbij de modellen die er zijn voor IT-Governance. Vele CIO's hebben aangegeven dat zij niet de tijd aan hun rol kunnen besteden die zij nodig achten, zie observatie 16. De nieuwe taakstellingen kunnen ervoor zorgen dat de rol van CIO niet volledig tot wasdom kunnen komen terwijl de rol wel toegevoegde waarde heeft. De verwachting is dat er meer ICT-projecten zullen worden opgestart die gedreven worden vanuit efficiency doelstellingen. Omdat het risico groot is dat alignment bij deze projecten minder prioriteit krijgt is juist dan de rol van een CIO van belang. Aantonen wat de toegevoegde waarde is van de CIO en het verder proberen te kwantificeren wat deze toegevoegde waarde precies is, kan hierbij helpen. Aanbeveling 3: Benadruk het belang van de CIO bij toekomstige ICT-projecten die gedreven worden vanuit efficiency doelstellingen. Risicomanagement De evaluatie maakt duidelijk dat het oordeel van een CIO in de praktijk nauwelijks geëffectueerd is. De oorzaak kan liggen in het hoge drempelbedrag waarbij het oordeel van een CIO noodzakelijk is of de mate waarin de CIO hier zelf invulling aan geeft. De CIO geeft zelf aan dat advies vooraf van grote toegevoegde waarde is; het oordeel kan hierbij een formelere afspiegeling zijn van dit advies. Om het oordeel effectief te laten zijn moet de CIO beter in staat worden gesteld dit instrument te gebruiken. Een standaard methodiek in de vorm van een toetsingskader kan hier behulpzaam zijn. Hierbij kan ook aan de verschillende dimensies complexiteit invulling worden gegeven in het oordeel. Ook is een mogelijkheid het drempelbedrag voor het oordeel te verlagen waardoor het afgeven van een oordeel eerder toegepast wordt.

Pagina 70 van 81



Aanbeveling 4: Borg dat het oordeel frequenter wordt afgegeven door het gebruik van een standaard methodiek en overweeg een verlaging van het drempelbedrag. Uit conclusies 14 en 18 blijkt dat het gebruik van auditinstrumenten en het toepassen van een risicoprofiel niet uniform is. Hierdoor is de sturing op risicobeheersing niet optimaal. Aanbeveling 5: Stel interdepartementale richtlijnen vast voor het bepalen van het risicoprofiel en het inzetten van auditinstrumenten en beleg de rol van de auditdienst hierbij. Het gebruik van PPM binnen de departementen is nog niet overal volwassen. Slechts bij een enkel departement is er een portfoliomanager die PPM ook inzet als risicobeheersingmethodiek. Aanbeveling 6: Stel per departement een rol van Project Portfolio Manager aan. Deze rol moet de inzet van PPM voor het bereiken van samenhang in alignment en risicobeheersing verder optimaliseren. De affiniteit met ICT in bestuursraden is volgens de CIO’s niet optimaal. Het ICT-dashboard zou hierbij kunnen helpen. Het ICT-dashboard is binnen enkele departementen ingezet. Er wordt aangegeven dat het instrument nog niet optimaal is ingezet en dat het nog niet geschikt is voor bestuursraden, zie observatie 24. Om de bestuursraden meer te betrekken bij ICT-projecten kan een dergelijk dashboard van grote toegevoegde waarde zijn. Aanbeveling 7: Ontwikkel het ICT-dashboard verder en borg dat het toegevoegde waarde levert voor bestuursraden. Kwaliteitsborging Prioritering van ICT projecten in relatie tot de strategie van de organisatie wordt bij nagenoeg ieder departement toegepast. De criteria die hierbij gehanteerd worden verschillen. Dit tast de kwaliteit aan van het proces. Om deze kwaliteit te verbeteren en interdepartementale samenhang te creëren is het van belang uniforme criteria te gebruiken in het prioriteringsproces. Aanbeveling 8: Stel interdepartementaal uniforme criteria vast voor de prioritering van ICT-projecten De wijze waarop alignment vorm krijgt verschilt per departement. Het principe van I-regisseurs of informatiemanagers wordt binnen enkele departementen toegepast om de alignment met de beleidsprocessen verder te verstevigen. Het toepassen van een dergelijke alignment methode kan verder geüniformeerd worden. Hierbij moet wel onderzocht worden of een dergelijke methode ook door de opdrachtgevers als toegevoegde waarde wordt gezien. De leereffecten kunnen dan dienen om deze methodiek verder te optimaliseren Aanbeveling 9: Onderzoek het rendement van I-regisseurs of informatiemanagers en analyseer of het mogelijk is dit interdepartementaal uniform toe te passen Uit de evaluatie blijkt dat er weinig aandacht is voor het meten van het rendement van ICT-projecten. Dit is wel van toegevoegde waarde. Indien resultaten van projecten meegenomen worden om nieuwe projecten te (her-) prioriteren, dan kan dit een extra stimulans zijn om projecten beter te laten renderen. Uit het onderzoek van Cumps (2007) blijkt dit bij te dragen aan een optimale alignment. Aanbeveling 10 Maak gebruik van performance management om het rendement van ICT-projecten te meten. Gebruik dit als input voor het proces van prioriteren van ICT-projecten.

.

Pagina 71 van 81



6.5 Vervolgonderzoek Het uitgevoerde onderzoek heeft zich gericht op een specifieke onderzoeksvraag. Hierdoor is er een aantal onderzoeksvragen tijdens het onderzoek geïdentificeerd die echter niet tot de scope behoorden. Ook zijn er tijdens het onderzoek politieke koerswijzigingen geweest waarbij wetenschappelijk onderzoek een ondersteuning zou kunnen zijn. Deze relevante onderzoeksvragen zullen achtereenvolgens toegelicht worden. Dit onderzoek is gebaseerd op de interviews die zijn afgenomen met 11 van de 13 CIO’s binnen de rijksoverheid. Ten tijde van dit schrijven is een nieuwe kabinetsformatie bijna afgerond. Binnenkort zullen naar alle waarschijnlijkheid een aantal departementen samengaan of deels samengaan. Een relevante onderzoeksvraag is welk effect dit zou kunnen hebben op de huidige opgebouwde kracht van de CIO en hoe de inzet van de CIO bij deze samenvoegingen en na deze samenvoegingen zo effectief mogelijk kan zijn. Hierbij kan een specifieke deelvraag zijn hoe verdere uniformering van het instrumentarium (zie aanbeveling 5) hierbij van toegevoegde waarde zou kunnen zijn. Het feit dat voor dit onderzoek gesproken is met de CIO's en niet met andere belanghebbenden is een beperking van de onderzoeksmethodiek genoemd. Een vervolgonderzoek zou zich wel kunnen richten op deze belanghebbenden zoals opdrachtgevers, bestuursraden, RAD, AR en het CIO-office. Dit kan nieuwe inzichten geven in het functioneren van de CIO. Bij de beantwoording van deelvraag 7 is het dilemma tussen advies en control aangehaald. Uit de evaluatie blijkt dat de CIO liever niet vanuit de control-kant wil sturen. De reden hiervoor lijkt te zijn dat de CIO van mening is meer draagvlak op te kunnen bouwen door vanuit de zachte advieskant te acteren. De vraag die dit oproept is wat effectiever is. Hierbij is het relevant zoveel mogelijk te kwantificeren waar de adviezen zich op richten en in hoeverre het advies van de CIO daadwerkelijk bijdraagt aan een optimale alignment. Hierbij kan er specifiek onderzoek gedaan kunnen worden naar de inzet van I-regisseurs of informatiemanagers die nu bij een aantal departementen functioneren (zie aanbeveling 9). Een tweede deelvraag hierbij zou kunnen zijn of de CIO in een latere volwassenheidsfase alsnog beter op de control kant kan sturen omdat dan het gezag verworven is en een oordeel niet meer als bedreigend wordt ervaren. Als onderdeel van paragraaf 5.5 "Conclusie Praktijkanalyse" is de positionering van de CIO aan de orde gekomen. Hierbij is toegelicht dat een stelsel van CIO’s binnen een departement een ander vorm van sturing vraagt dan de sturing van een autonome CIO. De keuze om per departement voor een stelsel of een autonome CIO te kiezen kan onderzocht worden aan de hand van leiderschapstijlen die vallen onder het kennisgebied van IT-Governance. In het licht van de zeer waarschijnlijke samenvoeging van een aantal departementen kan een analyse van de leiderschapstijl bijdrage aan een eventuele (her-) inrichting van het CIO model per departement. Interne en externe informatievoorziening zijn ontegenzeggelijk een belangrijk aspect in een sturingsvraagstuk. In de probleemverkenning is aangegeven dat informatievoorziening een belangrijke politieke faalfactor om de status van het project bij de Tweede Kamer op de juiste wijze onder de aandacht te kunnen brengen en mogelijkheden te benutten om vanuit politiek perspectief bij te (laten) sturen. Hierbij is het aspect communicatie belangrijk. Een onderzoek naar de effectiviteit en efficiency van zowel interne als externe informatievoorziening zou een bijdrage kunnen leveren aan verdere optimalisatie. Hierbij valt te denken aan een verdere uniformering van de uitvraag en het aanleveren van informatie en de wijze waarop deze wordt gepresenteerd, eventueel met behulp van een management dashboard.

Pagina 72 van 81



7 Tot besluit In dit hoofdstuk wordt teruggekeken op het uitgevoerde onderzoek en de competenties als bestuurskundige die daarbij in de praktijk zijn gebracht. Om continue te kunnen leren is het van belang om te evalueren en te leren van de verbeterpunten. Overigens niet iets waar de overheid bekend om staat. Ook in dit onderzoek blijkt dat er veel laaghangend fruit is waarmee redelijk snel en efficiënt verbeteringen doorgevoerd kunnen worden. Het is jammer als er niet de tijd voor wordt genomen om zorgvuldig te inventariseren wat er van voorgaande onderzoeken of adviezen geleerd kan worden en waarom aanbevelingen in de praktijk niet overgenomen zijn. Hopelijk brengen de huidige politieke veranderingen ook ruimte om te leren en te verbeteren. De CIO’s hebben intern behoefte aan samenhang, samenhang op interdepartementaal niveau zou op dit moment ook van groot belang kunnen zijn. De kwaliteitscirkel van Deming is in dit perspectief niet alleen relevant is voor organisaties, maar ook voor persoonlijke verbetering. Ook op persoonlijk niveau kan een “plan-do-check-act” mechanisme toegevoegde waarde leveren. Hieronder een aantal persoonlijke reflectiepunten.

Figuur 11 Demingcycle. (Deming, 1986)

Een product van deze scriptie zijn de uitgeschreven interviewmanuscripten. Tijdens het uitschrijven hiervan werd ik persoonlijk geconfronteerd met mijn interviewtechnieken. CIO’s hebben vaak zeer interessante verhalen. Het is echter een competentie om op de juiste momenten door te vragen. Tijdens het verwerken heb ik nu en dan spijt gehad van vragen die ik niet heb gesteld of mijn soms onhandige vraagstellingen of zelfs suggestieve vragen. Als reflectiepunt wil ik nog noemen het aspect van framing. Sommige onderwerpen of situaties maken dat je een onderwerp vanuit een eigen kader beschouwd. Voorafgaand aan het onderzoek dacht ik mij bewust te zijn van mijn bias. Als voormalig auditor had ik mij reeds een beeld gevormd van het functioneren van een CIO in optimale vorm. Tijdens de eerste interviews kwam ik al snel tot de conclusie dat de situatie in de praktijk niet was zoals van tevoren verwacht. Niet alleen de theoretische modellen van risicobeheersing maar ook mijn zelfbedachte “soll-situatie” kwam niet overeen met de “ist-situatie”. Het was voor mij een leerpunt om het onderwerp niet strikt te benaderen vanuit auditperspectief maar de complexiteit van dit onderwerp in breed perspectief te beschouwen. Als bestuurskundige ligt hierin juist de kracht, om de complexiteit van maatschappelijke onderwerpen vanuit alle facetten te kunnen belichten. Het interviewen van 11 CIO’s heeft veel opgeleverd. Dankzij hun zienswijzen besef ik me hoe interessant het vakgebied is van de CIO. Juist het koppelvlak van advies, toezicht, IT en organisatie blijft een ontzettend interessant onderwerp met vele zienswijzen. Deze scriptie heeft dat voor mij nogmaals bevestigd, evenals mijn bewondering voor het werk van de CIO die in een complex spanningsveld een zo optimaal mogelijke bijdrage probeert te leveren aan de rijksoverheid. Tot slot een uitspraak die van toepassing kan zijn op het lerend vermogen van de overheid: Al wat verstandig is, is al gedacht; men moet enkel proberen het nog een keer te denken (Johann Wolfgang von Goethe).

Pagina 73 van 81



Literatuur Algemene rekenkamer. (2006). Grip op informatievoorziening IT-governance bij ministeries, Tweede Kamer, vergaderjaar 2005–2006, 30 505, nrs. 1–2 Algemene Rekenkamer. (2007). Lessen uit ICT-projecten bij de overheid deel A. Algemene Rekenkamer. (2008). Lessen uit ICT-projecten bij de overheid deel B. Bekkers, V. (2007). Beleid in Beweging, Lemma Den Haag. Bon, J.van. (2009). IT Service Management Best Practices Gold Edition, Van Haren Publishing, Zaltbommel. Chun, M., Mooney, J. (2009). CIO roles and responsibilities: Twenty-five years of evolution and change. Information and Management 46: 323-334. Cumps, B., Martens, D., De Backer, R., Haesen, R., Viaene, S., Dedene, G., Baesens, B., Snoeck, M.,(2007). Predicting business/ICT alignment with AntMiner+. KBI0708 Department of Decision Scienses and Information Management (KBI), Katholieke Universiteit Leuven. Deming, W. Edwards. (1986). Out of the Crisis. MIT Press. Emmanuel, D., Otley, D. & Merchant, K. (1990). Accounting for Management Control, 2nd edn London: Chapman and Hall. Fijneman, R.,Hang Ho,K.,Lindgreen, E.R. (2008). IT Auditing, SDU Uitgevers, Den Haag Homburg, V. (2008). Understanding e-government. Routledge, Londen en New-York. Jeffery, M., Lelieveld, I. (2003). Research IT Portfolio management, Challenges and Best practices. Kellogg School of Management. KPMG. (2004). Programmamanagement leidt tot betere resultaten, KPMG information Risk Management, Amsterdam. KPMG. (2005). Global IT Project Management Survey. KPMG IT Advisory. Amsterdam Lawry, R., Waddell, D. Singh, M. (2007). Roles, Responsibilities and Futures of Chief Information Officers (CIOs) in the Public Sector. Proceedings of European and Mediterranean Conference on Information Systems 2007 (EMCIS2007), Polytechnic University of Valencia. Luftman, J. (2000). Assessing Business-IT Alignment Maturity. Communications of the Association for Information Systems Volume 4, Article 14. Maes, R. (2003). Informatiemanagement in kaart gebracht . Prima Vera working paper 2003-02, Universiteit van Amsterdam Maes, R. (2005). Informatiemanagement: een provocatieve interpretatie. Prima Vera working paper 2005-04, Universiteit van Amsterdam Maes, R. de Vries, E.J. (2008). Information Leadership: The CIO as Orchestrator and Equilibrist. International Conference on Information Systems (ICIS), Universiteit van Amsterdam. Martijnse, N. Noordam, P. (2007). Projectmanagement: lessen uit falende en succesvolle ICTProjecten. MCA (management Control & Accounting) April 2007, nummer 3

Pagina 74 van 81



Miles, M.,Huberman, E. (1994). Qualitative Data Analysis: an expended source book. Sage Publications Inc. Reyck, B. De, Grushka-Cockayne,R., Locket,M. Calderini,S.R., Moura,M., Sloper,A. (2005). The impact of Project Portfolio management on Information Technology Projects. International Journal of Project Management 23 (2005) 524-537 Robbins, S.P. (2006). Gedrag in organisaties. Pearson Education Benelux, Amsterdam. Tseng, T.Y., Yen, D.C., Hung, Y-C., Wang, N.C.F. (2008). To explore managerial issues and their implications on e-Government deployment in the public sector: Lessons from Taiwan’s Bureau of Foreign Trade. Government Information Quarterly 25. Tweede Kamer. (2008), vergaderjaar 2008-2009: 26643 nr 135 Wars, M.A., Mitchell, S. (2004). A comparison of the strategic priorities of public and private sector information resource management executives. Government Information Quarterly 21. United States Government Accountability Office-GAO. (2005). Chief Information Officers Responsibilities and Information and Technology Governance at leading Private-Sector companies.GAO-05-986. United States Government Accountability Office-GAO. (2004). FEDERAL CHIEF INFORMATION OFFICERS Responsibilities, Reporting Relationships, Tenure, and Challenges.GAO04-823.

Internet bronnen Bushell, S. (2006). Government CIO role still developing. http://www.cio.com.au/article/154321/government_cio_role_still_developing_australia_ahead_pack?ei d=-601. Bekeken op 11 december 2009 Capegroep. (n.d.) Duivelsvierkant http://www.capegroep.nl/images/duivelsvierkant.gif. Bekeken op 23 juli 2010 Dekker, V. (2007). Automatisering slokt miljarden euro’s op. Trouw, 3 juni 2007 http://www.trouw.nl/nieuws/economie/article1247195.ece. Bekeken op 6 oktober

2010. Digitaal Bestuur. (2009). Collegiale klap op ICT-projecten. http://digitaalbestuur.nl/db-diep/collegiale-klap-op-ict-project. Bekeken op 6 december 2009. DGOBR. (n.d) Organogram. http://www.rijksoverheid.nl/ministeries/bzk/organisatie/organogram/directoraat-generaal-organisatieen-bedrijfsvoering-rijk. Bekeken op 6 december 2009. Federal Chief Information Officers Council USA. (n.d.). Clinger Cohen act. http://www.cio.gov/library/documents_details.cfm?id=ClingerCohen%20Act,%20February%2010,%201996&structure=Laws,%20Regulations,%20and%20Guidanc e&category=IT%20Related%20Laws%20and%20Regulations. Bekeken op 6 december 2009. HEC. (2009). De e-overheid in internationaal perspectief: doen de Belgen het echt beter?. www.hec.nl/getfile.php?f=197. Bekeken op 4 november 2010 PM. (2009). Kamer scherpt ICT-toezicht aan. http://www.pm.nl/index.php?page=kamer-scherpt-ict-toezicht-aan. Bekeken op 6 oktober 2009. Rijksoverheid.nl.(n.d.). Innovatie en ICT in het onderwijs.

Pagina 75 van 81



http://www.rijksoverheid.nl/onderwerpen/innovatie-en-ict-in-het-onderwijs. Bekeken op 30 september 2009. United States Government. (n.d.) Federal IT-dashboard USA http://it.usaspending.gov. Bekeken op 9 februari 2010 Vernieuwing Rijksdienst. (n.d.). Efficiënte Bedrijfsvoering/ICT. http://www.vernieuwingrijksdienst.nl/onderwerpen/interdepartementale/efficiente/ict Bekeken op 6 oktober 2009.

Pagina 76 van 81



Bijlage 1 Evaluatiekader Tabel 4 Evaluatiekader

OnderwerpOnderzoeksaspect

Criterium

Interviewvragen

Strategisch beleid als aandachtsgebied CIO Innovatie als aandachtsgebied CIO PPM als aandachtsgebied CIO Alignment als aandachtsgebied CIO

Wat zijn uw aandachtsgebieden als CIO? (Denk aan innovatie, strategisch beleid, PPM etc) Zie B Zie M Zie N-R

Voldoende mandaat op zowel bedrijfsvoerings- als beleidsniveau

Waar is uw functie als CIO gepositioneerd in de organisatie? Ziet u ook toe op ICT beleidsprojecten?

Geen vermenging van rolbelangen (pettenprobleem)

Heeft u ook activiteiten of verantwoordelijkheden die niet onder de rol van CIO vallen?

Aandachtsgebied CIO

A B C D

Strategisch beleid Innovatie Project Portfolio management (PPM) Alignment

Positie CIO

E Autoriteit

Functiescheiding/toezicht versus F uitvoering Risicobeheersing

G Definiëring projectrisico's (evt mbv PPM) Inzichtelijkheid projectrisico's Continue beheersing projectrisico's (evt Beheersing van projectrisico's H mbv PPM)

I Naleving projectmethodiek

Gebruik van incidentele en periodieke J projectrapportages Voortgangscontrole en bijsturing in K projecten

Op welke wijze houdt u zich bezig met projectrisico's? Hoe vond dit voor "CIO tijdperk"plaats?

Adequate informatievoorziening projecten

Zie G Ziet u toe op het gebruik van een standaard projectmethodiek? Op welke wijze en wie verschaft u informatie en aan wie over de lopende projecten?

Adequate informatievoorziening projecten

Zie J

Beheersing projectmanagementprocessen

L Uitvoeren van Audits op projecten

Audits worden op adequate wijze ingezet en opgevolgd

M Gebruik van PPM

PPM wordt in samenhang met risicomanagement benut

Geeft u voorafgaand aan ICTProjecten een oordeel? Ook in het verloop van het project? Welke rol speelt PPM in uw functie? Is dat veranderd sinds uw aantreden als CIO?

Alignment

Een methodiek wordt toegepast om ICT investeringen Het prioriteren van ICT investeringen in departementsbreed te prioriteren in relatie tot de N relatie tot de strategie van de organisatie doelstellingen van de organisatie Afstemming alignment processen op O centraal en decentraal nivo Performance management versus P budget allocatie

Uniforme alignment processen Rendement van ICT-projecten wordt gemeten

Verwevenheid organisatie-, ICT planning Inbedding ICT-processen in management en planning en control processen Q en management processen

R Beleggen eigenaarschap ICT-projecten

Afspraken opdrachtgever-en opdrachtnemerschap ICTProjecten

Pagina 77 van 81

Op welke wijze de afstemming van investeringen in ICT in relatie tot strategie van de organisatie plaats? Is er sprake van uniforme alignment processen door de gehele organisatie? zie N Op welke manier is ICT standaard onderdeel van planning en management processen? Zijn er uniforne processen voor opdrachtgever- en opdrachtnemerschap in ICTprojecten?



Bijlage 2 Gegevensanalyse aandachtsgebieden, positie en rol CIO Tabel 5 Gegevensanalyse aandachtsgebied en positie rol CIO

CIO

CIO

Eén centrale CIO. Wordt onderzocht of CIO's lager in de organisatie nuttig zijn. Meerdere jaren; eerder dan verplichting Geen ICT Beheersing kwaliteit, tijd en geld.

Stelsel;eigen Cio per specifieke sector en een departementale CIO verplichting tot CIO (december 2008) ICT

Eén centrale CIO

Belangrijkste aandachtgebieden

1 plv CIO Stelsel; per agentschap en 1 overkoepelende Cio die door 2 personen wordt uitgevoerd. Eventueel ook per project, afhankelijk verplichting tot CIO (december 2008) Geen ICT Kwaliteitsverbeteri ng door standaardisering

Verbinden en coordineren

Projectbeheersing en advisering Standaardisering

CIO-office

Virtueel (per CIO ikv stelsel CIO's)

Virtueel

virtueel

virtueel

Soort CIO

Aantal CIO's per departement

Effectief sinds Achtergrond

2

3

4 plv CIO

vlak voor verplichting nb

5 CIO

Eén centrale CIO en één CIO voor een agentschap. verplichting tot CIO (december 2008) Bedrijfsvoering

Virtueel

6 CIO (functie ipv rol) CIO

Eén centrale CIO

1 februari 2010 Organisatiekunde

Twee CIO's: een coordinerend rijksCIO en een CIO voor interne gerelateerde projecten verplichting tot CIO (december 2008) Beleid

Risico-control en advies Procesbesturing Eigen CIO-office (in opbouw) maar ook Eigen FTE en virtueel. virtueel

Pagina 78 van 81

7

8 Plv. CIO

Eén centrale CIO verplichting tot CIO (december 2008) Beleid borging van een goede kwalitatieve ICT Direct onder CIO (doet ook strategie)

9

10

11

CIO

CIO

CIO

Eén centrale CIO verplichting tot CIO (december 2008) nb en documentman agement

Eén centrale CIO

Virtueel

Virtueel

Eén centrale CIO verplichting tot CIO (december 2008) nb Governance, Innovatie en Compliance Eigen CIOoffice maar ook virtueel.

2003 Beleid Verbinden en coordineren



Bijlage 3 Semantische analyse aandachtsgebied en positie rol CIO Tabel 6 Semantische analyse aandachtsgebied en positie rol CIO

Onderwerp Onderzoek saspect Aandachtsgebied CIO Aandachtsgebied CIO: A Strategisch beleid

Semantische code

Negen vlaks model Informatie/ICT-beleid Visie Samenhang Totale frequentie

B

Aandachtsgebied CIO:Innovatie

C

Aandachtsgebied CIO: Project Portfolio management (PPM)

D

Aantal k eer genoemd

3 6 6 22 37

Innovatie Open Source Totale frequentie

7 2 9

Coördineren Overzicht Totale frequentie

6 19 25

Aandachtsgebied CIO: Alignment (Proces)ketens Primaire processen Verbinden Totale frequentie

9 31 13 53

Aandachtsgebied CIO: Anders

22 9 9 6 46

Architectuur Regie Generiek( e ICT) Digitalisering Totale frequentie

Kwaliteitsaspecten positie CIO E Autoriteit

F

Bestuursraad Budget(tering) Vertrouwen Macht Toegevoede waarde Mandaat/Bevoegdheid Open deur/Gesloten deur weerstand bedreiging Slagkracht Draagvlak positie Gesprekspartner Discussie Conflict Totale frequentie

39 21 9 9 14 8 6 2 1 1 1 18 2 21 6 158

Countervailing power/part Toezicht (Meerdere) petten of rollen FEZ Totale frequentie

3 5 20 16 44

Functiescheiding/toezicht versus uitvoering

Pagina 79 van 81



Bijlage 4 Semantische analyse risicobeheersing Tabel 7 Semantische analyse Risicobeheersing

Onderzoeksaspect Onderwerp Semantische code Aspect van Risicobeheersing Definiëring projectrisico's (evt mbv PPM) G Risico waarvan Politiek risico waarvan risicomanagement waarvan risicobeheersing waarvan risicoanalyse Totale frequentie Continue beheersing projectrisico's (evt mbv PPM) H Governance E-governance Complex (iteit) Beheersing Totale frequentie I

Naleving projectmethodiek

J

Gebruik van incidentele en periodieke projectrapportages

K

L

M

Aantal keer genoemd

64 4 9 7 2 64

16 2 1 14 33

Prince2 Criteria Methodieken Spelregels Standaarden/Standaardisering Totale frequentie

14 14 9 4 16 57

Rapportage/Rapporteren Transparantie Administratie Dashboard Totale frequentie

67 4 6 9 86

Voortgangscontrole en bijsturing in projecten Bijsturen Oordeel Spelregels Kaders (stellen) waarvan normen-/toetsingskader monitoren Totale frequentie

1 17 4 13 4 1 36

Uitvoeren van Audits op projecten Gateway reviews Auditdienst Audits Totale frequentie

17 10 5 32

Portfolio Overzicht Totale frequentie

39 19 58

Gebruik van PPM

Pagina 80 van 81



Bijlage 5 Semantische analyse alignment Tabel 8 Semantische analyse Alignment Aspecten van Alignment

N

Onderzoeksaspect Het prioriteren van ICT investeringen in relatie tot de strategie van de organisatie

O

Afstemming alignment processen op centraal en decentraal niveau

Onderwerp

P

Q

Semantische Code

Advies/Adviseren Samenwerking prioriteit/prioriteren/prioritering Voorkant Totale frequentie

43 8 12 16 79

Informatiemanagers I-regisseurs Totale frequentie

7 3 10

Performance management versus budget allocatie Middelen Kwaliteit Totale frequentie

11 28 39

Verwevenheid organisatieen ICT planning en management processen z Planning en control cyclus Totale frequentie

R

Aantal keer genoemd

Beleggen eigenaarschap voor ICTprojecten Opdrachtnemerschap Opdrachtgeverschap Opdrachtnemer Opdrachtgever Projectleider Proceseigenaar/eigenaar proces Totale frequentie

Pagina 81 van 81

7 7

2 8 10 52 17 11 100

De CIO rol binnen de Rijksoverheid

Recommend Documents