EVALUEREN VAN ICT PROJECTEN BIJ DE OVERHEID

30-5-2012

Evalueren van IT projecten bij de overheid

EVALUEREN VAN ICT PROJECTEN BIJ DE OVERHEID DOET ARCHITECTUUR MEE?

Wouter Bronsgeest 29 mei 2012 Center for eGovernment Studies (CFES)

1

30-5-2012

EVALUEREN VAN ICT PROJECTEN POSITIONERING EN MAATSCHAPPELIJKE RELEVANTIE

Positionering Vanaf jaren ‘80: diverse beleidsontwikkelingen op relatie overheid, gebruik van IT en effect van het gebruik van de IT. Actualiteit: mislukkende ICT projecten in het nieuws, rapportages van de rekenkamer, ICT barometer van grote projecten Maatschappelijke relevantie: Burgers vragen om inzicht en transparantie Overheid zelf wil goede voorbeeld geven. Kent tevens een eigen kwaliteitsnorm en taakstelling (intrinsiek en extrinsieke motivatoren) Professionals: van verantwoorden naar adviseren Evalueren van IT projecten bij de overheid

EVALUEREN VAN ICT PROJECTEN WETENSCHAPPELIJKE RELEVANTIE

Hoe evalueert de overheid ICT projecten? Kun je een generiek (evaluatie-) instrument inzetten bij zowel overheid als niet-overheid? Bestuurswetenschappelijk element: is er verschil tussen publieke en private organisaties, en moet je daarop je instrumentarium aanpassen (management, besturing, evaluatiemethoden)? ‘running government like a business is probably the most crude and compact translation in managerialese of the adoption of market principles in public management’ (F.P. Cerase)


2

30-5-2012

PROBLEEMSTELLING DOEL ONDERZOEK

Leveren van kennis over de wijze waarop projecten met een ICTcomponent binnen overheidsorganisaties geëvalueerd worden Vaststellen of de wijze van evalueren beantwoord aan de eisen en wensen die voor dergelijke evaluaties gesteld worden Vergroten van inzicht in de wijze waarop binnen overheidsorganisaties evaluaties kunnen worden uitgevoerd.


PROBLEEMSTELLING VRAAGSTELLING ONDERZOEK

Welke evaluatie-instrumenten zijn er voor het doen van evaluaties voor projecten met een ICT component binnen organisaties en wat zijn daarvan de kaders en criteria. Welke veronderstellingen en theoretische kennis ligt ten grondslag aan deze instrumenten. Welke kenmerken hebben evaluaties die binnen overheidsorganisaties zijn uitgevoerd, en hoe verhouden die zich ten opzichte van de theorie. Welke extra eisen zijn er voor overheidsorganisaties te formuleren ten aanzien van het uitvoeren van evaluaties?


3

30-5-2012

PROBLEEMSTELLING OBJECT VAN ONDERZOEK

ICT-Project: Projecten met een ICT component: het traject vanaf een business case tot en met ICT-realisatie en implementatie. Het betreft dus de gehele IV (Informatievoorzienings-) keten Te onderzoeken: Survey van evaluatierapporten.


EVALUATIETHEORIE SOORTEN INSTRUMENTEN

Evalueren is een multidisciplinair vakgebied Instrumenten <> werkwijzen Instrumenten / frameworks / methoden / kwaliteitsmodellen…… Dus ook:


4

30-5-2012

EVALUATIETHEORIE SOORTEN EVALUATIES

Formatief versus Summatief Conformance versus Performance Professioneel versus Amateur Intrinsiek versus Payoff

‘Evaluation is the systematic assessment of an object’s merit, worth, probity, feasability, safety, significance and/or equity’ (Stufflebeam & Shinkfield, 2007)


EVALUATIETHEORIE GROEPERING VAN INSTRUMENTEN

Soort evaluatie: terugkijken of vooruitkijken Toepassing van het instrument: alleen meten of ook (vooraf) inrichten? Vakinhoudelijk: welke discipline? IT Auditing Governance Volwassenheid Kwaliteitsmanagement Projectmanagement en porftolio Beheer van ICT Organisatiegedrag Evalueren van IT projecten bij de overheid

5

30-5-2012

BEVINDINGEN EVALUEREN ARCHITECTEN?

In projecten? Ja: In projecten die zichzelf evalueren of zich (moeten) laten evalueren (IT-) Beveiligingsaudits In diverse architectuurprojecten en –trajecten (ArchiValue, EARI)



Vanuit het vakgebied (TOGAF)? Een beetje Migration planning: Assess and Align (14.4.2.) Performance Evaluation Criteria & ROI-criteria Implementation Governance: Post implementation review (15.4.6.) Gap analysis De audit in relatie tot security (21.3) Evaluatie criteria voor tooling (42.3) Compliance Reviews (48.5)


6

30-5-2012


Vanuit het vakgebied (Ross, Weill & Robertson, 2006)? Een beetje Feedback loop met ideeën en resultaten uit exploitatie (H.1) Gegeven (!) Learning Requirements (zie p. 83) Vanuit het vakgebied (Van der Sanden & Sturm, 2000)? Een beetje Architecten worden vaak niet bij vervolgtraject betrokken Archtectuurmonitoring…? Wel: besturingsparadigma met feedbackloop



Vanuit het vakgebied : Architecture Maturity Model (AMM): Alleen op level 5 wordt er ‘continu verbeterd’.


7

30-5-2012


In de Gateway methode en rapporten? Neen. In Evaluatie- of Auditrapporten van de overheid? Bevinding tot op heden….Nee. Op basis van steekproef, met als resultaat de volgende aantallen: Commerciële auditor

Kennisinstelling als auditor

Eigen (audit-) dienst

Totaal

Departementaal

17

9

20

46

Uitvoeringsorganisaties

3

6

10

19

Gemeenten

5

7

14

26

Totaal

25

22

44

91



Architectuur als indicator in generieke ‘frameworks’ in gebruik voor evaluaties? Zelden. Wel in: CobiT, Algemene Rekenkamer, ITIL en Gartner Business Value Framework Onderzocht: 55 instrumenten die aantoonbaar worden gebruikt voor evalueren van projecten met IT component.


8

30-5-2012

LITERATUUR AANZET VOOR ACHTERGRONDINFORMATIE

Algemene Rekenkamer, Lessen uit ICT-projecten bij de overheid, deel A, 29 november 2007 Denhardt, R.B., Theories of Public Organization, Thomson Wadsworth, Belmond, California, 5th edition, 2008 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK), Informatiseringsbeleid Rijk DGOBR, Informatiseringstrategie (I-Strategie) Rijk, Kenmerk 2011-2000509680, Den Haag, 15 november 2011 (b) Rauch, H., Harkema, J., Evaluatie Maatregelen grote ICT projecten, Cap Gemini, Versie 1, 14 oktober 2010 Stufflebeam, D.L., Shinkfield, A.J., Evaluation, Theory, Models & Applications, Jossey-Bass, San Francisco, USA, 2007 Wetenschappelijke Raad voor het Regeringsbeleid (WRR), iOverheid, Amsterdam University Press, Den Haag/Amsterdam, 2011 Evalueren van IT projecten bij de overheid

9

EVALUEREN VAN ICT PROJECTEN BIJ DE OVERHEID

Recommend Documents