Figuur 1: Vraag q(z) bij verschillend
(prijs-)kwaliteit aanbod en
indifferentie veld U
Een doelgericht beleid is enkel mogelijk, wanneer men weet wat de uitwerking is. Sturen moet samengaan met meten, via een monitor of management by objective. De huidige column verklaart de prestatie-indicatoren aan de hand van de arbeidsmotivatie. De kenmerken van prestatie-metingen worden onderzocht. Ook worden enkele critici van meten geciteerd. Tenslotte worden vier rapporten met betrekking tot prestatie-sturing besproken, afkomstig van het CPB, de Raad voor Volksgezondheid en de WRR.
Het beleid in de publieke sector komt tot stand in een leerproces, waarbij gebruik wordt gemaakt van de ervaringen, die worden opgedaan in de bestuurspractijk. Naarmate sinds de Tweede Wereldoorlog de staat steeds meer ging ingrijpen in maatschappelijke processen, en zijn begroting aanzienlijk expandeerde, nam de complexiteit van het beleid toe. Daarom doen de politiek en het bestuur veel moeite om de doelen van beleid helder te formuleren. Dit heet strategische planning. Zij hebben een groeiende behoefte aan informatie over de inrichting en de uitwerking van beleid. Uiteraard is er allereerst belangstelling voor de geleverde beleids-prestaties. Maar de prestatie is afhankelijk van de organisatie-vorm en van de motieven van de betrokken actoren. Men probeert al deze informatie helder en bondig te presenteren, in zogenaamde indicatoren. In de simpelste vorm zijn dit getallen.
De huidige column besteedt nogmaals aandacht aan beleids-indicatoren, en met name hun toepassing bij de prestatie-sturing (in de Engelse taal performance management). Hierbij wordt voortgebouwd op de argumentatie in een eerdere column over hetzelfde thema. Bij het schrijven van de nieuwe column is regelmatig het boek Measuring performance in public and nonprofit organizations van de bestuurskundige T.H. Poister geraadpleegd (afgekort MP)1.
In een eerdere column is betoogd, dat de alledaagse werkelijkheid van het openbaar bestuur kan worden bestudeerd op twee manieren, namelijk via inductie en deductie. Daar werden de twee benaderingen aangeduid als respectievelijk de organisatie-theorie (OT) en de rationele keuze leer (RCT). In de bestuurskunde heeft de OT veel aanhang, vooral de variant, die het beleid beschrijft op een verhalende manier. Daarbij krijgt de onderzoeker speelruimte om een eigen ideologie te hanteren2. Dat is onbevredigend, omdat de missie van wetenschap bestaat uit waarheids-vinding. De deductieve aanpak van de RCT heeft dan het voordeel, dat haar modellen empirisch kunnen worden getoetst. Immers men onthult wetmatigheden in het beleid3. Aldus wordt daadwerkelijk de prestatie-sturing mogelijk. Overigens moet men daarbij natuurlijk voorkomen, dat een helderheid wordt voorspiegeld, die een karikatuur maakt van de realiteit.
Nochtans heeft uw columnist goede hoop, dat er inderdaad wetmatigheden bestaan in het beleid. Immers, het menselijke gedrag heeft wel degelijk een zekere logica. En dankzij het individualisme worden individuen steeds meer aangemoedigd om rationeel te handelen. De actoren krijgen kenmerken van de homo economicus. De huidige paragraaf wil illustreren, dat het mogelijk is om organisaties te modelleren via falsifieerbare modellen. Hierbij wordt voortgebouwd op de eerdere column over institutionalisme en twee columns over het collectief eigendom. Beschouw een non-profit organisatie in de publieke sector, die veel specialisten in dienst heeft. Zij hebben merkbaar invloed op de werkzaamheden. De organisatie produceert een hoeveelheid q van een publiek goed. Diverse modellen zijn denkbaar om haar te beschrijven.
In het eerste model wordt verondersteld, dat de staat het doel stelt van een maximale hoeveelheid q 4. Daarvoor moet de organisatie de hoeveelheid-kwaliteit (prijs) verhouding aanbieden, die het meest wordt gevraagd door de burgers. Een hogere kwaliteit z maakt het goed aantrekkelijker, maar verhoogt de stukprijs. Vanaf een bepaalde kwaliteit zo zullen steeds minder burgers willen betalen voor de extra kwaliteit. De figuur 1 toont deze maatschappelijke kwaliteit-hoeveelheid kromme (in groen). Duid de maximale q bij de kwaliteit zo aan als qo. Echter de specialisten hechten beroepsmatig aan een hoge kwaliteit. De figuur 1 toont hun indifferentie krommen U. Hun voorkeur is zodanig, dat de organisatie zal kiezen voor een kwaliteit z>zo. Hierdoor produceert zij minder van het goed dan maatschappelijk wenselijk is. Men heeft prestatie-metingen nodig om dit te kunnen vaststellen (en om de juistheid van het model te bewijzen).
Het tweede model neemt aan, dat de organisatie een coöperatie van specialisten is. Dat wil zeggen, de directie behartigt het belang van de specialisten. Veronderstel, dat het inkomen y van de specialisten wordt betaald uit het residu π van de opbrengst. Als de coöperatie bestaat uit L specialisten, dan is het inkomen y = π/L. Een voorgaande column heeft laten zien, dat de coöperatie allerlei bestuurlijke problemen kent. Bijvoorbeeld zal zij haar productie q inkrimpen, zodra de marktvraag stijgt! Het probleem is hier, dat de specialisten hun marginale opbrengst gelijk maken aan de gemiddelde opbrengst y. Dat wil zeggen, bij een stukprijs p wordt p × ∂q/∂L = y. Dit betekent voorts, dat de hoeveelheid q onwenselijk laag kan zijn. Immers, wanneer het loonpeil elders gelijk is aan w, met w<y, dan zou de coöperatie kunnen uitbreiden. Zij zal dit echter nalaten, omdat de zittende specialisten niet achteruit willen gaan in inkomen5.
Een derde model meent, dat de organisatie de maximale hoeveelheid q wil produceren, wellicht uit overwegingen van status. Dit model is reeds gepresenteerd in een eerdere column, en wordt hier enkel samengevat6. De hoeveelheid q zal zodanig worden, dat de kosten juist gelijk zijn aan de totale bereidheid tot betalen (willingness to pay) van de burgers. Men zou denken, dat hiermee wordt voldaan aan de wens van de staat. Echter aldus wordt het consumenten-surplus van sommige burgers gebruikt om de consumptie van de minder gretige burgers te subsidiëren. Dat tast de totaal mogelijke welvaart aan. Een voorgaande column liet zien, dat dit bijvoorbeeld het geval is in de zorg-sector, waar de burgers niet hun eigen zorgkosten betalen.
Merk op, dat elk van deze modellen baseert op een eigen voorstelling van de motieven bij de werkers (product-kwaliteit, inkomen, expansie)7. Prestatie-metingen kunnen de juistheid van de modellen aantonen. En als een bepaald motief dominant blijkt te zijn, dan kan de staat prikkels aanbrengen om via dat motief de beleids-uitvoering aan te sturen. Eventueel kunnen via wetgeving bepaalde motieven worden ontmoedigd. Dan is natuurlijk ook toezicht op de naleving vereist. Kennelijk loont het inderdaad om prestaties te meten, en prestatie-indicatoren te verzamelen8. Men kan prestatie-metingen ook combineren met inductie (OT). Maar zij leveren het meeste op in combinatie met deductie. De rest van de column diept de meetmethoden verder uit.
In een voorgaande column is aandacht besteed aan prestatie-sturing en -indicatoren in de uitvoering van het publieke beleid. De huidige paragraaf wil enkele modellen van indicatoren aanreiken. In essentie betreft deze problematiek het motiveren van de werkers, die verantwoordelijk zijn voor de uitvoering van het beleid. De Gazet heeft zich vanaf het prille begin verdiept in het modelleren van motivatie, te beginnen met het arbeids-waarde model van Sam de Wolff. De motivatie om een bepaalde activiteit te ondernemen wordt bepaald door een nuts-afweging, waarbij de kosten en baten worden vergeleken. Stel de individu verwacht, dat een inspanning e leidt tot een beloning w. Volgens een eerdere column over de arbeidsmarkt kan dan het nut u(e, w) van de activiteit schematisch worden voorgesteld door
(1) u(e, w) = v(w) − c(e)
In de formule 1 weegt de functie v het nut van w, terwijl de functie c de kosten van e bepaalt. Normaler wijze mag worden aangenomen, dat geldt v(0) = c(0) = 0, met ∂v/∂w > 0, ∂c/∂e > 0 en ∂w/∂e > 0. Maar merk op, dat de vorm van de functies complex kan zijn. Bijvoorbeeld is denkbaar, dat een beetje inspanning e voldoening geeft aan de werker, zodat c in dat domein dan toch negatief is. De werker zal e en w zo willen kiezen, dat het verschil tussen de baten v en de kosten c maximaal wordt. Zolang hij in isolement actief is, geeft deze optimalisatie geen problemen. Echter er kunnen conflicten ontstaan, zodra hij samenwerkt met anderen, en zijn beloning ontvangt uit het gezamelijk voortgebrachte product. Aangezien w niet meer direct het gevolg is van e, zal de werker worden geprikkeld om zijn inspanning e te verminderen. Daarmee schaadt hij natuurlijk zijn medewerkers. Hij zal dus ook proberen om zijn gemakzucht te verbergen.
Dit conflict wordt het beslisser-uitvoerder (principaal-agent, of in het Engels principal-agent) probleem genoemd. Stel dat het nut van de werkgever wordt voorgesteld door φ(e, w). Normaler wijze zal nu gelden φ(0, 0) = 0 met ∂φ/∂e > 0 en ∂φ/∂w < 0. Dit illustreert, dat de werker (agent) en de werkgever (de beslisser) inderdaad een conflict van belangen hebben, dat niet eenvoudig oplosbaar is. Stel dat de werker een hoeveelheid γ produceert, die waarneembaar is. Als γ uitsluitend afhangt van e, dan kan de werker zijn e niet verbergen. Maar soms wordt het eindproduct ook beïnvloed door de omgeving, op een ondoorzichtige manier. Dat is zelfs meestal het geval in de uitvoering van publiek beleid. Dan is het feitelijke product q(e, εq) = γ(e) + εq, waarbij εq een toevalsfactor is. Nu tast de werkgever in het duister over de geleverde inspanning e, ook al kent hij q.
Als p de prijs is van een product-eenheid, dan wil hij bijvoorbeeld p × q(e, εq) − w maximaal maken, maar mist daarvoor de informatie. Idealiter stelt de werkgever nu een zelf-afdwingend (self-enforcing) arbeids-contract op, dat de relatie tussen e en w herstelt. Maar vaak is dat niet mogelijk, en dan moet de werkgever toezien op de inspanning e van de werker. Prestatie-sturing moet onvermijdelijk gepaard gaan met toezicht en meten van prestaties. Daarmee zorgt de werkgever, dat hij evenveel informatie verwerft als de werker, en wellicht nog wat meer. In die situatie van volledige informatie onderhandelen de werkgever en werker over de beloning w(e). Schematisch kan deze procedure worden weergegeven door
(2) kies uit alle e en w het paar, dat het maximum oplevert van de grootheid ψ = φ(e, w)1-α × u(e, w)α
In een voorgaande column is uitgelegd, dat de formule 2 de algemene Nash onderhandeling beschrijft. De parameter α (met een waarde ergens in het interval [0, 1]) meet de relatieve macht van de werker ten opzichte van zijn werkgever. De formule 2 is gebaseerd op axioma's, die enige aanspraak op billijkheid maken. Maar natuurlijk is de formule 2 abstract, en de onderliggende veronderstellingen zijn aanvechtbaar. Belangrijk is de aanname, dat de actoren zich gedragen als een homo economicus. Veel bestuurskundigen hebben emotioneel moeite met dit mensbeeld. Zij menen, dat het menselijk gedrag wordt geleid door de moraal. Dit mensbeeld wordt de homo sociologicus genoemd. Bijvoorbeeld zou de werker zich solidair kunnen voelen met zijn werkgever. De nutsfunctie van de werker verandert dan in9
(3) u(e, w, εq) = v(w) − c(e) + β × φ(e, w, εq)
In de formule 3 representeert β>0 de sterkte van de solidariteit. Bij een zeer grote β vallen het belang van de werker en zijn werkgever zelfs samen. Deze aanname wordt door sommige bestuurskundigen gemaakt, wanneer zij het gedrag van specialisten (professionals) beschrijven. De beroeps-eer zou zwaar wegen10. Anderzijds, als de werker een afkeer heeft van zijn werkgever, dan zal β negatief zijn. De Gazet heeft dit thema over gekoppelde nutsfuncties al vijf jaren terug behandeld, in de column over de homo economicus. En eerdere columns over arbeidsmotivatie hebben laten zien, dat inderdaad de werkers hechten aan sociale contacten en aan professionele erkenning. Dit schept enig vertrouwen tussen de werkgever en zijn werknemer. Men zegt wel, dat de relatie profiteert van een sociaal kapitaal, dat de transactie-kosten laag houdt. Het toezicht hoeft niet absoluut te zijn. Maar het kan natuurlijk evenmin achterwege blijven.
In het openbaar bestuur was traditioneel weinig ruimte om individuele prestaties aan te moedigen. De leiding werd ingeperkt door politiek toezicht en door instituties, zoals de bureaucratische regels en de ambtenaren-wetten11. Daarin is verandering gekomen onder invloed van het nieuwe openbare ondernemerschap (new public management). Voortaan selecteert de leider zelf zijn personeel. Hij stimuleert hen doelbewust tot presteren, via beloning en andere prikkels. Daarbij krijgen de werkers meer vrijheid voor eigen initiatief12. Op die manier worden u(e, w) en φ(e, w) beter verzoend. Sommige bestuurskundigen beweren, dat naast de beroeps-moraal het werken in de publieke sector een aparte ethiek heeft, met zijn eigen motieven. Deze stelling is echter controversieel13. Daarom blijft prestatie-sturing onmisbaar.
Merk op, dat prestatie-sturing plaats vindt op alle niveau's (micro, meso, macro). Op een hoger niveau (meso of macro) moet de prestatie van de hele organisatie of van een afdeling worden gestuurd. Het toezien op deze collectieve prestatie wordt in het Engels monitoring genoemd (p.207 en verder in PM). Op het meso niveau stuurt de directie haar eigen organisatie aan. Op het macro niveau geven de ministeries opdrachten aan hun beleidssector14. De aansturing is in deze situaties strategisch, dus gericht op de hoofddoelen van de organisatie. De doelen worden afgeleid van de missie (p.160, 166). Zulke doelen formuleren gewoonlijk gewenste uitwerkingen (outcomes), en zijn daarom gericht op de lange-termijn ontwikkeling. Denk aan een beleids-programma, dat doeltreffend moet zijn. Strategische doelen veranderen slechts langzaam. Hier wordt de organisatie hiërarchisch geleid vanuit de top, met weinig inspraak (p.208).
Als de organisatie doelen stelt, dan zullen haar afdelingen die vertalen in subdoelen (in de Engelse taal objective) (zie hoofdstuk 4 in PM). Een eerdere column noemde dit het Test operate test exit model. Prestatie-sturing op het micro niveau richt zich op de prestatie van individuele werkers. Dit wordt in het Engels management by objective (afgekort MBO) genoemd (zie p.205). De werker spreekt tezamen met zijn superieur af een bepaalde prestatie te verrichten. Gewoonlijk betreft dit concrete resultaten (output) (p.59). Een logische indicator is dan de productiviteit. De werker meet vaak zelf zijn prestatie (p.209)! De afspraak geldt voor de korte termijn, zoals de looptijd van een project. MBO is eigenlijk een vorm van personeelsbeleid (p.208). De superieur bewaakt als opzichter tevens het nakomen van de gemaakte afspraak.
De formules 1, 2 en 3 zijn kennelijk een versimpeling van de realiteit. In werkelijkheid is er niet één werker, maar er zijn K productie-factoren, ieder met zijn eigen beloning wk. De werkgever zal λk eenheden huren van de factor k, afhankelijk van diens prijs wk. Zijn totale kosten zijn dan gelijk aan het inproduct C = λ · w. De productie-factoren vervullen een aantal M taken, zodanig dat de factor k voor elke taak m een inspanning emk levert. De inspanningen vormen nu een matrix E, die het productie-proces van de werkgever bepaalt. Stel dat de organisatie N producten levert. Dan leiden de inspanningen E tot de voortbrenging van een hoeveelheid qn van het product n. Aldus wordt het resultaat (output) van de organisatie gegeven door de vector q(E, εq). De kosten per product n zijn cn. De organisatie ontvangt een opbrengst Π = p · q, waarbij pn de prijs van het product n is. Dat wil zeggen, de opbrengst wordt mede bepaald door de omgeving, via εq.
Echter de producten zijn slechts een middel om de beleidsdoelen te bereiken. Namelijk, de doel-realisatie wordt vooral afgemeten aan de uitwerking (outcome) η, die het gevolg is van het effect van q op de doelgroepen. Dus η is de echte beleids-prestatie. Het aantal uitwerkingen (zeg J) zal gewoonlijk verschillen van het aantal resultaten of producten N. Ook η wordt beïnvloed door de omgeving, en zelfs in sterkere mate dan het resultaat q. Dus η = η(q, εη), waarbij εη de (onvoorspelbare) externaliteiten uitdrukt. Zij kunnen economisch zijn, maatschappelijk, cultureel, geografisch enzovoort. (p.38 in PM). Vaak wordt de uitwerking van het beleid pas zichtbaar op de lange termijn. Dat maakt het meten van prestaties complex, omdat intussen het beleid zelf of de maatschappij kan zijn veranderd. Prestatie-metingen hebben weinig zin, wanneer zij achterlopen bij de beleids-ontwikkeling.
De figuur 2 geeft het logische model, dat Poister hanteert voor beleids-programma's (p.37 in MP). Men herkent hierin de zojuist genoemde aspecten. De resultaten zijn nog redelijk beheersbaar, omdat des gewenst altijd de inspanning E kan worden aangepast. Merk op, dat de figuur 2 in feite de fase van uitvoering is in de beleids-cylus. Vervolgens wordt in de evaluatie-fase een oordeel geveld over deze uitwerkingen van het beleid. Dat gebeurt mede aan de hand van indicatoren, en daarom zijn juist de metingen van deze prestaties zo belangrijk. De uitwerking is bijvoorbeeld de zelfredzaamheid van bepaalde doelgroepen, of de gezonde ontwikkeling van baby's (p.44-47 in MP). Het spreekt voor zich, dat de omgeving hierop veel invloed uitoefent.
In een voorgaande column wordt een onderscheid gemaakt tussen input-, proces- en prestatie-indicatoren. Voorbeelden van input indicatoren zijn λ, w en C. Voorbeelden van proces-indicatoren zijn E en c. Een voorbeeld van een outcome-indicator is η. Zojuist is betoogd, dat de prestatie wordt bepaald door de outcome, maar dat soms enkel de output meetbaar is. Voorbeelden van output-indicatoren zijn q, p en Π. Echter ook andere indelingen van indicatoren zijn denkbaar, bijvoorbeeld in output, efficiëntie, productiviteit, product-kwaliteit, effectiviteit, kosten/baten verhouding, en klant-tevredenheid (zie p.47-54 in MP). Poister is enkel geïnteresseerd in de prestaties en verdiept zich zo min mogelijk in het proces. Het proces is de verantwoordelijkheid van de werkgever, niet van de beleids-analist15. De tabel 1 geeft voorbeelden van de indicatoren volgens deze alternatieve indeling.
| indicator | output | efficiëntie | productiviteit | effectiviteit | kosten/baten |
|---|---|---|---|---|---|
| voorbeelden | qn | cn | qn / λk | ηj | cn / ηj |
De tabel 1 laat zien, dat Poister enkel de fysieke productie rekent tot de resultaten (output), en niet de opbrengst. De productiviteit voor het product n wordt natuurlijk alleen berekend voor de factoren k, die bijdragen aan dat product (p.220). De kwaliteit kan objectief zijn of subjectief. Voorbeelden zijn wachttijden of aantal fouten, respectievelijk toegankelijkheid, veiligheid of beleefdheid (p.52, 71, 224). De indicator van klant-tevredenheid meet het draagvlak van het beleid bij de doelgroep. Als meet-instrument hanteert men de enquête, het opinie-onderzoek of het klachten-register (p.54). Hier doet zich het probleem voor, dat soms het beleid nadelig is voor de klanten. Denk aan belasting-betalers of straf-gevangenen. Onvrede over terechte beleids-keuzes is natuurlijk irrelevant en moet niet worden meegewogen.
De indicator van effectiviteit meet het gunstige effect van het beleid (outcome). Deze moet niet worden verward met de effectiviteit van het productie-proces, die wordt gemeten door de indicator van productiviteit (p.219). De indicator van effectiviteit oordeelt over het bestaansrecht van het beleid, omdat deze de doel-realisatie weergeeft. Een programma met een hoge productie, dat niet bijdraagt aan de doelen, is totaal ineffectief. Helaas is de effectiviteit van sommig beleid inderdaad nauwelijks meetbaar. De kosten/baten verhouding, tenslotte, meet de kosten, die zijn gemaakt bij het realiseren van de beleidsdoelen. Een bepaalde uitwerking ηj is het gevolg van diverse producten. Voor zover die producten zijn bedoeld om de uitwerking tot stand te brengen, moeten hun gesommeerde kosten worden toegerekend aan dat beleid. Dien ten gevolge wordt de kosten/baten verhouding bepaald door de productiviteit en de efficiëntie.
Indicatoren hebben tal van toepassingen. Meten was al populair tijdens de plannings-golf van de jaren vijftig en zestig van de voorgaande eeuw. Vanaf de jaren negentig worden metingen vooral gedreven door de behoefte aan efficiëntie en effectiviteit (p.6 in PM). Nederland start in 2004 het project Van Beleidsbegroting tot Beleidsverantwoording (VBTB), dat vraagt om prestatie-metingen. Zonet is al opgemerkt, dat zij nodig zijn voor strategische planning, of, wat vrijwel hetzelfde is, voor strategisch management. Ook MBO vraagt om indicatoren. Aldus vergroot de informatie de transparantie in de uitvoering van beleid, en maakt contractering mogelijk. Indicatoren zijn een vorm van verantwoording afleggen en rekenschap geven (accountability) (p.10). Bovendien hebben indicatoren invloed op bijvoorbeeld het opstellen van begrotingen en het vergelijken van organisaties via benchmarking (respectievelijk hoofdstuk 10 en 13)16.
De benchmark verdient een nadere toelichting, omdat zij enigszins omstreden is. Er wordt een vergelijking gemaakt tussen de prestaties van organisaties, die allen min of meer dezelfde beleidstaken uitvoeren. Dit heeft diverse voordelen. Aangezien duidelijk wordt welke organisaties het best presteren, heeft de rest een kans om te leren. Op zijn minst beseffen de andere organisaties, dat zij hun ambities hoger moeten stellen (p.239). Zij krijgen dus een positieve prikkel. Bovendien geeft de benchmark inzicht in best practices. De achterblijvers hebben nu de kans om de werkwijze van de beste organisaties te imiteren (p.239). Natuurlijk is de keerzijde, dat de reputatie van de achterblijvers (tijdelijk) wordt aangetast (p.237, 250). Dit is vooral problematisch, wanneer in feite de organisaties werken in verschillende contexten. Dan kunnen de verschillen in prestatie het gevolg zijn van externaliteiten (p.244). Een goede benchmark moet dus de context mee-rekenen17.
Aldus zijn indicatoren zowel nuttig bij de evaluatie van oud beleid als het ontwerpen van nieuw beleid. Natuurlijk moet men altijd afwegen, of het meet-systeem een positieve balans van kosten en baten heeft. Volgens Poister (p.17-18) overheersen per saldo de positieve ervaringen met de bestaande systemen. Maar er zijn ook beleidsvelden, waar het (nog) niet lukt om bruikbare indicatoren te bedenken18. De tabel 1 maakt al duidelijk, dat de indicatoren natuurlijk gekoppeld moeten zijn aan de doelen van het beleid. De resultaten (output) moeten zijn veroorzaakt door het beleid. En de uitwerkingen (outcomes) moeten causaal samenhangen met de resultaten. Als de prestaties enkel zouden afhangen van onbeheersbare factoren εq en εη, dan is een doeltreffend beleid onmogelijk (p.94).
Indicatoren zijn een krachtig middel van prestatie-sturing, mits zij betrouwbaar en geschikt (valid) zijn (p.76). Over een langere periode kan men ze rangschikken in tijdreeksen. Ook kunnen standaard waarden worden opgelegd, of streefwaarden (targets) (p.64). Zo mogelijk wordt de streefwaarde van nu de toekomstige standaard. Dan verbetert de prestatie incrementeel. Een eerdere column heeft betoogd, dat indicatoren-waarden ook subjectief kunnen worden geschat door deskundigen. In feite doen de rijks-inspecties dit tijdens de observering van organisaties (scholen, zorg, horeca, enzovoort) (p.84). Uiteraard moeten de inspecteurs niet vooringenomen zijn (p.95). Opvallend is, dat ook Poister waarschuwt tegen doel-verplaatsing (goal displacement) en bedrog (gaming genoemd) met indicatoren (p.99-100, 270). Kennelijk komt dit regelmatig voor in de publieke sector, vooral wanneer de gemeten prestatie is gebonden met beloning en straf19.
Meten in de bestuurskunde is kennelijk nogal lastig. De verzameling van indicatoren moet volledig zijn, zodat zij de diverse aspecten van beleid in balans brengt (p.105). Anderzijds moet zij zo klein mogelijk zijn, om de kosten te beperken! Voorts zijn er indicatoren op het micro-, meso- en macro-niveau (p.124-125)20. De methodische hiërarchie is: Doel → Subdoel (objective) → Indicator (p.172). Indicatoren van MBO kunnen worden samengevoegd (geaggregeerd) tot indicatoren voor de monitor op de hogere niveau's. Wellicht wegens al deze problemen is prestatie-meting vaak het eerst beproefd in het private bedrijfsleven. Een voorbeeld van een meetsysteem uit het bedrijfsleven, dat nu ook de publieke sector verovert, is de balanced score card (p.179). Zie de figuur 3. Dit model groepeert de metingen in vier perspectieven, die van de klanten, interne organisatie, eigenaren, en innovatie. Het is specifiek organisatie-gericht (p.184).
Prestatie-metingen hebben het expliciete doel om de organisatie te veranderen. Dat schept onzekerheden voor alle betrokkenen, en kan leiden tot verzet (p.257). Poister noemt zeven voorwaarden, waaraan moet worden voldaan voor een succesvol meet-systeem (p.265-272). Zij spreken vanzelf, maar worden toch niet altijd gerealiseerd21.
Poister geeft een genuanceerd oordeel over de bruikbaarheid van prestatie-metingen. Zij zijn nuttig, mits aan zekere voorwaarden is voldaan. Aangezien Poister waarde hecht aan planning, zou men zijn perspectief rationeel kunnen noemen. Echter de bestuurskunde biedt ruimte aan vele perspectieven, sommige zelfs met een nogal ideologische inslag. Een eerdere column noemde al de perspectieven van de macht, de communicatie, en de instituties22. Voorts is in andere columns verwezen naar het perspectief van de governance, de garbage can, het postmodernisme, en de kritische theorie. Aldus hanteren sommige bestuurskundigen een mensbeeld (actormodel), dat slecht verenigbaar is met de zeven voorwaarden voor bruikbare prestatie-metingen. Daarom menen zij, dat prestatie-metingen vooral problemen veroorzaken. De huidige paragraaf zal enkele kritieken inventariseren, om de aard van de oppositie te kenschetsen.
De lezer zij gewaarschuwd, dat de hier aangehaalde auteurs gewoonlijk openlijk toegeven naar maatschappij-verandering te streven. Met name wil men minder marktwerking, en meer uitgaven door de staat. Zij hanteren het mensbeeld van de homo sociologicus, die wordt gevormd door zijn omgeving. Daarom denken zij, dat prestatie-sturing leidt tot slecht gedrag. Het Engelse boek New public management (afgekort PM1) is een bundel artikelen van auteurs met zeer verschillende perspectieven23. Op p.85 in PM1 wijst J. Newman op het gevaar van doel verplaatsing door prestatie-sturing. Ze voegt toe: "Such considerations may lead organizations to focus their energies on the production of discourses of success ('narratives of achievement') to ensure survival in a competitive environment, at the possible expense of more realistic assessments of weaknesses and strenghts".
J. Broadbent en R. Laughlin schrijven (p.102): "Accounting logic is inconsistent with notions of clan control [van specialisten EB] and professionals would see it as inapplicable in the context of the control of their professional work". En (p.103): "There has been a colonization of the activity by the values imposed by the measurement system, for example where school teachers see that the achievement of particular examination grades is more important than any other element of school life". M. Taylor is een voorstander van een beleidsverandering, waarbij maatschappelijke netwerken de hoofdrol spelen. Ze schrijft (p.125 in PM1): "It is the auditors and accountants who have been the éminences grises behind the new public management mark I, and if systems are to change fundamentally then they have to change too".
Een andere bron van kritiek is het boek Public management (afgekort PM2)24. Het stelt: "Public managers should value people, not productivity, leading to collaboration and shared leadership and based on respect" (p.68 in PM2). En: "Rankings [almost invariably] fail to capture [the nature of the service], because of the difficulty of measuring the output of public services" (p.162). En: "There is a real possibility that managers might be so disillusioned with targets and measures from outside-rating bodies or from the central state that they begin to work on an entirely different basis, meeting only the targets which might lose them their jobs" (p.163). Uw columnist vindt dat zulke managers niet deugen25. Het boek heeft een nogal sombere toon: "It still is often the case that both managers and HR professionals are ill-equipped at dealing with low-performing professionals, making the problem of raising the performance of public organizations an entrenched one" (p.201)26.
In Nederland heeft het populair-wetenschappelijke en kritische boek Mondige burgers, getemde professionals (afgekort MB) enige populariteit verworven27. Op p.28 in MB stelt E. Tonkens: "Verantwoording (...) is vaak voor professionals zelf betekenisloos. (...) Vaak moet men de cijfers zo mooi mogelijk maken, waardoor ze nog maar weinig met het echte werk te maken hebben"28. En: "Zorg is geen product. (...) [Doen alsof dat zo is] vereist een gigantische bureaucratische operatie waarin het proces wordt opgeknipt in deeltjes die elk hun eigen (...) prijskaartje [hebben]" (p.68). Op p.85: "De audit-explosie is volgens sommige critici een terreur, die parallellen vertoont met het Sovjetregime". Op p.89: "Slechte scores [bij prestatie-metingen] leiden gemakkelijk tot moedeloosheid". Uw columnist ziet het liever als een uitdaging. Maar: "Instellingen worden door prestatie-meting en vergelijking (...) uitgenodigd [tot fraude]" (p.89).
Voorts: "Een meetcultuur veronderstelt een voorkeur voor eenvormigheid en brengt deze voorkeur wellicht ook voort" (p.92). In vaktermen heet zo een cultuur isomorf. Maatwerk zou onmogelijk worden (p.96 in MB). Op p.98: "De meeste grafieken en tabellen roepen meer vragen op dan ze beantwoorden". En retorisch (p.101-102): "De roep om transparantie dreigt te ontaarden in een van wantrouwen doortrokken samenleving. (...) De felheid van het debat wekt de indruk dat we hier te maken hebben met een nieuwe klassentegenstelling tussen meters en gemetenen". Net zoals Greener komt Tonkens tot de verontrustende conclusie (p.112): "Directies [van ziekenhuizen] hebben nauwelijks middelen om slecht functionerende specialisten aan te pakken". Op p.136: "De scorelijstjes worden slechts misbruikt [door politici] om de noodzakelijke extra investeringen te weigeren".
Op p.159: "De [zorg- en] hulp-verlening is doorgeslagen naar overmatig wantrouwen". En (p.231): "Veranwoording, gericht op competitie via prestatie-meting en -vergelijking, komt de dialoog tussen professionals [en] burgers weinig ten goede". Tot zover de citaten van de critici van (sommige vormen van) prestatie-meting. Het is belangrijk, dat de lezer de voorgaande citaten tot zich laat doordringen, omdat zij niet ongewoon zijn in de bestuurskunde. Men moet evenwel niet vergeten, dat metingen onmisbaar zijn om te weten of men echt "goed bezig is". Uw columnist meent en hoopt dat het zonet beschreven betoog van Poister een evenwichtiger beeld van de realiteit geeft. Het zou ook onjuist zijn om te beweren, dat de andere auteurs onder alle omstandigheden de prestatie-metingen afwijzen.
De column wordt afgesloten met een verwijzing naar vier rapporten van Nederlandse instituten voor beleidsonderzoek, te weten het Centraal Planbureau (CPB), de Raad voor Volksgezondheid en Samenleving (RVS, 2 rapporten) en de Wetenschappelijke Raad voor het Regeringsbeleid (WRR). Deze rapporten analyseren de toepassingen van indicatoren, of hun relatie met prestatie-sturing. Hun betoog wordt geconfronteerd met het de inzichten uit de huidige column. Het CPB doet beleidsonderzoek vanuit de deductieve benadering, terwijl de WRR juist de inductieve methode toepast. De RVS lijkt zich methodologisch tussen het CPB en de WRR in te positioneren.
In 2014 publiceerde het CPB het rapport Neveneffecten sturingsinstrumenten (afgekort NS). Dit rapport wil de effecten van prestatie-sturing op de motivatie en op het gedrag inventariseren. Het gaat slechts zijdelings in op prestatie-metingen. Sturing wil de prestaties verbeteren door het gebruik van bestuurlijke instrumenten, zoals belonen en straffen, en overleggen (p.4-5 in NS). De invloed van instrumenten op het gedrag is ruwweg bekend, maar men moet alert zijn op complicaties. Allereerst vereist sturing, dat de prestaties bekend zijn, dat wil zeggen, meetbaar (p.6).
Het rapport wijst op het probleem van doel-verplaatsing, wanneer de verzameling van indicatoren niet alle beleids-dimensies omvat (en dus onvolledig is) (p.7). Gaming is strategisch gedrag om de indicatoren te manipuleren. Een voorbeeld is cream skimming (p.8). Empirische studies laten zien, dat strategisch gedrag door organisaties inderdaad voorkomt (p.20). Echter zolang het strategisch gedrag begrensd blijft, kan prestatie-sturing per saldo toch een positieve werking hebben (p.9). Met andere woorden, complicaties zijn toelaatbaar, zolang de instrumenten maar het bedoelde effect behouden.
Een ander probleem is de mogelijke verdringing van innerlijke (intrinsieke) motivatie, wanneer prestaties voortaan worden beloond met geld (p.10-12). Dit wordt crowding out genoemd. Echter empirische studies geven weinig bewijs voor het optreden van crowding out ten gevolge van beloning (p.15-17). Integendeel, belonen blijkt prestaties te bevorderen. Overigens wordt het positieve effect minder, naarmate de prestatie slechter meetbaar wordt (zogenaamde coping jobs) (p.17). Het rapport illustreert de goede werking van prestatie-sturing via beloning met voorbeelden uit de zorg (p.18 en verder) en uit het onderwijs (p.21 en verder).
Het rapport maakt een interessant onderscheid tussen individuele en collectieve beloning (p.13). Individuele beloning kan de wedijver tussen werkers aanmoedigen. In sommige situaties kan dit schadelijk zijn voor de prestatie van het collectief (p.7-8). Als alternatief kan men ook de groep of organisatie als geheel belonen, in plaats van afzonderlijke individuen. In zo een collectieve situatie ontstaan nieuwe sturings-problemen, zoals het zwart mee-rijden (free riding, meeliften, parasiteren) van individuen op de inspanningen van de anderen. Opnieuw is de samenwerking bedreigd. Op het laagste niveau moet de groepschef toezien, dat zulk misbruik binnen grenzen blijft. Ook de sociale controle onder collega's remt het zwart rijden af (p.14).
In 2010 publiceerde de RVS het rapport Sturen op uitkomsten in het primair proces (afgekort SU). In dit rapport worden de prestatie-metingen en -sturing allebei onderzocht voor toepassing in de zorgsector. De nadruk van de studie ligt op het micro niveau, bij het primaire proces. Het micro niveau legt het fundament voor de sturing op hogere niveau's (p.3 in SU). Er wordt een onderscheid gemaakt tussen interne indicatoren, die het leren van ervaringen ondersteunen, en externe indicatoren, waarmee rekenschap wordt afgelegd aan de staat en de klanten (p.6)29. In het ideale geval worden de externe indicatoren berekend uit de interne (p.39). De standaard krijgt hier de vorm van de technische richtlijn van methodisch handelen (zie paragraaf 4.2 in SU). Richtlijnen kunnen streefwaarden aangeven (p.12).
Interessant is, dat MBO wordt toegepast in een aangepaste vorm. Namelijk, de klant (als opdrachtgever) en de (para-)medicus (als uitvoerder) bepalen in overleg de behandeldoelen (shared decision making) (p.13). Vaak zijn er diverse klachten, en dien ten gevolge meerdere doelen (p.16). Dat leidt tot een gecompliceerd behandelplan. Het bereiken van de behandel-doelen wordt dan een prestatie-indicator (p.23). Daarbij moeten de klant en de uitvoerder overeenstemming bereiken over de precieze invulling van de prestatie-indicatoren (p.16-17)30. Er kan dan zelfs keten-verantwoordelijkheid ontstaan, omdat de huisarts en het ziekenhuis allebei invloed hebben op de prestatie (p.24). Het rapport waarschuwt, dat zulke prestatie-indicatoren kunnen leiden tot manipulaties (gaming) door de uitvoerders (p.25, 34)31.
Het rapport besteedt ook aandacht aan resultaat-sturing (performance management) met behulp van een monitor, zij het beknopt (p.27 en verder). Het behandeldoel wordt hier vervangen door het prestatie-doel. De monitor maakt gebruik van de registratie-systemen in de organisaties, omdat zij feitelijk verzamelingen van indicatoren zijn32. Deze kwaliteits-registraties worden veel gebruikt voor benchmarking (p.31). Helaas ervaren veel zorgverleners het verzamelen van gegevens voor sturing op het meso- of macro-niveau nog als een extern dictaat (p.33). Men vreest te worden afgerekend op de behaalde resultaten (p.34). Het rapport meent echter, dat prestatie-sturing een integraal onderdeel moet worden van het primaire proces (p.35). Dankzij een monitor van zorgverlening kan de zorg lokaal worden verbeterd (p.37). De indicatoren hebben een waardevolle signaal-functie.
In 2004 publiceerde de RVS het rapport Indicatoren in een zelfsturend systeem. Deze studie is interessant, omdat zij het balanced score card (BSC) model onderzoekt. Veel ziekenhuizen gebruiken al een BSC systeem (p.19). Daarom wil het ministerie van volksgezondheid, welzijn en sport zelf zo een systeem ontwikkelen (p.5). Het rapport vindt dat onverstandig, omdat de BSC is ontworpen voor het besturen van productie-processen. En het ministerie produceert zelf geen zorg. Daarmee dreigt het ministerie zich informatie toe te eigenen, die eigenlijk toebehoort aan anderen. Zij wil te veel controleren. In feite moet het ministerie haar activiteiten beperken tot het beheren van het nationale zorg-systeem, en het formuleren van sectoraal beleid (p.16, 33 en verder). Met name moet het ministerie afstand houden tot de drie zorg-markten, te weten die van zorg-verzekering, -inkoop, en -verlening (p.32).
De actoren op de zorgmarkten (zorgverleners, klanten, en verzekeraars) zijn de eigenaren van de kwaliteits-registraties (p.18). De marktwerking functioneert goed, mits er voldoende transparantie is (p.22). De toezichthouder van de zorg-sector is de eigenaar van informatie over de effecten van wet- en regel-geving. De toezichthouder moet onafhankelijk zijn ten opzichte van het ministerie, omdat de sector hecht aan continuïteit (time consistency) (p.18, 21). Voorts kan de toezichthouder de standaarden van kwaliteit onderhouden en publiceren (p.31). Dankzij deze informatie kunnen de klanten bewuste keuzes maken bij hun consumptie van zorg. Juist deze taakverdeling prikkelt de markt-actoren, de toezichthouder en het ministerie tot optimale prestaties (p.9-10). Het zorg-systeem wordt zelfsturend, zodat het ministerie kan volstaan met governance voor de uitvoering van haar beleid.
In 2013 publiceerde de WRR het rapport Toezien op publieke belangen (afgekort PB). Toezicht is niet hetzelfde als prestatie-sturing, maar het is er wel nauw aan verwant. Daarom is een analyse van de bevindingen in dit WRR rapport zinvol. Het rapport bestudeert met name het toezicht op macro niveau, door de staat. Sommige toezichthouders richten zich op de private sectoren, andere juist op de publieke sectoren. De toezichthouders in de publieke sectoren zijn gewoonlijk een onderdeel van het betreffende ministerie (p.109 in PB). Zo vallen zij onder de ministeriële verantwoordelijkheid, en zijn aanspreekbaar door het parlement (p.90, 95, 107). Wellicht de belangrijkste taak van de toezichthouder is het controleren van de naleving van wet- en regel-geving (p.41, 95). In termen van de huidige column: het toezicht stuurt op outcome (p.41). De gemeten indicator-waarden moeten voldoen aan de wettelijke verplichting.
Toezichthouders moeten zich niet uitspreken over het beleid zelf (p.42). Immers de beleids-inhoud is het eigendom van de politiek. Beleid, uitvoering en toezicht moeten dus gescheiden zijn (p.74, 102). Het onderzoek naar effectiviteit van toezicht staat nog in de kinderschoenen (p.64). Des al niettemin zijn er een aantal innovaties van toezicht (p.101). Het toezicht wordt steeds meer risico-gericht, waarbij de intensiteit van de controle toeneemt met het risico (p.47, 84, 98). Men wil de zelf-regulering bevorderen (p.82). Ook wordt vaker gekozen voor systeem-toezicht (p.49, 101, 106). Dat wil zeggen, het toezicht controleert de soliditeit van het interne risico-systeem, dat de onderzochte organisatie zelf heeft ontwikkeld (p.49). Dit wordt wel meta-toezicht genoemd (p.77).
In sommige opzichten ondersteunt het rapport het betoog van Poister. In navolging van de zeven voorwaarden voor prestatie-sturing stelt het rapport, dat de onder toezicht staanden waar mogelijk mede inhoud moeten kunnen geven aan de toezichtkaders (p.130). Toezichthouders kunnen hun toegevoegde waarde verhogen door het publiceren van ranglijsten op indicatoren (p.137). Maar het rapport doet enkele verrassende voorstellingen voor hervorming van het toezicht. Ten eerste stelt het, dat de wetgever (te weten, het parlement, ondersteund door het ministerie) soms achterloopt bij de feitelijke ontwikkelingen in de sector (p.106, 119, 150). De toezichthouder moet dan nieuw beleid voorstellen (p.120, 150). De toezichthouder zou publiekelijk stelling moeten nemen, als het moet ook tegenover bestuur en politiek (p.137). Deze hervorming is ingrijpend, omdat zij de inbreng van de politiek (via het ministerie) vermindert33.
Ten tweede pleit het rapport voor meer horizontaal toezicht, waarbij de betreffende sector wordt beïnvloed via governance (p.117, 126, 150). Het rapport noemt de overgang van verticaal naar horizontaal toezicht onvermijdelijk. Het verticale toezicht van de staat raakt achterhaald, omdat de maatschappij polycentrisch is (p.126). Aangezien de middelen voor toezicht onder druk staan, betekent deze hervorming een vermindering van het verticale toezicht (handhaving) (p.83, 102). Dat heeft eveneens grote consequenties. Immers, governance wordt gekenmerkt door een grote onzekerheid in de resultaten (in termen van deze column: εq en εη). Zie het netwerkbeheer in het milieubeleid. Het toezicht zou afhankelijk worden van de inspanning van andere actoren in het netwerk. Dat maakt het ook lastig om de effectiviteit van horizontaal toezicht te meten. Het rapport toont niet keihard aan, dat de hervorming inderdaad een verbetering zal brengen.
Ten derde stelt het rapport voor om de toezichthouder meer te laten optreden als een adviseur. De kennis van de toezichthouder is uniek (p.134). Dit wordt reflectief toezicht genoemd (p.132). Vermoedelijk hebben toezichthouders dit altijd al gedaan. Maar het is uw columnist niet helemaal duidelijk, waarom deze activiteit verder moet worden uitgebouwd. Hoewel hij natuurlijk de kennis van de auteurs van het rapport mist, vindt hij de voorgestelde hervormingen gewaagd, en zou ze zelf niet direct aanraden. Anderzijds, aangezien beleid slechts incrementeel wijzigt, wat de risico's inperkt, kunnen experimenten geen kwaad. En inderdaad raadt het rapport ook een sterkere wetenschappelijke onderbouwing van toezicht aan (p.153).