Det kom noen reaksjoner på en liten del av et tidligere blogginnlegg, nemlig en parantes som handlet om dokumentasjon av "resultater" i bistand. Den parantesen var ikke særlig godt gjennomtenkt og formulert fra min side, og dessuten var alt for kort og spissformulert til å dekke et stort felt, derfor forsøker jeg litt mer her. Dette er for spesielt interesserte (men noen de som er interessert, er kanskje veldig interessert), og vær advart: Dette innlegget fører ingensteds hen i form av en løsning. Mitt eneste mål er å minne om at det finnes en hel mengde mulige måter å løse oppgaven knyttet til å dokumentasjon av bistandens resultater på. En annen verden er mulig, og flere veier til Rom, altså. Men jeg må ærlig innrømme at jeg ikke er sikker på hvordan ting bør gjøres. Bare at det må finnes noe annet et sted enn det vi holder på med nå.
Den utløsende parantesen handlet egentlig om krav til dokumentasjon av resultater, men det kan ikke diskuteres uten å se det i sammenheng med en bestemt styringslogikk som er uløselig knyttet til disse dokumentasjonskravene, men som gjennomsyrer hvordan bistand styres. Det gjelder hele pakka av hva som gjerne kalles "resultatarbeid", og som leder til den ønskede dokumentasjon. Det har røtter tilbake til logical framework approach fra forrige årtusen, med mange avleggerne med ulike navn siden da; en av de siste avleggerne (og i mine øyne den hittil beste) er theory of change. Denne styringslogikken har dominert bistanden i så stor grad at det er vanskelig i dag å se for seg offentlig finansiert bistand uten.
Det er ikke en veldig spesiell form for styring. Lignende måter å styre på finnes i både offentlig og private sektor, og det er mye bra å si om den. Men det er likevel bare en av hundrevis av måter man kan styre på. Derfor er det påfallende at det er den eneste logikk som tillates for alt som er bistandsfinansiert, siden bistand er så mangfoldig. Samme logikk må altså appliseres på nesten all mulig virksomhet i nesten alle sektorer i halvparten av verdens land. Du forventes å styre etter samme logikk enten du forvalter milliardinvesteringer i et kraftutbygging eller organiserer kvinnegrupper i fattige landsbyer, så lenge det du gjør er delfinansiert med offentlig bistand.
At akkurat denne styringslogikken er blitt så dominerende, er for meg en gåte. Det er fordi svært mange (ikke alle) "praktikere" som har ansvar for bistandsarbeid helt siden logikken ble introdusert og til i dag har sagt at den passer dårlig på den virkeligheten de jobber i. Og fordi store deler av samfunnsvitenskapen (deler av økonomifaget unntatt) har sagt omtrent like lenge at den er dårlig egnet til å fange opp kompleksiteten i de forhold bistand forsøker å påvirke (litt mer om en måte å se det på her). Og fordi systemet heller ikke har levert godt. De fleste evalueringer, som er avhengig av god dokumentasjon, konkluderer med at systemet ikke fungerer godt nok i praksis på tross av et enormt antall årsverk investert. Heller ikke samfunnsforskningen nå inkludert økonomifaget) er fornøyd (med den informasjon som leveres av denne styringslogikken, og vil stort sett mene at den ikke gir god nok informasjon om bistandens effekter.
Dagens praksis er derfor til frustrasjon for mange, men av ulike grunner: Noen fordi de mener system er uegnet, andre fordi det ikke implementeres godt nok. På toppen av det hele synes det nå også klart at denne form for resultatarbeid heller ikke har har vært nok til å stanse kritikere som hevder (oftest uten evidens) at bistand ikke virker. Også her ser systemet ut til å ha mislyktes, for for slike påstander er blitt mer vanlig etterhvert som systemet er blitt mer sofistikert (men, viktig: hovedmålet var mer målrettet og effektiv bistand, ikke å stanse kritikk).
Vi har altså et system som ingen er fornøyd med, tross snart tre tiår med tunge investeringer i form av arbeidstid og konsulenthonorarer, og stadige finjusteringer. Hvor lenge må vi fortsette før de fleste involverte er fortrolig med det? Kanskje til 2030? Kanskje dette skulle ha vært bærekraftsmål nummer 18, eller i det minste delmål 170?
Men det er kanskje verre enn som så. Kanskje er problemet større enn kostnader, frustrasjoner og (foreløpig) lite gevinst. På noen måter gjør det kanskje bistanden dårligere, eller iallfall mindre tilpasningsdyktig.
Det er umulig slå fast hva som er årsak og virkning, men det er ikke urimelig å anta at denne styringslogikken bidrar til å forsterke en tenking og praksis som gjør bistanden mer rigid, teknokratisk og over tid mer virkelighetsfjern enn hva som er heldig. Altså det problemet som mest elegant (men ufortjent karikert) er beskrevet av William Easterly i White Man's Burden, og som jeg tror forklarer mange av bistandens problemer. Det vil være helt feil å gi styringssystemet skylda for de problemene han beskriver. Men det er omtrent like feil å frikjenne det helt.
Et stikkord her er indikatorene. Denne måten å styre på er nemlig helt avhengig av forhåndsbestemte indikatorer, som er selve grunnmuren både i styring og resultatdokumentasjon. Helst med tydelige måltall, som altså sier nøyaktig hva som skal oppnå (av type "20000 flere skolebarn skal fullføre grunnutdanning innen 2024"). Og helst på flere nivå, altså både hva du faktisk skal levere (outputs) og hva det skal føre til (outcomes og impact). For det er jo slik at det "laveste" nivået (output) er det eneste man har kontroll over og kan bli holdt ansvarlig for, mens de "høyere" nivåene (outcome og impact) er de eneste viktige nivåene, men utenfor hva som er mulig å forutsi i en uforutsigbar verden.
Altså er det paradoksalt nok slik at indikatorene oppleves både som nødvendige og ubrukelige på hvert nivå, men på ulike måter: På lavt nivå (hva du leverer) fordi det er det eneste nivået at en bistandsorganisasjon har såpass kontroll over at den kan bli stilt ansvarlig for at indikatorene oppnås, men det er også så lavt nivå at informasjonen er uinteressant. På høyt nivå (hva som oppnås) fordi det er det nivået som egentlig betyr noe, men da spiller så mange andre faktorer inn at indikatorene ikke kan brukes til ansvarliggjøring. Løsningen på dette problemet har vært å ha forhåndsbestemte indikatorer på alle nivå, samtidig. Det er ingen god ide.
De forhold som bistand er tiltenkt å virke i, er nemlig normalt ganske uforutsigbare. Da er det simpelthen ikke mulig å forutsi med noenlunde presisjon hva handling A vil føre til på indikator B om seks måneder eller tre år. Ikke bare det: Det er normalt ikke engang mulig å forutsi hvilken handling A som er den riktige om seks måneder eller tre år, altså hvilket output som er det rette å produsere neste år, langt mindre hva slags outcome det kan forventes å lede til. Det betyr at en forhåndsbestemt indikator kan gjøre det vanskelig å gjøre riktige valg underveis, om ting ikke utvikler seg som du hadde trodd.
Ikke alltid, selvsagt. I mange tilfeller er forholdene forutsigbare nok til at det er rimelig å forvente detaljerte planer for noen år framover. Og derfor er det heller ikke grunnlag for å si at denne styringslogikken generelt er uegnet. Ofte er det kanskje den beste. Men ofte er forholdene slik at forhåndsbestemte indikatorer kan bli et problem, særlig når de skal være på flere resultatnivå samtidig.
Om du ikke er overbevist, tenk deg at du vil starte dagligvarebutikk et sted i Norge. Det er en veletablert virksomhet i et kjent marked og med få, kjente konkurrenter i ett av verdens mest stabile land. Du trenger penger til å starte opp, og investorene gir deg det under forutsetning av et resultatrammeverk med indikatorer for hva slags omsetning du skal ha i år 1, 2, 3, 4 og 5 ("outcome"). I tillegg skal de vite hvor mye du skal tjene, altså bunnlinjen ("impact"). Ikke bare det, de vil også vite hva slags vareslag du skal selge og hvor mye av hver ("output"). I fem år må du forholde deg til disse indikatorene, og du må begrunne alle avvik utover 20 prosent, eventuelt gå tilbake og forhandle med investorene om du vil endre dem. En evaluering etter fem år måler deg på dette og slakter deg hvis du ikke har den omsetningen du hadde lovet - selv om du kanskje har tjent penger og levert utbytte til aksjonærene.
Er det en god måte å styre på? Er det en lur måte for investoren (som her kan sammenlignes med tilskuddsforvalter) å få mest mulig igjen for pengene på? Hvis du tror det, kan du stille spørsmålet om hvorfor det ikke er slik man driver med på børsen. Hvis du tviler på det, kan du bytte ut butikken med et hvilket som helst bistandstiltak, hvor uforutsigbarheten og kompleksiteten er enormt mye større enn å drive dagligvarebutikk i Norge, og forhåndsbestemte indikatorer er tilsvarende mindre hjelpsomme.
I en ideell verden ville indikatorene blitt stadig revurdert for å passe best mulig til virkelighet. Jeg skulle tro det i det minste må gjøres hvert kvartal. Da blir indikatorene reelle styringsverktøy, og jeg tror det var slik de var tenkt da noen konsulenter tenkte ut dette systemet for noen tiår siden. Men jeg kjenner ingen som oppdaterer disse så ofte, og hvis de hadde blitt endret så ofte ville de også ha mistet mye av sin verdi fordi det ville vært vanskelig å registrere utvikling over tid.
Et annet problem med indikatorer til å registrere informasjon er at fordi de er forhåndsbestemt, er de dårlig egnet til å fange opp det uforutsette. Det betyr både at styringsinformasjon forsvinner, og at resultatdokumentasjonen blir svakere fordi den ikke fanger opp de utilsiktede effektene av bistanden, verken positive eller negative. Jeg tror vi mistet mye verdifull informasjon om bistandens utilsiktede effekter da vi gikk over fra narrative rapporter til indikatorer som hovedinstrument. Forsker Hilde Reinertsen har skrevet noe veldig viktig om dette.
Jeg sier ikke at indikatorer ikke skal brukes, og jeg sliter litt selv med hva som er alternativene, men jeg synes altså det er problematisk at forhåndsbestemte indikatorer er blitt det viktigste verktøy i en omskiftelig virksomhet.
Det er kanskje ufint å minne om at det forrige regimet som var kjent for flerårsplaner med detaljerte indikatorer, var Sovjetunionen. Og det ikke direkte sammenlignbart, men har flere likhetstrekk enn det som er komfortabelt.
I tillegg til at indikatorene er problematiske (som altså ikke betyr at de ikke skal brukes), så gjør de heller ikke særlig nytte for seg på det området hvor de ofte forventes å være et verktøy: Å dokumentere resultater. De viser nemlig normalt ikke resultater, bare måloppnåelse. Når de brukes på høyere resultatnivå (outcome og kanskje impact) er det på et nivå som per definisjon er et nivå som ligger utenfor hva som påvirkes bare av det aktuelle tiltaket. Dermed er indikatoren i seg selv ikke noe troverdig uttrykk for effekten av bistand, men er summen av bistand og alt annet som skjer i samfunnet. Før man har gjort en vurdering av årsakssammenhenger (som er en enormt krevende jobb) får man altså ingen informasjon om resultater bare ved å se på indikatorene, bare om måloppnåelse. Det er i seg selv nyttig informasjon å styre etter, men er altså ikke resultatdokumentasjon.
Hva er da alternativet? Jeg tør ikke foreslå noe. Men jeg synes altså det er verdt å minne om at det finnes andre måter å gjøre det på. Det må finnes. Og det faktum at man både i privat og offentlig sektor gjør ting på andre måter, må jo bety at det må finnes andre måter å styre bistand på.
Norsk offentlig forvaltning har iallfall et enormt rom til å finne andre måter å gjøre det på. Styringen av enhver bruk av bistandsmidler må selvsagt være streng (vi kan jo ikke risikere at bistandsmidler ikke brukes godt), og må følges av dokumentasjon av resultater. Til all bruk av offentlige midler følger krav til dokumentasjon. For statlige midler dekkes dette i hovedsak av Regelverket for økonomistyring i staten (økonomireglementet), som ble revidert for et par år siden og som jeg synes er bra. Regelverket dekker mange ordninger, inkludert tilskuddsordninger, som er mest relevant innen bistand (NB. Jeg kjenner ikke dette regelverket godt, og det kan tenkes jeg tar feil i noe her. Håper i så fall å bli korrigert).
Regelverket krever en hel masse med dokumentasjon, og jeg går ikke inn på det her, men vil nevne at i regelverkets 120 sider er ordet "indikator" ikke nevnt. Heller ikke ordene "resultatrammeverk", "resultatmåling", "måle/måling" eller "endringsteori" - ord som er så integrert i bistandens resultatstyring at det er vanskelig å tenke seg bistand uten. De strenge reglene for offentlig forvaltning sier altså ingenting om dette. Derimot er regelverket formulert på en måte som både innebærer strenge krav til at det faktisk skal dokumenteres, samtidig som det gis stort rom for ulike måter å gjøre det på.
Se for eksempel på punkt 6.3.6, som er den eneste del av regelverket som eksplisitt sier noe om hva tilskuddsmottaker (altså bistandsorganisasjonen) skal rapportere - i motsetning til resten av regelverket som stiller krav til tilskuddsforvalter (altså UD/Norad). Byråkrathjertet mitt synes det er så så fint at jeg gjengir det i sin helhet (ja, det er faktisk ikke mer tekst enn dette):
Tilskuddsforvalter skal innhente rapporter fra tilskuddsmottakere som gjør det mulig å vurdere graden av måloppnåelse. Kriteriene for måloppnåelse skal være i samsvar med Stortingets vedtak og forutsetninger. Kriteriene skal være så konkret og presist utformet at det kan foretas oppfølging uten uforholdsmessig store kostnader. Tilskuddsmottakere må pålegges å sende inn rapport i henhold til disse kriteriene. Kravene til rapportering skal ikke gis større omfang enn det som er rimelig i forhold til den nytten tilskuddsmottaker har av tilskuddet. Det skal også tas hensyn til de praktiske mulighetene som hver enkelt mottaker har for å fremskaffe informasjon. Rapportering fra tilskuddsmottaker kan erstattes eller suppleres med informasjon fra andre kilder hvis disse gir relevant og tilfredsstillende informasjon.
Er det ikke vakkert? Les gjerne en gang til. Det er akkurat slike typer føringer offentlig forvaltning trenger - strenge krav, men med åpenhet om hvordan de skal innfris. Derfor er det så trist at så store deler av forvaltningen (ikke bare i bistand) ikke jobber etter en slik tenkemåte, men istedet praktiserer rigide, ressurskrevende, one size fits all-dokumentasjon. Det er liksom tryggere enn å utøve skjønn.
Norad og UD har valgt å pålegge tilskuddsmottaker mye mer enn det som står i 6.3.6 ovenfor. I praksis er tilskuddsmottaker bedt om å gjøre nesten alt det som Økonomiregelverket krever av tilskuddsforvalter. Det synes jeg er fornuftig, gitt hvor lite ressurser de har til å løse sine oppgaver og hva som bør kunne forventes av bistandsorganisasjonene, men det er i prinsippet en form for outsourcing til tilskuddsmottaker av offentlig forvaltning. Det har Norad og UD full dekning for (blant annet pkt 6.2.1.1b, og jeg skulle tro at 6.2.2.4 også er relevant). Jeg nevner det bare for å vise at dagens arbeidsdeling ikke er skrevet i stein (dvs i rundskriv fra Finansdepartementet).
Økonomireglementet er bare en liten faktor her. Men når jeg synes det er nevne det her, er det fordi regelverket av og til brukes til å begrunne dagens praksis. Det holder ikke. Dagens praksis kan ikke begrunnes med formelle krav, men med en praksis etablert over noen tiår, godt hjulpet av en stor konsulentindustri som tjener gode penger på det. Konsulentene tjener faktisk enda mer dersom systemet oppleves som dysfunksjonelt, for da blir det behov for enda mer seminarer, håndbøker, skrivehjelp til bistandsorganisasjoner og periodevis revisjon av systermet. Så vi kan nok ikke forvente noen alternativer derfra. Ikke fra Norad/UD heller, for de har mer enn nok med sitt for tiden.
Da gjenstår vel egentlig bare de som utsettes for dagens regime, nemlig bistandsorganisasjonene som er tilskuddsmottakere og i vekslende grad både utsatt for og drivkrefter for denne styringslogikken. Og spørsmålet til dem er egentlig enkelt: Gitt Økonomiregelverket og allmenne krav til god styring av bistand for å muliggjøre best mulig bruk av bistandsmidler og rapportering som kan gi tilskuddsforvalter og skattebetalere et så godt bilde som praktisk mulig av hva bistanden har ført til: Hvordan bør bistand forvaltes, styres og rapporteres? Hvis dere ikke er fornøyd med dagens system, hvordan skal tilskuddsforvalter og skattebetalere ellers kunne holde dere ansvarlige for bruk av bistand? Er det mulig å tenke seg god styring av og rapportering om bistand uten forhåndsbestemte indikatorer? Kjør debatt!
Den utløsende parantesen handlet egentlig om krav til dokumentasjon av resultater, men det kan ikke diskuteres uten å se det i sammenheng med en bestemt styringslogikk som er uløselig knyttet til disse dokumentasjonskravene, men som gjennomsyrer hvordan bistand styres. Det gjelder hele pakka av hva som gjerne kalles "resultatarbeid", og som leder til den ønskede dokumentasjon. Det har røtter tilbake til logical framework approach fra forrige årtusen, med mange avleggerne med ulike navn siden da; en av de siste avleggerne (og i mine øyne den hittil beste) er theory of change. Denne styringslogikken har dominert bistanden i så stor grad at det er vanskelig i dag å se for seg offentlig finansiert bistand uten.
Det er ikke en veldig spesiell form for styring. Lignende måter å styre på finnes i både offentlig og private sektor, og det er mye bra å si om den. Men det er likevel bare en av hundrevis av måter man kan styre på. Derfor er det påfallende at det er den eneste logikk som tillates for alt som er bistandsfinansiert, siden bistand er så mangfoldig. Samme logikk må altså appliseres på nesten all mulig virksomhet i nesten alle sektorer i halvparten av verdens land. Du forventes å styre etter samme logikk enten du forvalter milliardinvesteringer i et kraftutbygging eller organiserer kvinnegrupper i fattige landsbyer, så lenge det du gjør er delfinansiert med offentlig bistand.
At akkurat denne styringslogikken er blitt så dominerende, er for meg en gåte. Det er fordi svært mange (ikke alle) "praktikere" som har ansvar for bistandsarbeid helt siden logikken ble introdusert og til i dag har sagt at den passer dårlig på den virkeligheten de jobber i. Og fordi store deler av samfunnsvitenskapen (deler av økonomifaget unntatt) har sagt omtrent like lenge at den er dårlig egnet til å fange opp kompleksiteten i de forhold bistand forsøker å påvirke (litt mer om en måte å se det på her). Og fordi systemet heller ikke har levert godt. De fleste evalueringer, som er avhengig av god dokumentasjon, konkluderer med at systemet ikke fungerer godt nok i praksis på tross av et enormt antall årsverk investert. Heller ikke samfunnsforskningen nå inkludert økonomifaget) er fornøyd (med den informasjon som leveres av denne styringslogikken, og vil stort sett mene at den ikke gir god nok informasjon om bistandens effekter.
Dagens praksis er derfor til frustrasjon for mange, men av ulike grunner: Noen fordi de mener system er uegnet, andre fordi det ikke implementeres godt nok. På toppen av det hele synes det nå også klart at denne form for resultatarbeid heller ikke har har vært nok til å stanse kritikere som hevder (oftest uten evidens) at bistand ikke virker. Også her ser systemet ut til å ha mislyktes, for for slike påstander er blitt mer vanlig etterhvert som systemet er blitt mer sofistikert (men, viktig: hovedmålet var mer målrettet og effektiv bistand, ikke å stanse kritikk).
Vi har altså et system som ingen er fornøyd med, tross snart tre tiår med tunge investeringer i form av arbeidstid og konsulenthonorarer, og stadige finjusteringer. Hvor lenge må vi fortsette før de fleste involverte er fortrolig med det? Kanskje til 2030? Kanskje dette skulle ha vært bærekraftsmål nummer 18, eller i det minste delmål 170?
Men det er kanskje verre enn som så. Kanskje er problemet større enn kostnader, frustrasjoner og (foreløpig) lite gevinst. På noen måter gjør det kanskje bistanden dårligere, eller iallfall mindre tilpasningsdyktig.
Det er umulig slå fast hva som er årsak og virkning, men det er ikke urimelig å anta at denne styringslogikken bidrar til å forsterke en tenking og praksis som gjør bistanden mer rigid, teknokratisk og over tid mer virkelighetsfjern enn hva som er heldig. Altså det problemet som mest elegant (men ufortjent karikert) er beskrevet av William Easterly i White Man's Burden, og som jeg tror forklarer mange av bistandens problemer. Det vil være helt feil å gi styringssystemet skylda for de problemene han beskriver. Men det er omtrent like feil å frikjenne det helt.
Et stikkord her er indikatorene. Denne måten å styre på er nemlig helt avhengig av forhåndsbestemte indikatorer, som er selve grunnmuren både i styring og resultatdokumentasjon. Helst med tydelige måltall, som altså sier nøyaktig hva som skal oppnå (av type "20000 flere skolebarn skal fullføre grunnutdanning innen 2024"). Og helst på flere nivå, altså både hva du faktisk skal levere (outputs) og hva det skal føre til (outcomes og impact). For det er jo slik at det "laveste" nivået (output) er det eneste man har kontroll over og kan bli holdt ansvarlig for, mens de "høyere" nivåene (outcome og impact) er de eneste viktige nivåene, men utenfor hva som er mulig å forutsi i en uforutsigbar verden.
Altså er det paradoksalt nok slik at indikatorene oppleves både som nødvendige og ubrukelige på hvert nivå, men på ulike måter: På lavt nivå (hva du leverer) fordi det er det eneste nivået at en bistandsorganisasjon har såpass kontroll over at den kan bli stilt ansvarlig for at indikatorene oppnås, men det er også så lavt nivå at informasjonen er uinteressant. På høyt nivå (hva som oppnås) fordi det er det nivået som egentlig betyr noe, men da spiller så mange andre faktorer inn at indikatorene ikke kan brukes til ansvarliggjøring. Løsningen på dette problemet har vært å ha forhåndsbestemte indikatorer på alle nivå, samtidig. Det er ingen god ide.
De forhold som bistand er tiltenkt å virke i, er nemlig normalt ganske uforutsigbare. Da er det simpelthen ikke mulig å forutsi med noenlunde presisjon hva handling A vil føre til på indikator B om seks måneder eller tre år. Ikke bare det: Det er normalt ikke engang mulig å forutsi hvilken handling A som er den riktige om seks måneder eller tre år, altså hvilket output som er det rette å produsere neste år, langt mindre hva slags outcome det kan forventes å lede til. Det betyr at en forhåndsbestemt indikator kan gjøre det vanskelig å gjøre riktige valg underveis, om ting ikke utvikler seg som du hadde trodd.
Ikke alltid, selvsagt. I mange tilfeller er forholdene forutsigbare nok til at det er rimelig å forvente detaljerte planer for noen år framover. Og derfor er det heller ikke grunnlag for å si at denne styringslogikken generelt er uegnet. Ofte er det kanskje den beste. Men ofte er forholdene slik at forhåndsbestemte indikatorer kan bli et problem, særlig når de skal være på flere resultatnivå samtidig.
Om du ikke er overbevist, tenk deg at du vil starte dagligvarebutikk et sted i Norge. Det er en veletablert virksomhet i et kjent marked og med få, kjente konkurrenter i ett av verdens mest stabile land. Du trenger penger til å starte opp, og investorene gir deg det under forutsetning av et resultatrammeverk med indikatorer for hva slags omsetning du skal ha i år 1, 2, 3, 4 og 5 ("outcome"). I tillegg skal de vite hvor mye du skal tjene, altså bunnlinjen ("impact"). Ikke bare det, de vil også vite hva slags vareslag du skal selge og hvor mye av hver ("output"). I fem år må du forholde deg til disse indikatorene, og du må begrunne alle avvik utover 20 prosent, eventuelt gå tilbake og forhandle med investorene om du vil endre dem. En evaluering etter fem år måler deg på dette og slakter deg hvis du ikke har den omsetningen du hadde lovet - selv om du kanskje har tjent penger og levert utbytte til aksjonærene.
Er det en god måte å styre på? Er det en lur måte for investoren (som her kan sammenlignes med tilskuddsforvalter) å få mest mulig igjen for pengene på? Hvis du tror det, kan du stille spørsmålet om hvorfor det ikke er slik man driver med på børsen. Hvis du tviler på det, kan du bytte ut butikken med et hvilket som helst bistandstiltak, hvor uforutsigbarheten og kompleksiteten er enormt mye større enn å drive dagligvarebutikk i Norge, og forhåndsbestemte indikatorer er tilsvarende mindre hjelpsomme.
I en ideell verden ville indikatorene blitt stadig revurdert for å passe best mulig til virkelighet. Jeg skulle tro det i det minste må gjøres hvert kvartal. Da blir indikatorene reelle styringsverktøy, og jeg tror det var slik de var tenkt da noen konsulenter tenkte ut dette systemet for noen tiår siden. Men jeg kjenner ingen som oppdaterer disse så ofte, og hvis de hadde blitt endret så ofte ville de også ha mistet mye av sin verdi fordi det ville vært vanskelig å registrere utvikling over tid.
Et annet problem med indikatorer til å registrere informasjon er at fordi de er forhåndsbestemt, er de dårlig egnet til å fange opp det uforutsette. Det betyr både at styringsinformasjon forsvinner, og at resultatdokumentasjonen blir svakere fordi den ikke fanger opp de utilsiktede effektene av bistanden, verken positive eller negative. Jeg tror vi mistet mye verdifull informasjon om bistandens utilsiktede effekter da vi gikk over fra narrative rapporter til indikatorer som hovedinstrument. Forsker Hilde Reinertsen har skrevet noe veldig viktig om dette.
Jeg sier ikke at indikatorer ikke skal brukes, og jeg sliter litt selv med hva som er alternativene, men jeg synes altså det er problematisk at forhåndsbestemte indikatorer er blitt det viktigste verktøy i en omskiftelig virksomhet.
Det er kanskje ufint å minne om at det forrige regimet som var kjent for flerårsplaner med detaljerte indikatorer, var Sovjetunionen. Og det ikke direkte sammenlignbart, men har flere likhetstrekk enn det som er komfortabelt.
I tillegg til at indikatorene er problematiske (som altså ikke betyr at de ikke skal brukes), så gjør de heller ikke særlig nytte for seg på det området hvor de ofte forventes å være et verktøy: Å dokumentere resultater. De viser nemlig normalt ikke resultater, bare måloppnåelse. Når de brukes på høyere resultatnivå (outcome og kanskje impact) er det på et nivå som per definisjon er et nivå som ligger utenfor hva som påvirkes bare av det aktuelle tiltaket. Dermed er indikatoren i seg selv ikke noe troverdig uttrykk for effekten av bistand, men er summen av bistand og alt annet som skjer i samfunnet. Før man har gjort en vurdering av årsakssammenhenger (som er en enormt krevende jobb) får man altså ingen informasjon om resultater bare ved å se på indikatorene, bare om måloppnåelse. Det er i seg selv nyttig informasjon å styre etter, men er altså ikke resultatdokumentasjon.
Hva er da alternativet? Jeg tør ikke foreslå noe. Men jeg synes altså det er verdt å minne om at det finnes andre måter å gjøre det på. Det må finnes. Og det faktum at man både i privat og offentlig sektor gjør ting på andre måter, må jo bety at det må finnes andre måter å styre bistand på.
Norsk offentlig forvaltning har iallfall et enormt rom til å finne andre måter å gjøre det på. Styringen av enhver bruk av bistandsmidler må selvsagt være streng (vi kan jo ikke risikere at bistandsmidler ikke brukes godt), og må følges av dokumentasjon av resultater. Til all bruk av offentlige midler følger krav til dokumentasjon. For statlige midler dekkes dette i hovedsak av Regelverket for økonomistyring i staten (økonomireglementet), som ble revidert for et par år siden og som jeg synes er bra. Regelverket dekker mange ordninger, inkludert tilskuddsordninger, som er mest relevant innen bistand (NB. Jeg kjenner ikke dette regelverket godt, og det kan tenkes jeg tar feil i noe her. Håper i så fall å bli korrigert).
Regelverket krever en hel masse med dokumentasjon, og jeg går ikke inn på det her, men vil nevne at i regelverkets 120 sider er ordet "indikator" ikke nevnt. Heller ikke ordene "resultatrammeverk", "resultatmåling", "måle/måling" eller "endringsteori" - ord som er så integrert i bistandens resultatstyring at det er vanskelig å tenke seg bistand uten. De strenge reglene for offentlig forvaltning sier altså ingenting om dette. Derimot er regelverket formulert på en måte som både innebærer strenge krav til at det faktisk skal dokumenteres, samtidig som det gis stort rom for ulike måter å gjøre det på.
Se for eksempel på punkt 6.3.6, som er den eneste del av regelverket som eksplisitt sier noe om hva tilskuddsmottaker (altså bistandsorganisasjonen) skal rapportere - i motsetning til resten av regelverket som stiller krav til tilskuddsforvalter (altså UD/Norad). Byråkrathjertet mitt synes det er så så fint at jeg gjengir det i sin helhet (ja, det er faktisk ikke mer tekst enn dette):
Tilskuddsforvalter skal innhente rapporter fra tilskuddsmottakere som gjør det mulig å vurdere graden av måloppnåelse. Kriteriene for måloppnåelse skal være i samsvar med Stortingets vedtak og forutsetninger. Kriteriene skal være så konkret og presist utformet at det kan foretas oppfølging uten uforholdsmessig store kostnader. Tilskuddsmottakere må pålegges å sende inn rapport i henhold til disse kriteriene. Kravene til rapportering skal ikke gis større omfang enn det som er rimelig i forhold til den nytten tilskuddsmottaker har av tilskuddet. Det skal også tas hensyn til de praktiske mulighetene som hver enkelt mottaker har for å fremskaffe informasjon. Rapportering fra tilskuddsmottaker kan erstattes eller suppleres med informasjon fra andre kilder hvis disse gir relevant og tilfredsstillende informasjon.
Er det ikke vakkert? Les gjerne en gang til. Det er akkurat slike typer føringer offentlig forvaltning trenger - strenge krav, men med åpenhet om hvordan de skal innfris. Derfor er det så trist at så store deler av forvaltningen (ikke bare i bistand) ikke jobber etter en slik tenkemåte, men istedet praktiserer rigide, ressurskrevende, one size fits all-dokumentasjon. Det er liksom tryggere enn å utøve skjønn.
Norad og UD har valgt å pålegge tilskuddsmottaker mye mer enn det som står i 6.3.6 ovenfor. I praksis er tilskuddsmottaker bedt om å gjøre nesten alt det som Økonomiregelverket krever av tilskuddsforvalter. Det synes jeg er fornuftig, gitt hvor lite ressurser de har til å løse sine oppgaver og hva som bør kunne forventes av bistandsorganisasjonene, men det er i prinsippet en form for outsourcing til tilskuddsmottaker av offentlig forvaltning. Det har Norad og UD full dekning for (blant annet pkt 6.2.1.1b, og jeg skulle tro at 6.2.2.4 også er relevant). Jeg nevner det bare for å vise at dagens arbeidsdeling ikke er skrevet i stein (dvs i rundskriv fra Finansdepartementet).
Økonomireglementet er bare en liten faktor her. Men når jeg synes det er nevne det her, er det fordi regelverket av og til brukes til å begrunne dagens praksis. Det holder ikke. Dagens praksis kan ikke begrunnes med formelle krav, men med en praksis etablert over noen tiår, godt hjulpet av en stor konsulentindustri som tjener gode penger på det. Konsulentene tjener faktisk enda mer dersom systemet oppleves som dysfunksjonelt, for da blir det behov for enda mer seminarer, håndbøker, skrivehjelp til bistandsorganisasjoner og periodevis revisjon av systermet. Så vi kan nok ikke forvente noen alternativer derfra. Ikke fra Norad/UD heller, for de har mer enn nok med sitt for tiden.
Da gjenstår vel egentlig bare de som utsettes for dagens regime, nemlig bistandsorganisasjonene som er tilskuddsmottakere og i vekslende grad både utsatt for og drivkrefter for denne styringslogikken. Og spørsmålet til dem er egentlig enkelt: Gitt Økonomiregelverket og allmenne krav til god styring av bistand for å muliggjøre best mulig bruk av bistandsmidler og rapportering som kan gi tilskuddsforvalter og skattebetalere et så godt bilde som praktisk mulig av hva bistanden har ført til: Hvordan bør bistand forvaltes, styres og rapporteres? Hvis dere ikke er fornøyd med dagens system, hvordan skal tilskuddsforvalter og skattebetalere ellers kunne holde dere ansvarlige for bruk av bistand? Er det mulig å tenke seg god styring av og rapportering om bistand uten forhåndsbestemte indikatorer? Kjør debatt!
Ingen kommentarer:
Legg inn en kommentar