Når det først skal ommøbleres: Bruk anledningen til en ekstrem oppussing

Skal man tolke ut fra reaksjonene, er det bare i Victoria Terrasse og i Førde at det finnes folk som tror det vil gå bra å flytte evaluering av norsk bistand til Førde. Et godt argument for at disse faktisk kan få rett, er at vi hørte lignende skepsis da forrige regjering flyttet Norec/Fredskorpset samme vei – og det gikk bra. Den nye flyttejobben blir imidlertid vanskeligere. 

Det tjener nok ikke saken med mer kritikk av beslutningen, for sluttresultatet blir antakelig best om det skapes entusiasme rundt flyttingen. Vår jobb nå er å heie, mens regjeringen demonstrerer at Norge klarer det Sverige ikke klarte. 

Jeg håper også at regjeringen også bruker anledningen til å tenke nytt og kreativt om dette viktige instrumentet for bedre bistand.

En ommøblering (enten man flytter møbler eller byråkrater) er en god anledning til å tenke gjennom på hva slags behov man har og hvordan de kan dekkes på best mulige måter. Vi mennesker er jo vanedyr (byråkrater i særdeleshet) og hvis vi ikke bruker slike anledninger, risikerer vi å fortsette som før selv om det ikke er beste måten å gjøre ting på. 

Og når det først skal gjennomføres en endringsprosess med høy kostnad – for organisasjonene involvert, de ansatte, og for bistanden som i en overgangsperiode vil lide under svekket evalueringsarbeid – er det uansvarlig å gi fra seg anledningen til å gjøre andre nyttige endringer samtidig. Hvis en så kostnadskrevende prosess bare fører til ny lokalisering og lite annet, har det høy pris for bare litt politisk gevinst. Hvis man gjør andre endringer samtidig, vil prisen bli omtrent den samme, men gevinsten mye høyere.

En særlig grunn til at det tid for å vurdere evalueringsfunksjonen, er at Norge sovet i timen i lang tid. De fleste andre store giverland har gjennomgått sine evalueringsfunksjoner, og mange har lagt ganske radikalt om på hvordan evalueringsarbeidet er organisert, mens Norge har har hatt samme oppsett siden 2004/5. Oppdettet har fungert rimelig greit, men en innebygget svakhet er blitt demonstrert de siste årene: Det har vært mulig for Norads ledelse å vingeklippe funksjonen etablert nettopp for å holde (blant annet) Norads ledelse ansvarlig, uten å gi bevilgende myndigheter (Stortinget) relevant informasjon som ville gjort det mulig å avdekke og korrigere det. Risikoen har vært påpekt, men ignorert, og det var bare et spørsmål om tid før en direktør ville bruke muligheten.

At det gamle oppsettet har blitt værende så lenge, tror jeg skyldes at Utenriksdepartementet har fått lov av Stortinget til å rigge systemet alene. I mange andre giverland har parlamentene debattert bistandsevaluering, og flere parlamenter har formelle eller semi-formelle roller i oppsettet. Jeg forstår ikke at Stortinget har akseptert at UD selv bestemmer hvordan UD skal holdes ansvarlig for bruk av bistandsmidlene. 

En grunn er kanskje at man i tillitslandet Norge har underkommunisert ansvarliggjøring som en sentral oppgave for evalueringsarbeidet, og særlig evalueringenes rolle i ansvarliggjøring av beslutninger i UD og Norad. Det er ganske ironisk at Norad og UD over tid har utviklet et monster av et forvaltningsregime for å holde sine tilskuddsmottakere ansvarlig for pengebruk og resultatindikatorer, men selv ikke holdes effektivt ansvarlig for hvorvidt de selv gjør riktige beslutninger om bistand. Nær sagt alle bistandens viktigste beslutningene skjer jo i UD og Norad før pengene sendes til tilskuddsforvalter, enten det er overordnede veivalg og prioriteringer, strategiutforming, kunnskapsforvaltning, systemer for kvalitetssikring, eller tusenvis av viktige enkeltvedtak. 

Denne ubalansen når det gjelder hvem som blir ansvarliggjort, har vært mulig når UD og Norad har fått jobbe med slike spørsmål alene, uten synlig interesse fra bevilgende myndigheter. Det har gått så langt at både Norads ledelse og flere i UD har demonstrert at de ikke har forstått (eller akseptert) evalueringenes rolle innen ansvarliggjøring slik dette er tenkt innen evalueringsfaget, i det internasjonale bistandssystemet, i OECD, i norsk offentlighet og i Stortinget. Norads direktør trodde en periode at han kunne legge evalueringsarbeidet inn i "linja". UD har tidvis uttalt seg om evalueringer de ikke liker (noe de selvsagt gjerne må gjøre), på måter som viser at de ikke forstår at det ikke er et suksesskriterium i ansvarliggjøring at den som stilles ansvarlig synes det er "nyttig".

Derfor: 

1. Rendyrk ansvarliggjøring som hovedfunksjon

Nettopp ansvarliggjøring bør rendyrkes som hovedoppdraget, når evalueringsfunksjonen skal gjennomgås på nytt. Eller kanskje heller accountability, for akkurat her er det norske språket litt fattig (sorry, Førde): Ansvarliggjøring høres litt brutalt ut og kanskje unødvendig når man har tillit til hverandre og alle gjør sitt beste (som stort sett er sant innen bistand), men alle forstår at accountability må utgjøre en sentral del av et hvilket som helst organisatorisk oppsett. 

Det gjelder særlig når noen har fått i oppgave å sette noen andre sine penger i arbeid til nytte for en tredjepart, og denne tredjeparten er blant verdens minst privilegerte uten reell mulighet til å gi tilbakemelding til de som har bevilget midlene. Slik sett er bistand en ekstremvariant av det klassiske prinsipal-agent-problemet, som burde fått enhver til å spørre om hvordan det står til med accountability. Det er veldig komfortabelt for agenten, i dette tilfellet UD og Norad (og noen andre), at prinsipalen ikke virker interessert i dette.

Evaluering har i flere tiår vært bistandens viktigste svar på dette problemet, og det er grunnen til at offentlig bistand lenge har vært blant de beste i klassen, internasjonalt, på evaluering. (Historietime: Tradisjonelt har bistanden konkurrert med utdanningssektoren om "best i klassen"-tittelen, men mest i land der utdanningspolitikk har vært mer kontroversielt enn i Norge og det er nok ikke tilfeldig. I en underkategori av evaluering, såkalte effektstudier, har helsesektoren vært best i klassen, men den underkategorien har aldri blitt særlig utbredt i andre sektorer, antakelig fordi menneskers liv er mye mer heterogene enn deres kropper. I alle sektorene har evaluering vært viktigste slagmark i hva som gjerne omtales som "the paradigm war", en langvarig og ganske intens konflikt om ulike kunnskapssyn i både samfunnsvitenskap og offentlig forvaltning, som også dukker opp i bistanden med ujevne mellomrom og hver gang omtales som om det er noe nytt).

Bistandsevaluering har selvsagt også andre funksjoner, primært å bidra til læring. Både læring og ansvarliggjøring bidrar igjen til bedre bistand, men på litt ulike måter og de krever ideelt sett litt ulike tilnærminger. 

Kombinasjonen av disse to funksjonene har derfor vært gjenstand for en masse intellektuelt og organisatorisk arbeid gjennom tiår med bistandsevaluering. Noen mener at de to funksjonene blir dårligere om de kombineres, og heller bør rendyrkes hver for seg. Andre mener at kombinasjon er den beste eller kanskje eneste måte å gjøre det på. Evalueringsavdelingen i Norad har vært representant for hybrid-løsningen. Jeg har vært skeptisk til dette (jeg var fagdirektør for evaluering for noen år siden), men avdelingen har demonstrert at det er fullt mulig å kombinere. Det krever blant annet ganske hårfin balanse mellom å være tilstede der det skjer og å opptre uavhengig, og det krever organisatorisk, sosial og kommunikasjonsmessig manøvreringsevne å bevare tillit internt og kredibilitet eksternt.

Denne balansegangen blir mye vanskeligere når funksjonen flyttes ut av Norad og Oslo, fordi muligheten til å lykkes med læringsfunksjonen forvitrer. Læring krever tett tilstedeværelse og hyppig interaksjon både før, under og etter evalueringene, og disse mange interaksjonene er en viktigere læringsarena enn selve evalueringsrapportene (det er ikke mange som leser rapporter lenger). Dette er mye, mye vanskeligere når man jobber i to forskjellige byer.

For meg synes det åpenbart at det eneste man vil kunne lykkes ganske godt med i Førde, er den delen av spekteret som handler om ansvarliggjøring. 

Ansvarliggjøring (accountability) bør derfor rendyrkes som det overordnede mandatet når funksjonene skal flyttes til Førde. Det er fordi ansvarliggjøring er den eneste av evalueringsarbeidets funksjoner som er meningsfullt å desentralisere, men også fordi ansvarliggjøring trengs mer enn på lenge, gitt de politiske vindene, bistandsforvaltningen, prioritering hos Norads ledelse, og hva som skjer med kunnskapsarbeidet i Norad og norsk bistand for tiden.

For å understreke alvoret: Når en politiker eller forvaltningsorgan gjør noe dumt med fellesskapets midler, kan vi regne med at det blir korrigert. Ofte er det noen i førstelinjen, kanskje sykepleiere, lærere eller NAV-ansatte, som vet mest og ser det først og forhåpentligvis blir de hørt når de forsøker å si fra. Hvis det ikke korrigeres, blir det raskt kjent blant brukere/målgrupper, interesseorganisasjoner, forskere eller media. Når det norske samfunnet fungerer som det bør (det skjer ofte), vil det igjen føre til forbedring gjennom ansvarliggjøring: Ledere og politikere blir konfrontert med at det er gjort noe som noen mener er dumt. De må da enten forsvare seg (kritikk betyr jo ikke nødvendigvis at det er gjort noe dumt) eller love forbedring, og vil forhåpentligvis levere på løftene. Skjer ikke det, blir de øverste ansvarlige til syvende og sist ansvarliggjort gjennom demokratiske valg, iallfall i prinsippet. 

Når noen gjør noe dumt med bistandsmidlene derimot – politikkutvikling, strategier, prioritering, forvaltningssystemer, gjennomføring – er sjansen liten for at det blir korrigert på samme måte, selv om «å gjøre noe dumt» med bistandsmidler ofte handler om liv og død. De samme mekanismene er simpelthen ikke tilstede eller de er ineffektive. De ansatte i førstelinjen er stort sett utenlands, samtlige sluttbrukere er utenlands og ofte blant verdens minst privilegerte, og alle de intenderte effektene – eller mangel på slike – er i utlandet. Indikatorer og annen resultatinformasjon kan riktignok brukes som proxy på intendert effekt, men bistand gjennomføres på så mange ulike måter og steder at det fins ingen mulighet til å bruke standardiserte mål for å vurdere hvorvidt den er så effektiv som den burde. Bistanden kan til og med gjøre skade uten at slik informasjon noen gang kommer tilbake til Stortinget.

Forskjellen på hjemme og ute er kanskje særlig tydelig når det gjelder ansvarliggjøring for prioritering. Når utdanningsmyndighetene, Innovasjon Norge eller Helse sørøst prioriterer, er det noen som ikke får så mye nytte av offentlige ressurser som de forventer enten det er prioritert "riktig" eller "feil". Enten folk har hatt rimelige forventninger eller ikke, vil noen si fra, det blir synliggjort hva som er nedprioritert og vi får en debatt. Hvis UD og Norad bruker veldig mye penger på noe som ikke fører til noe særlig, eller til formål som folk flest i fattige land ikke synes er det viktigste man kunne brukt penger på (det skjer faktisk veldig ofte), hører vi ingenting. Og verken fagfolk eller journalister kan på meningsfulle måter identifisere personer som ikke er prioritert, og spørre hva de synes. Det er jo et par-tre milliarder andre mennesker som kunne hatt nytte av de samme pengene, om de hadde vært prioritert annerledes. Dette skyldes ikke en svakhet med systemet, det er en iboende egenskap ved bistand.

Det er altså behov for en ekstra innsats for ansvarliggjøring av beslutningstakere i bistand, for å kompensere for at bistand skiller seg fra annen offentlig pengebruk når det gjelder mulighet for ansvarliggjøring. 

For ordens skyld; problemet krever noe mer enn hva Riksrevisjonen tilbyr av ansvarliggjøring. Riksrevisjonen er utformet for politikk- og forvaltningsområder som primært er tenkt å ha konsekvenser for egne borgere, der det også skjer ansvarliggjøring gjennom en mengde formelle og uformelle prosesser, med demokratiske valg som den ultimate mekanisme for ansvarliggjøring. Riksrevisjonen gjør en ganske god jobb med bistanden (det vil si: bistandsforvaltningen slaktes hver gang Riksrevisjonen vender blikket den veien), men har verken mandat, metoder eller kompetanse til å vurdere alle relevante spørsmål rundt hvordan UD og Norad håndterer bistanden godt. 

2. Tenk nytt om organisering

Hybridløsningen knyttet til evaluering i Norad førte med seg et ganske spesielt organisatorisk oppsett som forsøkte å kombinere samorganisering med reell og (eksternt) opplevd uavhengighet fra bistandsforvaltningen. En "evalueringsinstruks" var sentral i dette. Den fungerte sånn noenlunde som en symbolsk markering av (semi-)autonomi i det daglige, selv om den ikke hindret nedbygging og svekkelse av evalueringsfunksjonen (særlig relativt til det stadig større bistandsbudsjettet) uten at Stortinget fikk informasjon nok til å avdekke det.

Jeg vet ikke hva som er tenkt om organisering av evalueringsfunksjonen i Førde, men organisering blir avgjørende. 

Et viktig spørsmål er hvordan Stortinget kan få en formell rolle, som er prinsipielt fornuftig i en funksjon som skal holde regjeringen ansvarlig for bruk av penger bevilget av Stortinget. Flere andre giverland har gitt sine parlamenter en rolle i lignende funksjoner (jeg tør ikke gi detaljer: Jeg kunne mye om dette for noen år siden, men er ikke lenger oppdatert). Siden bistandsevaluering med mål om ansvarliggjøring har en del felles med Riksrevisjonen (selv om mandat og metode er annerledes), er det ingenting i veien for at også bistandsevaluering kan forankres i Stortinget. En av flere løsninger kunne faktisk vært å gi Riksrevisjonen et tilleggsmandat og utvidet verktøykasse – men det er nok for sent nå, for det passer dårlig sammen med flyttingen til Førde.

Stortinget kunne for eksempel ha nedsatt en komite, kommisjon eller utvalg med det overordnede ansvaret, eller i det minste ha etablert en direkte rapporteringslinje. Slikt sitter litt inne i norsk tradisjon, men er ikke utenkelig. Noe som imidlertid er helt innafor, er at Regjeringen setter ned et utvalg, råd eller styre som får ansvaret for evaluering, og informerer Stortinget formelt om det, med en formell invitasjon til Stortinget om å uttale seg. Det er vanlig i norsk forvaltning: Ifølge Wikipedia er det 390 styrer, råd og utvalg nedsatt av regjeringen. Mange har på en eller annen måte vært innom Stortinget. 

Min foreløpige favoritt er Etikkrådet for Statens pensjonsfond utvalg. Det synes både effektivt og ukomplisert. Et utvalg eksperter har fått ansvar og mandat til å gjøre vurderinger og trekke konklusjoner basert på informasjon framskaffet av et permanent sekretariat. Selv om de ikke har beslutningsmyndighet over faktiske investeringer, har de en effektiv rolle overfor Norges Bank gjennom (blant annet) tilrådinger som er offentlige. En slik eller tilsvarende modell vil kreve veldig lite kapasitet av et ellers presset Utenriksdepartement. En bistands-versjon av Etikkrådet burde hatt en en noe mer formell rolle for Stortinget (for eksempel i oppnevnelse av rådsmedlemmer), siden bistand er å forvalte Stortingets midler på en mer direkte måte enn SPU, men det er enkelt å organisere.   

3. Utvid verktøykassen

Som i enhver ommøblering bør man bruke anledningen til ikke bare til å vurdere hvor møblene bør stå, men hva slags møbler man trenger til hva. Evaluering er selvsagt ikke et mål, bare et virkemiddel. Når når alt skal flyttes på, er spørsmålet hvordan man best kan ivareta målet – i dette tilfellet kunnskapsbasert, faglig ansvarliggjøring av hvordan embetsverket og bistandsforvaltningen håndterer bistandsbudsjettet – uten å være bundet til et bestemt virkemiddel.

Gode evalueringer er dyre, tidkrevende, og oftest retrospektive. Det brukes veldig mye tid og penger på å si noe om hva som skjedde i fjor, forfjor og lenge før det igjen. Det er mye å lære av dette, men den direkte nytten vil av og til være begrenset, særlig i en tid preget av raske endringer i bistanden. Selv når kunnskapen er relevant, kan de ansvarlige avvise den med å si at «det er utdatert, vi gjør det på andre måter nå». 

Evalueringer av bistand bør fortsatt gjennomføres, for det er en unik og kvalitativt uovertruffen kilde til kunnskap, men det finnes flere verktøy å ta i bruk.

Samme enhet som jobber med evaluering, bør derfor få mandat til å jobbe bredere med tungt kunnskapsbaserte vurderinger av hvordan bistanden virker. Mandatet må være å gjøre grundige faglige vurderinger av hvordan bistandsbudsjettet disponeres, forvaltes og hva det fører til, men ikke bare evaluering. 

Nok en gang er jeg inspirert av Etikkrådet for SPU, som gjør grundige og viktige vurderinger med helt andre metoder. 

Jeg ser for meg at eksperter (ansatte eller innleide) kan starte med en oversikt over hele bistandsbudsjettet, velge ut utvalgte sektorinnsatser, budsjettposter, land, arbeidsmåter eller intervensjoner som de finner mest interessant, og deretter gjøre relevante undersøkelser. Det kan være å vurdere overordnede strategiske valg (eksplisitte eller implisitte «endringsteorier», som det heter på stammespråket), samarbeidspartnere, intervensjoner eller nær sagt hva som helst. De kan så identifisere svakheter, risikomomenter og forbedringsområder, kanskje legge til noen røde og oransje flagg av pedagogiske hensyn, og samle disse vurderingene i en rapport som oppdateres for eksempel hvert kvartal. Ingenting av dette vil gi like gode svar som evalueringer, men det vil gi veldig gode spørsmål, og vil være mye mer kostnadseffektivt kunnskapsarbeid enn evalueringer. Når oversikten gjøres offentlig, vil den ha en viktig uformell ansvarliggjøringsfunksjon.

I tillegg kan man gjøre andre typer studier og utredninger, arrangere konferanser, drive med presseutspill og mye annet, som samlet sett vil få mye mer kunnskap og ansvarliggjøring ut av pengene enn å bare drive tradisjonelt evalueringsarbeid. Dette må folka i Førde finne ut av selv, men det er viktig at de får et bredt nok mandat og ikke bare får i oppgave å videreføre tradisjonelt evalueringsarbeid. 

Navnet bør også reflektere dette: Det bør ikke hete «evalueringsenhet», men få et nytt navn som reflekterer en større verktøykasse, en språklig oppmykning som også har skjedd i mange tilsvarende funksjoner i andre giverland.

Dette skjer ikke hvis UD blir alene med vurderingen

Jeg vet ikke om noen i UD hadde tenkt særlig mye så langt på hvordan en ny og bedre ansvarliggjøringsfunksjon kan se ut (beslutningen var jo åpenbart var motivert av noe annet), men jeg har en del erfaring med UD og ingen tro på at dette er vurdert nøye eller vil bli vurdert nøye i tiden framover. Departementet prioriterer andre oppgaver og kommer til å se lett på denne oppgaven.

Den gode nyheten er at det trengs kanskje ikke mye nytenking i UD. Som sagt har andre giverland gått foran, og det finnes sikkert et organisatorisk oppsett i det norske systemet som kan kopieres. 

Likevel kommer det antakelig ikke til å skje noe spennende på dette området, om UD får være alene med disse vurderingene. 

UD har verken interesse eller kapasitet til å jobbe for å styrke ansvarliggjøring av det overordnede nivået i norsk bistandsforvaltning. Snarere tvert imot: Rent organisatorisk har departementet alt å vinne på å videreføre dagens praksis, der bistand disponeres og forvaltes uten systematisk, faglig kompetent ansvarliggjøring.

Det vil heller ikke være særlig ytre press. Dette er ingen vinner i media. Vi har sterke organisasjoner i utviklings- og bistandsdebatten, men bare av to typer: Store bistandsorganisasjonene som stort sett bare snakker om egne kjepphester, og små, dyktige interesseorganisasjoner som jobber for helt bestemte politiske endringer. Ingen av dem kommer til å ta denne saken.

Med andre ord: Dette vil antakelig bare skje om noen på Stortinget tar initiativ, stiller spørsmål og tydeliggjør forventninger. Det bør være akkurat like interessant enten man er entusiastisk eller skeptisk til bistand: Alle vil jo at de pengene som bevilges, faktisk brukes godt, og man tar ikke stilling verken til bistandsbudsjettets størrelse eller innhold ved å konfigurere et oppsett for å sikre ansvarliggjøring av de som forvalter Stortingets midler. Hvem tar oppgaven?