Hvor jeg tror vi er enige om evaluering, Wig

Etter Tore Wigs svar 16. mai holder jeg fast på tittelen til mitt innlegg i Morgenbladet 10.mai, denne gangen med utheving av det viktigste: Bistandsevaluering trenger forskere som forsøker å forstå. Mye av Wigs tekst 16.mai gir isolert sett mening, men svarer på veldig lite. 

Det er vanskelig å forestille seg hvordan Wig forestiller seg at evaluering foregår, og det gjør det litt vanskelig å diskutere. Men når han tillegger meg utsagn og meninger som jeg ikke har og blir litt fornærmet over, er det vanskelig å la være. 

Vi bør uansett være ferdig snakka nå. Derfor legger jeg denne teksten på egen blogg framfor å sende til Morgenbladet, og jeg vil legge vekt på hva jeg er ganske sikker på at vi er enige om, og forsøker å la (det meste av) det andre ligge.

Enig: Evaluering er (også) anvendt forskning. Wig insisterer på dette (to ganger) og synes å bruke det som et bevis for at det ikke er eget fagfelt. Hva er galt med begge deler? I American Evaluation Association diskuteres om evaluering, med sine masterprogrammer, doktorgradsutdanninger og akademiske journaler, bør regnes som en akademisk disiplin, altså grunnforskning. De om det, men vi kan vel være rause nok til å akseptere at deres 7000 medlemmer, og tusenvis i andre land, har sitt eget fagfelt. Det er mye å kritisere i dette fagfeltet, men kritikken blir bedre hvis man først forsøker å forstå feltet. Wig kunne for eksempel ha sjekket Wikipedia eller en hvilken som helst annen kilde på nettet før han selv skrev som om evaluering er lik studiet av (kausal) effekt, noe det ikke er.  

Enig: Studiet av (kausal) effekt står sentralt i nesten all bistandsevaluering. Det har vært hovedspørsmålet gjennom 50+ år, studert med hele samfunnsforskningens metodeapparat, oftest av samfunnsforskere (i gode, gamle dager ble det doktorgrader av slikt). Om vi skal forholde oss strengt til det fagfeltet som Wig fornekter, er selve studiet av effekt ("effektmålingen") ikke en evaluering i seg selv. En evaluering er en valuering, der effekt (dokumentert, estimert eller målt) inngår som en slags inngangsvariabel. Dette er definitorisk flisespikkeri, men er verdt å nevne hvis noen tror at de to er synonyme. Vi er nok enige her også, for Wig sier selv at studiet av kausal effekt er "verken mer eller mindre enn oppdragsforskning". Studiet av effekt inngår likevel i mange evalueringsoppdrag fordi det er en forutsetning for å kunne evakuere (og vi kan ofte ikke stole på rapportert effekt). Selvsagt er vi enige om at effektstudier må delegeres til folk med forskningskompetanse. De må selvsagt ha ekspertise på de metodene som er best egnet til akkurat de effektene man er interessert i å vurdere. Lite er mer bortkastet enn å bruke gode verktøy til noe de ikke er egnet til. 

PS. Jeg skriver (kausal) i parentes fordi "kausal effekt" er et dialektuttrykk i akademia. Mye av samfunnsvitenskapen er i bunn og grunn studiet av kausal effekt (selv om de har ulik tenking om kausalitet), men uttrykket brukes mest i en gren. Det er for dumt hvis samfunnsforskere, kjent for å være kresen på begreper, snakker forbi hverandre fordi de velger ord som ikke presist beskriver forskjellen mellom dem. Dessuten går vi glipp av en muligheten til å kommunisere noen mer interessante forskjeller. De som oftest bruker ordet "kausal effekt") er nemlig mye bedre enn noen andre til å jobbe kontrafaktisk med effekt, og her bør andre disipliner ta lærdom. Det er kjempeviktig i bistand: et bistandstiltak kan "virke" og levere de aller beste "resultater", bevist utover enhver rimelig tvil med RCT, samtidig som bistandsfinansiering av tiltaket gjør ingen eller negativ forskjell: Det samme tiltak kunne kanskje bli finansiert på andre måter (staten, filantroper, lokalsamfunnet), og de kan ofte ikke oppskaleres eller replikeres med samme effekt. Verre: bistandsfinansiering kan ofte stå i veien for andre og mer bærekraftige måter å finansiere tiltaket på, eller andre og bedre måter å løse problemet på. Randomiserte studier av tiltak (det utgjør nesten alle slike studier) er egentlig ikke et studie av effekten av bistand, men av en intervensjon. De forteller veldig lite om (kontrafaktisk) effekt av bistandsfinansiering, bare om isolert effekt av de enkelte tiltak. Kvalitative studier stiller slike spørsmål (særlig de som er inspirert av sosialantropologer), men har ikke metodeapparat som kan brukes til å "dokumentere" slike påstander overfor folk som synes det er ubehagelig å tenke at man kanskje kan skape masse "resultater", bevist med de beste metoder (RCT) uten å skape positiv forskjell. Her må hele verktøykassen tas i bruk. En eventuell RCT må da studere effekt av finansieringen av et tiltak, ikke selve tiltaket. Det er nok vanskelig å randomisere, for dette kan ikke studeres på tvers av land og innenfor samme land vil de to gruppene påvirke hverandre, men jeg skulle tro at kvasi-eksperimentelle metoder kan brukes. (makrostudier kan også brukes, den lange litteraturen om "fungibility" er jo i samme gate). Her er mye interessant forskning og/eller evaluering, og det har ikke bare teoretisk interesse, men er en helt reell problemstilling i mye bistand. Og når Wig sier at det viktigste spørsmålet (i evaluering) oftest er "om det fungerer" så hater jeg å måtte være blant de som sier at "det er ikke så enkelt". 

Enig: De fleste bistandsevalueringer er alt for dårlige. Det har både jeg og Lindkvist/Sagmo sagt i mange år. Derfor er det litt leit at vi skulle havne i denne litt kleine diskusjonen når vi alle er helt enige i problembeskrivelsen (for å bruke Wigs eget uttrykk: Mon tro hvorfor). Litt flere nyanser kan likevel passe: Det finnes (få) gode og (mange) dårlige bistandsevalueringer. Etter å ha vært i kontakt med hundrevis av slike (som forsker, fagdirektør og evaluator), mener jeg å ha sett et tydelig mønster: De dårlige bestilles av folk som ikke kan «evalueringsfaget» (her med Wigs hermetegn), og oftest uten forskningskompetanse. De gode bestilles av byråkrater som kan «evalueringsfaget» og oftest også har god forskerkompetanse, som i Norads evalueringsavdeling. Det finnes unntak, for eksempel når anskaffelser har gått skeis og feil folk får jobben (både med og uten forskerkompetanse). Og når forskere med smal metodekompetanse blir satt til å studere spørsmål om effekt som de ikke er godt utstyrt til å vurdere (jeg kjenner til konkrete erfaringer med "syndere" i alle disipliner, som har kostet millionbeløp).  

Enig: Evalueringer bør helst gjennomføres av forskere. Når Wig implisitt sier at jeg «hevder» noe annet, er det ren fantasi, og lett injurierende (det er ikke god debatt-kultur å tillegge en meningsmotstander en mening som ikke kan leses ut av teksten, og så stemple denne som "absurd"). Wig tror visst at byråkrater selv gjennomfører evalueringer: «man gir forskningsoppgaver til byråkrater», sier han. Det skjer riktignok, for eksempel har FHI byråkrater som gjør evalueringsarbeid (med høy forskningskompetanse), men sjelden i bistanden. Evalueringer bestilles av byråkrater (hvis ikke, er det vel grunnforskning), gjennom en anskaffelse som inviterer alle verdens forskere (eller iallfall i EU) til å påta seg oppgaven. Det er altså byråkrater som gir fra seg forskningsoppgaver. (men for ordens skyld, det finnes evalueringer der både byråkrater, brukere, interessegrupper, politikere og nær sagt hvilken som helst relevant yrkesgruppe kan og bør delta, men aldri for å gjøre forskningsoppgavene). 

Til sist et punkt der jeg er uenig. Wig sier at bistandsevaluering «henger etter» på randomiserte studier. Jeg er enig i at bistanden ikke er god nok (jeg har ofte tatt til orde for flere), men at den «henger etter» er en relativ påstand som jeg mener er faktisk feil. Bistanden henger ikke etter andre sektorer i samfunnet – om vi ser bort fra biomedisinske studier som er en helt annen greie (siden kropper, i motsetning til mennesker og samfunn, er ganske like). Om vi inkluderer kvasi-eksperimentelle metoder, er bistanden kanskje best i klassen (iallfall på pallplass) i konkurransen om å bruke størst andel av sine samlede budsjetter på slike studier. Tusenvis av slike studier (13350 er registrert hos 3ie) er finansiert med bistandsbudsjetter som samlet utgjør en liten brøkdel av budsjettene for utdanning, sosial sektor eller andre relevante sektorer i rike land. Sammenligner vi med privat sektor, ligger bistanden mange divisjoner over når vi ser på andel av totalbudsjett som brukes til randomiserte studier, selv der disse er mye enklere både å gjennomføre og generalisere i privat sektor, for eksempel innen markedsføringskampanjer, kundeadferd eller noen typer investeringer.

Det er ikke Norge som betaler for norsk bistand til Ukraina

Revidert nasjonalbudsjett gjør enkelte disponeringer tydeligere enn det ordinære statsbudsjettet, fordi det er satt opp som konkrete opp- eller nedjustering av budsjettposter. Da ser vi også hva som prioriteres ned, iallfall innenfor samme budsjettår. 

Du trodde kanskje at det er Norge som betaler for norsk støtte til Ukraina og flyktninger fra Ukraina? Tja. Det meste deler dekkes av bistandsbudsjettet, som ikke økes tilsvarende. De som "betaler" mest, er andre bistandsmottakere. 

Her er hva regjeringen selv skriver om hva som kuttes i år for å finansiere økt bistand til Ukraina og flere flyktninger fra Ukraina. Det er helt ordrette utdrag fra den konkrete beskrivelsen av hva som kuttes (kudos til UD for å gjøre det tydelig). 

• somaliske flyktninger og internt fordrevne i Sør-Sudan
• matsikkerhet, helse og utdanning i Afghanistan
• "de største mottakerlandene i Afrika"
• kvinners, barns og ungdoms helse
• flyktninger i Jordan, Libanon og Syria
• innsats innenfor matsikkerhet på landnivå i Afrika
• faglige tjenester for økt kvalitet i bistandsforvaltning
• pågående fred- og forsoningsarbeid
• forebygge og bekjempe radikalisering og voldelig ekstremisme
• demokrati, styresett og økonomisk utvikling i Øst-Europa
• FNs fond for stedlige koordinatorer
• utdanningsprogrammer og yrkesutdanning
• strategiske FN-tiltak

Selv synes jeg at Norge skal gi mye bistand til Ukraina, og ta i mot mange flyktninger. Men at vi bør betale det selv.

For ordens skyld: Det er stor politisk enighet her, så akkurat dette utsagnet har ingen bestemt politisk adressat. Men for meg er det uforståelig at det ikke problematiseres mer. Selv på Stortinget høres det av og til ut som om Nansen-programmet er uttrykk for en ny norsk raushet. Men Norge er ikke blitt rausere som følge av krisen i Ukraina. Det er bare "bistandsprosenten" som sendes i en annen retning.

Bistandens problem er organisatorisk

Jeg skriver dette på egen blogg framfor å publisere i større medier (i en kortere versjon), for inntil videre er jeg usikker på om UD blir bedre av at interne forhold blir eksponert for et bredere publikum. Til gjengjeld håper jeg at du deler med alle du mener bør lese det i relevante organisasjoner. 

Thorvald Stoltenberg skal ha sagt at «livet er for kort til å reformere UD». Det må ha skjedd omtrent samme tid som «godt styresett» ble et mantra i vestlig bistand. Verdensbanken hamret inn at det nesten ikke var vits i å gi bistand hvis det ikke også skjedde institusjonelle reformer hos mottakerne. Giverne fulgte opp med å bruke nesten alle tilgjengelige midler – i en form for formynderskap som framstår umusikalsk i samarbeid mellom suverene stater – til å lokke, dytte og presse fram styresett-reformer. 

Det gikk sånn passe. Ambisjonen bygget på en misforståelse av hva bistand kan brukes til: Det er et uegnet verktøy for å endre andre lands institusjoner og politikk. Men bistanden skapte likevel enormt mye bra både den gang og helt fram til i dag, så all viraken rundt mottakers styresettproblemer var nok overdrevet. 

Hjemlige styresettproblemer, derimot, har fått for lite oppmerksomhet. Vi trenger ikke rangere hva som er verst av institusjonelle utfordringer hjemme og ute (i den konkurransen taper UD), men det er mye enklere å jobbe med egne enn andres institusjoner enn andres. 

Når det er nedprioritert, er det nok fordi Stoltenberg hadde delvis rett: Livet er ikke for kort, men en regjeringsperiode er for kort til å endre UD. Det er en kjent funksjonsfeil i demokratiet: UD-reform ville gitt enorm gevinst i lang tid, men har en høy pris på kort sikt og gevinsten kan ikke hentes inn i samme regjeringsperiode. Dette kan forklare at ingen av Stoltenbergs etterfølgere heller forsøkte seg. Halvhjertede forsøk, for eksempel endringer i organisasjonskartet, gjelds ikke – det gjør ofte situasjonen verre fordi det skaper organisatorisk støy og tidsbruk uten å løse de egentlige problemene.

Prisen for dårlig styring rammer alle som trenger UD (og de ansatte), men er særlig høy for bistanden. Denne utgjør langt størstedelen av de økonomiske ressursene UD forvalter, men har forutsetningene mot seg allerede i utgangspunktet: UD er konfigurert for utenrikspolitikk og diplomati, og har utviklingspolitikk og bistand litt lenger nede på lista. Disse to oppgavene stiller ulike krav til en organisasjon, men UD har tilsynelatende ikke engang forstått dette og gjør ikke hva som kreves for å levere på to delvis motstridende oppdrag samtidig. 

Bistand er gjøkungen i UD: Det er den største ungen i reiret, men har ikke samme DNA som de andre. Akkurat som gjøkungen ble dens vekst etter hvert et problem – for organisasjonen, selvsagt: For mottakerne og verden er bistandens vekst et åpenbart gode. 

Det rammer bistanden hardest: Selv en svak organisasjon klarer å løse sin hovedoppgave sånn noenlunde. Det er oppgavene litt lenger nede på lista det går utover. 

To ganger har jeg søkt og fått jobb i Norad for å bruke min kompetanse til nytte for bedre bistand – en kompetanse som inkluderer doktorgrad om nettopp styresett (på mottakersiden). To ganger har jeg sluttet, i frustrasjon over hjemlige styresettproblemer som står i veien for bedre bistand. Organisasjon spiser faglig kompetanse til frokost, for å omskrive et ordtak. 

De viktigste styresettutfordringene som førte til at jeg sluttet, kan forklares med ledelse i Norad. Det er vanskelig å skrive om fordi det er for tett på egne erfaringer, og jeg er ikke uhildet. 

UD er enklere å skrive om fordi jeg aldri har vært del av intern dynamikk, men kjenner organisasjonen godt fra en armlengdes avstand. Jeg har vært i jevnlig kontakt med organisasjonen i to tiår, i flere år nesten daglig, gjennom stillinger der et velfungerende UD har vært avgjørende for å lykkes. Derfor skriver jeg her om UD, selv om mye er relevant også for Norad (ikke tilfeldig: de to organisasjonene lever i en mye tettere symbiose enn hva som var forutsatt da direktorater ble etablert for å sikre en armlengdes avstand).

UD er en stor og heterogen organisasjon og kan ikke generaliseres på bakgrunn av en enkeltpersons erfaringer. Mitt inntrykk er basert på hundrevis av egne erfaringer, observasjoner, fortrolige samtaler og (uverifiserte) anekdoter som samlet sier litt om noen særtrekk ved organisasjonen, men ikke nok til å konkludere generelt på hvordan organisasjonen fungerer. 

Forutsetningene er de aller beste: De ansatte i UD (og i Norad) er blant de flinkeste jeg kjenner, og en drøm for enhver annen arbeidsgiver. Andre arbeidsgivere ville gjort alt for å holde fast på flinke folk og bruke denne kompetansen på best mulig måte. UD har det sjeldne privilegium at flinke folk, av noen forståelige og noen uforståelige grunner, fortsetter selv når arbeidsgiver ikke leverer. 

Enn så lenge: Arbeidsmarkedet er mye mer flyktig enn før, og UDs idé om nesten livslange karrierer i samme organisasjon har nok ikke lenger plass i dagens arbeidsliv. 

Det samme gjelder andre av UDs organisatoriske ideer. I tidligere arbeidsforhold har jeg lest og lært mye om organisasjon og ledelse. Jeg kjenner ikke igjen måten UD (eller Norad) styres på i noe av det jeg har lest fra denne siden av årtusenskiftet. Det går ofte utover de ansatte, antakelig også organisasjonens evne til å levere på sitt hovedoppdrag, og det går helt klart utover evnen til å levere på sitt andre samfunnsoppdrag: Utviklingspolitikk og bistand. 

Ikke lite handler om HR, som i UD heter KR: "kompetanse og ressurser". Tanken er at folk skal kunne litt om alt og samle bred erfaring – innenfor UD (bred erfaring fra ulike organisasjoner ville vært gull verdt). Dette gir mening som generelt prinsipp, siden generalister er gode diplomater og det gjør organisasjonen er mindre sårbar. Men det passer dårlig sammen med utviklingspolitikkens behov for spisskompetanse på helt bestemte problemstillinger, kontekster og institusjoner som ikke er like viktige for utenrikspolitikken.

Det halter også ofte i praksis. Det er mengder av eksempler på beslutninger i personalfeltet som er veldig vanskelig å forstå ut fra målet om å plassere riktig kompetanse på riktig sted ut fra en eller annen gjennomtenkt idé. Mange av eksemplene innebærer at det ikke er de best kvalifiserte (interne) søkerne som får viktige stillinger. Noen ganger er det uunngåelig og legitimt, for i en krevende personalkabal er det aldri mulig å plassere alle ansatte på det de passer best til. Noe er bare uproft, for eksempel "nå er det hens tur". Noen valg i personalfeltet forklares på måter som er helt i gråsonen av (eller kanskje utenfor) hva som er greit (jeg kan ikke jussen her), for eksempel at "hen tok en upopulær utestasjonering for noen år siden og ble lovet noe bedre når hen kom hjem". Noe framstår helt vilkårlig, og noe forklares med at noen blir bedre tatt vare på enn andre i sine karriereløp. At dette sies, betyr ikke at det er sant, for beslutninger i personalfeltet skaper ofte mye følelser og behov for forklaring. Men det er dypt bekymringsverdig at det synes å være en godt etablert forestilling i organisasjonen at lojalitet er nødvendig for å gjøre en karriere i organisasjonen, særlig hvis lojalitet tidvis synes å bli forstått synonymt med servilitet. 

Dette går mer utover utviklingspolitikk og bistand enn UDs øvrige oppgaver, på grunn av logikken nevnt over: Selv dårlig personalpolitikk klarer å sikre at organisasjonen leverer sånn noenlunde på de mest prioriterte oppgaver, det er oppgavene litt lenger nede på lista det går utover.

 

Det mangler ikke kompetanse. Mange av Norges fremste eksperter på utviklingspolitikk og bistand jobber i UD. Mange av dem jobber med det de er gode på, andre med noe de ikke kan noe særlig om. Men ganske mange av de som jobber med utvikling og bistand – som er ganske mange, skal vi tolke ut fra hvor stor del av lønnsutgiftene som belastes bistandsbudsjettet (jeg har aldri forstått hvem alle disse er og hvor de jobber) – kan ikke mye om oppgavene de er satt til å løse. Det kan gå bra, men skaper sårbarhet, og synes unødvendig når det er andre som kan.

UDs HR-praksis, kombinert med en tradisjon for hyppig intern sirkulasjon, er kanskje noe av forklaringen på at mange i UD er flinke til å "navigere" i organisasjonen, som synes å være preget av lojalitet (servilitet?) «oppover». 

Her ligger kanskje litt av forklaringen på hvorfor UD kanskje er best i klassen til å skifte politisk retning hver gang departementet får en ny utviklingsminister. Bare følg med selv ved neste regjeringsskifte: Når Finansdepartementet får ny finansminister, tar det ikke lang tid før statsråden snakker samme språk som departementet, og til forveksling likt sin forgjenger. Når UD får en ny utviklingsminister, tar det ganske nøyaktig like lang tid før departementet snakker samme språk som sin nye statsråd. Her er Finansdepartementet og utviklingsdelen av UD i hver sin ende av en skala (det ideelle ligger nok ett eller annet sted i mellom). Jeg tror litt av forklaringen er at UD preges mer av lojalitet "oppover" mens Finansdepartementet mer av lojalitet til en fagtradisjon og (en bestemt forståelse av) samfunnsoppdraget. I tillegg kommer at HR-politikken hindrer utvikling av spisskompetanse på utviklingspolitikk og bistand, som gjør at det ikke alltid er en tilstrekkelig kritisk masse av folk rundt statsråden med nok faglig trygghet og gode argumenter til å utøve sunn faglig motstand til en ny statsråds ofte dårlig informerte og urealistiske politiske ambisjoner. 

Det samme skjer ikke med nye utenriksministere. Det er naturlig siden UD er konfigurert for utenrikspolitikk og det ligger i organisasjonens DNA å vite hva som er ansvarlig og riktig, men også fordi utenrikspolitikk i stor grad styres av verdensbegivenhetenes gang og ikke en statsråds politiske vyer. 

Men den statsråd som i første omgang er fornøyd med å ha «fått embetsverket med seg», vil i neste omgang frustreres over at det likevel ikke skjer noe. Dette sier jeg i sympati med alle de utviklingsministerne jeg har observert de siste tjue årene. I praksis skjer det ofte lite mer enn at neste økning i bistandsbudsjettet går til statsrådens hjertesaker. For der UD har enorm evne til å ta politiske signaler, står det ikke alltid like bra til med gjennomføringsevnen. 

Nok en gang kan det forklares med organisasjon. Organisasjoner kan være «vertikale» eller «horisontale», desentralisert eller sentralstyrt. UD er en hybrid som har litt av alt, på måter som sikrer det verste fra alt. Den er horisontal ved at at små og store beslutninger – alt fra talepunkter til viktige veivalg for Norge og verden – nesten daglig sendes bredt rundt i organisasjonen for innspill. Lange sløyfer involverer ofte flere seksjoner på flere nivå (både saksbehandlere, ledere), en håndfull ambassader og kanskje noen frittgående fagdirektører, som alle forventes å gi kommentar eller skrive inn i et dokument. Mange bruker store deler av arbeidstiden på denne informasjonsflyten. 

Men når beslutninger endelig skal tas, er UD en uvanlig vertikal organisasjon. Selv middels viktige beslutninger sendes «oppover», der den typisk blir liggende en god stund, kanskje ukesvis, til den får plass på et møte i en ledergruppe eller politisk ledelse. Jeg har aldri forstått hvordan dette foregår (det skjer ikke på samme måte hver gang), men de som får den uformelle rollen som «portvoktere» har mye makt: De bestemmer hvilke saker som skal sendes «oppover» og når, og hva slags informasjon som skal videresendes. Hvordan de tolker sitt mandat, er avgjørende: Noen vil helst bare sende opp saker som allerede er etterspurt ovenfra, for eksempel bare det politisk ledelse er interessert i. Alternativt kunne de brukt denne anledningen til å sende opp saker som deres egne kolleger synes er viktig og som politisk ledelse bør få oversendt selv om de ikke har etterspurt det.    

Når noe er sendt opp, skjer en kort diskusjon og en beslutning mellom folk som ikke var med i konsultasjonene, og så skjer et vedtak. Tidvis er det vanskelig for de som var med på konsultasjonene (og skal gjennomføre) å forstå beslutningen, delvis fordi de ikke ser at deres innspill er tatt hensyn til, tidvis fordi de ikke engang forstår hva som er besluttet, altså hva beslutningstaker faktisk mener skal skje. Det gjelder ikke minst statsrådenes "påtegninger". Noen ganger har jeg hatt en klar mistanke om at viktige beslutninger er basert på feil eller manglende informasjon fordi ett eller annet må ha gått galt på veien "oppover", men når beslutninger først er tatt på så høyt nivå er løpet kjørt og det er sjelden anledning til å be om et møte for avklaringer til gjensidig nytte. Den vertikale informasjonsflyten går normalt bare én vei om gangen: først opp, så ned.

UDs beslutningsprosesser har noen interessante likheter med et kjent «styresettproblem» på mottakersiden – ikke i statsapparatet, men i mange afrikanske lokalsamfunn (og klaner, der slike organiserer samfunn) som som verken er demokratiske eller diktatoriske, og ofte veldig dårlige på beslutninger. Beslutninger kan innebære timelange, av og til dagevis eller uker med konsultasjon der alle skal høres (iallefall alle menn) før høvdingen (eller et eldsteråd) endelig trekker seg tilbake for å ta sin beslutning. Noen høvdinger er så konfliktsky at de aldri kommer i mål, og når det først skjer er beslutningen et minste felles multiplum som ikke provoserer noen og ikke fører til noe. Andre høvdinger tar beslutninger som synes helt uavhengig av innspillene som er kommet inn. I begge tilfeller er det brukt veldig mye tid på "konsultasjon" som ikke har gjort en beslutning bedre. Sammenligningen er både søkt og upresis, men som sosialantropolog har tanken ofte streifet meg mens jeg har observert beslutninger i UD (og Norad). 

Akkurat dette er nok ikke ulikt mange andre offentlige institusjoner, men problemet er nok større i UD. UD må ta beslutninger oftere og raskere enn mange andre, fordi verden forandres raskere enn Norge. Og HR-praksisen gjør at folk med avgjørende kompetanse og erfaring kan være plassert på helt ulike steder i organisasjonen, som gjør det både viktigere og mer krevende å konsultere bredt. 

Løsningen er ikke å slutte å konsultere. Det mest effektive er ofte desentraliserte beslutninger. Men i organisasjoner som styres etter forrige århundrets ledelsesfilosofi, er det nok vanskelig for ledelsen å se for seg at viktige beslutningsprosesser skal skje «under» dem, fordi noen beslutninger krever spisskompetanse som sjelden finnes hos ledelsen, mens andre krever ledelsens oversikt. Skal man kjøre tradisjonelt, bør man i det minste gjøre det systematisk, og oppsummere i et beslutningsgrunnlag der folk kjenner igjen sine innspill, og hvis det er tid kan de kommentere på det før beslutningen tas. Og det bør selvsagt dokumenteres i ettertid. I dag er det en skrikende kontrast mellom dokumentasjon av mindre viktige beslutninger, og de viktige. UD har til enhver tid hundrevis av sider med mellomviktig dokumentasjon i produksjon, som rapporter eller møtereferater (som må godkjennes på ledernivå – uforståelig lite tillit til egne medarbeidere), mens overordnede beslutninger om viktige veivalg knapt etterlater seg etterprøvbare spor. 

Etterhvert som jeg høstet mer erfaring, endret jeg syn på hvordan beslutninger i UD blir til. Intuitivt tenker man gjerne at viktige beslutninger fattes på grunnlag av en systematisk vurdering av ulike politiske interesser, faglige vurderinger og ressursprioritering – og at det finnes et beslutningsgrunnlag som reflekterer dette. Det skjer faktisk i en del andre departementer. 

For å forstå beslutninger i UD kan det være like viktig å kjenne organisasjonskartet som beslutningsgrunnlaget (hvis dette finnes). Du må vite hvilke avdelinger, seksjoner, ambassader og fagdirektører som er med i hvilke prosesser, hvem som er opptatt av hva for tiden, hvem som har gode muligheter til å nå fram lenger oppe, og hvem som vil prioritere en bestemt sak i kakofonien av alt det andre som foregår til enhver tid.

Du bør også kjenne personer i hver av boksene i organisasjonskartet, og hva de har gjort før. I en seksjon sitter kanskje en person som tidligere har jobbet med noe helt annet enn seksjonens mandat og fortsatt brenner for det samme. 

Den type lokalkunnskap er gull verdt når du skal forstå og forsøke å påvirke UD. Og ja, her kunne det vært mye konsulentmat, gitt alle de som ønsker å påvirke UD. Men det er ferskvarekunnskap som endres raskt fordi folk flytter ofte i UD, og du må nesten være på innsiden for å klare å manøvrere. 

Jeg lærte også hva slags tekster som får best gjennomslag i UD. I min første tid i Norad var jeg skoleflink og forsøkte å lage gode faglige vurderinger (lange). Så lærte jeg at UD ofte lager egne oppsummeringer av Norads dokumenter til internt bruk, uten å spørre avsender (det tar for mye tid). Da forsøkte jeg å skrive dokumenter ferdig tilpasset UDs sjanger og logikk, og mye kortere, for å styrke sjansen for at det var Norads egne tekster som ble sendt videre til beslutning. 

Det hadde sin pris. Lange, men viktige resonnementer og nyanser ble tatt ut, motforestillinger ble fjernet helt, og tekstene holdt ikke den faglige kvaliteten som de fortjente. Faglige vurderinger ble fjernet og erstattet med mer politiske utsagn. Som tidligere forsker er jeg lite stolt av at jeg flere ganger har byttet ut forskningsreferanser med henvisninger til regjeringsplattformen eller en stortingsproposisjon, for det er mye mer virkningsfullt (men ofte desto mindre innsiktsfullt). Det virket: jeg fikk oftere gjennomslag etter hvert som jeg lærte hva som skulle til. 

Det er litt skummelt å tenke på hvordan det på sikt påvirker et fagdirektorat at ansatte over tid erfarer at det er politisk tilpasning og ikke faglig seriøsitet som gir gjennomslag for de de brenner for. Her ligger en enorm utfordring hos ledelsen i Norad, som må både forstå, anerkjenne, respektere og løfte den faglige kunnskap som både Norad og UD trenger for å håndtere dette politikkområdet på gode måter (jeg tenker ikke på «fakta har makta»-kunnskapen som løftes i dag. Den er viktig, men utgjør bare en marginal del av all den innsikt som trengs for å forstå hva som skaper god bistand og hva som skjer når bistanden møter virkeligheten). Inntil videre er vi ikke der. Norad klarer ikke engang skille mellom fag og politikk. Faglige vurderinger som det lå mye arbeid bak, er blitt stanset i ledergruppa med begrunnelser av type «departementet vil ikke like det», istedenfor å gi departementet selv anledning til å si nei til et faglig begrunnet forslag. Det var ikke Norad det skulle handle om her – men det er en påminning om at det er to institusjoner i denne dansen, og begge sliter med rolleforståelsen. Kanskje blir det bedre etter de siste reformene, men det gjenstår å se hvilken vei tidevannet går. 

Uansett kreves også endring internt i UD. Som et minimum må organisasjonen konfigureres for begge sine samfunnsoppdrag: utviklingspolitikk og (øvrig) utenrikspolitikk. Siste tids delegering av ytterligere ansvar til Norad endrer ikke dette, for de overordnede valgene tas fortsatt i UD. Og disse valgene krever noe annet av organisasjonen enn UDs hovedoppdrag.

Målet for de to samfunnsoppdragene er i konflikt: Utenrikstjenestens mål er å sikre Norges og norske borgeres interesser, men de samme som er lovpålagt å jobbe for dette målet, forvalter bistandsmidler gitt av Stortinget for å tjene andre lands borgere. UD liker best å løse dette retorisk ved å snakke om at vi har felles interesser, men det er bare noen ganger sant. Kompetansekravene er ulike: UDs mange dyktige diplomater kan mye om mye. Utviklingspolitikk krever kunnskap om andre ting enn hva diplomatene må kunne, og for å formulere god bistandspolitikk kreves også spesialister som kan veldig mye om veldig lite og antakelig ikke er særlig nyttige diplomater. Arbeidsmetodene står i kontrast: Diplomatiet krever stor fleksibilitet og rask respons, god bistand krever gode analyser, god planlegging, grundighet og langsiktighet (dette er selvsagt karikert: både diplomati og bistand krever alt dette, men i ulike kombinasjoner). Diplomatiet krever at Norge er til stede overalt og støtter litt av alt, med god teft for det som er politisk interessant. Bistand krever konsentrasjon og stayer-evne, og godt prioritert bistand følger ikke mediebildet eller geopolitiske vinder. Den politiske dynamikken er ulik og de norske interessentene er ulike, noe som ofte kommer til syne i spenningen mellom det som internt omtales som «tredje og fjerde etasje» i Victoria Terrasse (utviklingsministerens og utenriksministerens kontorer) 

Alt dette taler for at en organisasjon konfigurert for utenrikspolitikk og diplomati, er dårligere til å håndtere utviklingspolitikk. Det må vi nok leve med, det er ingen tvil om hva som er hovedoppgaven til UD og helt riktig at det prioriteres. Men jo dårligere organisasjonen fungerer, dess mer går det ut over prioritert nummer to, tre, fire og fem. Det burde vært unngått. 

Det var håp om en forbedring etter det som ble kalt «Reform 2019», for da skulle det etableres en «utviklingspolitisk søyle» internt i UD. Når det ikke skjedde, tror jeg det er fordi mange i UD ikke har forstått at de to samfunnsoppdragene krever ulik organisatorisk konfigurasjon, men også at utviklingspolitikk og bistand ikke blir oppfattet som et selvstendig samfunnsoppdrag i UD, men et virkemiddel under UDs overordnede mål og dominerende virksomhet. Ut fra en slik logikk gir det mening å ignorere ambisjonen fra 2019.   

Løsningene kommer nok ikke fra UD selv. Endringer skjer sjelden på initiativ fra de som har vært der veldig lenge, om det ikke er som respons på noe eksternt. UDs øvre sjikt domineres av folk som i liten grad har blitt eksponert for de siste tiårs organisasjons- og ledelsesfilosofi. Mange begynte på aspirantkurset for lenge siden (kanskje i Thorvald Stoltenbergs tid) og har kanskje ikke jobbet i andre organisasjoner siden (kanskje noen multilaterale, som ikke er kjent for god ledelse). De er superflinke, også som ledere, men innenfor de strenge rammene av «sånn gjør vi det i UD». De har svake forutsetninger for å se forbedringspotensialene: Organisasjon og ledelse er et abstrakt fag som ikke bare kan leses. Det meste læres gjennom erfaring og refleksjon over erfaring, helst erfaring som demonstrerer at organisasjoner kan ledes og fungere på helt andre måter.  

Slik vil det fortsette så lenge UD jobber ut fra ideen om å rekruttere unge folk med en plan om at de skal være i organisasjonen det meste av arbeidslivet, ofte så unge at de ikke har hatt særlig tid til å hente erfaring fra andre organisasjoner. Aspirantkurset skaper enormt flinke diplomater, men det blir etter hvert et problem om de samme rekruttene utgjør en kritisk masse i mange av organisasjonens ulike funksjoner og fagfelt, inkludert ledelse, som de fleste verken er utdannet til eller rekruttert for, og tenker kanskje for likt etter å ha vært sosialisert sammen i mange år. 

Denne erkjennelsen peker på en vei ut av uføret: Første punkt er å erkjenne at det UD holder på med, ikke er så spesielt at organisasjonen ikke kan drives som andre, og at den vil ha godt av å eksponeres for andre og nyere organisasjons- og ledelsesidealer. Så kan man legge til rette for det. Det kan være hospitering i andre departementer for å lære hvordan de gjør det der. Lavere inntak på Aspirantkurset og flere eksterne rekrutteringer, også av nøkkelpersonell til organisasjonens kjernevirksomhet (dagens utvidelse av aspirantopptaket til å inkludere "admiranter" kan forsterke problemene). Oppfordring til egne ansatte om å ta permisjon for å jobbe noen år i andre organisasjoner, og verdsette den erfaringer de får når de kommer tilbake (mange får permisjon, men det blir gjerne omtalt som som en risiko for interne karrierer). Lederposisjoner i UD, særlig på toppen, må aktivt lyses ut eksternt (det er ikke sant at diplomati er en så unik kompetanse at den ikke kan finnes andre steder, heller ikke at bare diplomater kan lede diplomater). Både intern og ekstern rekruttering av ledere bør ta i bruk ekstern kompetanse på organisasjon og ledelse, som bør foreta selvstendige vurderinger av kandidater ut fra ledelseskompetanse, så kan UD supplere med sin egen vurdering av øvrig kompetanse. 

På sikt kan dette føre til at organisasjonen blir mer moderne, tar mer inn over seg erfaring om organisasjon og ledelse fra andre organisasjoner, og at både bistand og øvrig utenrikspolitikk blir bedre. En slik endringsprosess er i praksis enkelt og billig å legge til rette for, bare man aksepterer at det vil ta tid. Men det sitter nok langt inne, både for nåværende ledelse og UD-ansatte som oppfatter seg som framtidens ledere, å erkjenne at de ikke er selvsagte og eksklusive kandidater til å lede organisasjonen de har vokst opp med. Derfor kommer ikke denne endringen innenfra. 

Og fordi endringen tar lenger tid enn en regjeringsperiode, kommer dette ikke til å skje på politisk initiativ hvis framtidige statsråder velger samme konklusjon som Thorvald Stoltenberg: at livet (som statsråd) er for kort til å reformere UD.

Når det først skal ommøbleres: Bruk anledningen til en ekstrem oppussing

Skal man tolke ut fra reaksjonene, er det bare i Victoria Terrasse og i Førde at det finnes folk som tror det vil gå bra å flytte evaluering av norsk bistand til Førde. Et godt argument for at disse faktisk kan få rett, er at vi hørte lignende skepsis da forrige regjering flyttet Norec/Fredskorpset samme vei – og det gikk bra. Den nye flyttejobben blir imidlertid vanskeligere. 

Det tjener nok ikke saken med mer kritikk av beslutningen, for sluttresultatet blir antakelig best om det skapes entusiasme rundt flyttingen. Vår jobb nå er å heie, mens regjeringen demonstrerer at Norge klarer det Sverige ikke klarte. 

Jeg håper også at regjeringen også bruker anledningen til å tenke nytt og kreativt om dette viktige instrumentet for bedre bistand.

En ommøblering (enten man flytter møbler eller byråkrater) er en god anledning til å tenke gjennom på hva slags behov man har og hvordan de kan dekkes på best mulige måter. Vi mennesker er jo vanedyr (byråkrater i særdeleshet) og hvis vi ikke bruker slike anledninger, risikerer vi å fortsette som før selv om det ikke er beste måten å gjøre ting på. 

Og når det først skal gjennomføres en endringsprosess med høy kostnad – for organisasjonene involvert, de ansatte, og for bistanden som i en overgangsperiode vil lide under svekket evalueringsarbeid – er det uansvarlig å gi fra seg anledningen til å gjøre andre nyttige endringer samtidig. Hvis en så kostnadskrevende prosess bare fører til ny lokalisering og lite annet, har det høy pris for bare litt politisk gevinst. Hvis man gjør andre endringer samtidig, vil prisen bli omtrent den samme, men gevinsten mye høyere.

En særlig grunn til at det tid for å vurdere evalueringsfunksjonen, er at Norge sovet i timen i lang tid. De fleste andre store giverland har gjennomgått sine evalueringsfunksjoner, og mange har lagt ganske radikalt om på hvordan evalueringsarbeidet er organisert, mens Norge har har hatt samme oppsett siden 2004/5. Oppdettet har fungert rimelig greit, men en innebygget svakhet er blitt demonstrert de siste årene: Det har vært mulig for Norads ledelse å vingeklippe funksjonen etablert nettopp for å holde (blant annet) Norads ledelse ansvarlig, uten å gi bevilgende myndigheter (Stortinget) relevant informasjon som ville gjort det mulig å avdekke og korrigere det. Risikoen har vært påpekt, men ignorert, og det var bare et spørsmål om tid før en direktør ville bruke muligheten.

At det gamle oppsettet har blitt værende så lenge, tror jeg skyldes at Utenriksdepartementet har fått lov av Stortinget til å rigge systemet alene. I mange andre giverland har parlamentene debattert bistandsevaluering, og flere parlamenter har formelle eller semi-formelle roller i oppsettet. Jeg forstår ikke at Stortinget har akseptert at UD selv bestemmer hvordan UD skal holdes ansvarlig for bruk av bistandsmidlene. 

En grunn er kanskje at man i tillitslandet Norge har underkommunisert ansvarliggjøring som en sentral oppgave for evalueringsarbeidet, og særlig evalueringenes rolle i ansvarliggjøring av beslutninger i UD og Norad. Det er ganske ironisk at Norad og UD over tid har utviklet et monster av et forvaltningsregime for å holde sine tilskuddsmottakere ansvarlig for pengebruk og resultatindikatorer, men selv ikke holdes effektivt ansvarlig for hvorvidt de selv gjør riktige beslutninger om bistand. Nær sagt alle bistandens viktigste beslutningene skjer jo i UD og Norad før pengene sendes til tilskuddsforvalter, enten det er overordnede veivalg og prioriteringer, strategiutforming, kunnskapsforvaltning, systemer for kvalitetssikring, eller tusenvis av viktige enkeltvedtak. 

Denne ubalansen når det gjelder hvem som blir ansvarliggjort, har vært mulig når UD og Norad har fått jobbe med slike spørsmål alene, uten synlig interesse fra bevilgende myndigheter. Det har gått så langt at både Norads ledelse og flere i UD har demonstrert at de ikke har forstått (eller akseptert) evalueringenes rolle innen ansvarliggjøring slik dette er tenkt innen evalueringsfaget, i det internasjonale bistandssystemet, i OECD, i norsk offentlighet og i Stortinget. Norads direktør trodde en periode at han kunne legge evalueringsarbeidet inn i "linja". UD har tidvis uttalt seg om evalueringer de ikke liker (noe de selvsagt gjerne må gjøre), på måter som viser at de ikke forstår at det ikke er et suksesskriterium i ansvarliggjøring at den som stilles ansvarlig synes det er "nyttig".

Derfor: 

1. Rendyrk ansvarliggjøring som hovedfunksjon

Nettopp ansvarliggjøring bør rendyrkes som hovedoppdraget, når evalueringsfunksjonen skal gjennomgås på nytt. Eller kanskje heller accountability, for akkurat her er det norske språket litt fattig (sorry, Førde): Ansvarliggjøring høres litt brutalt ut og kanskje unødvendig når man har tillit til hverandre og alle gjør sitt beste (som stort sett er sant innen bistand), men alle forstår at accountability må utgjøre en sentral del av et hvilket som helst organisatorisk oppsett. 

Det gjelder særlig når noen har fått i oppgave å sette noen andre sine penger i arbeid til nytte for en tredjepart, og denne tredjeparten er blant verdens minst privilegerte uten reell mulighet til å gi tilbakemelding til de som har bevilget midlene. Slik sett er bistand en ekstremvariant av det klassiske prinsipal-agent-problemet, som burde fått enhver til å spørre om hvordan det står til med accountability. Det er veldig komfortabelt for agenten, i dette tilfellet UD og Norad (og noen andre), at prinsipalen ikke virker interessert i dette.

Evaluering har i flere tiår vært bistandens viktigste svar på dette problemet, og det er grunnen til at offentlig bistand lenge har vært blant de beste i klassen, internasjonalt, på evaluering. (Historietime: Tradisjonelt har bistanden konkurrert med utdanningssektoren om "best i klassen"-tittelen, men mest i land der utdanningspolitikk har vært mer kontroversielt enn i Norge og det er nok ikke tilfeldig. I en underkategori av evaluering, såkalte effektstudier, har helsesektoren vært best i klassen, men den underkategorien har aldri blitt særlig utbredt i andre sektorer, antakelig fordi menneskers liv er mye mer heterogene enn deres kropper. I alle sektorene har evaluering vært viktigste slagmark i hva som gjerne omtales som "the paradigm war", en langvarig og ganske intens konflikt om ulike kunnskapssyn i både samfunnsvitenskap og offentlig forvaltning, som også dukker opp i bistanden med ujevne mellomrom og hver gang omtales som om det er noe nytt).

Bistandsevaluering har selvsagt også andre funksjoner, primært å bidra til læring. Både læring og ansvarliggjøring bidrar igjen til bedre bistand, men på litt ulike måter og de krever ideelt sett litt ulike tilnærminger. 

Kombinasjonen av disse to funksjonene har derfor vært gjenstand for en masse intellektuelt og organisatorisk arbeid gjennom tiår med bistandsevaluering. Noen mener at de to funksjonene blir dårligere om de kombineres, og heller bør rendyrkes hver for seg. Andre mener at kombinasjon er den beste eller kanskje eneste måte å gjøre det på. Evalueringsavdelingen i Norad har vært representant for hybrid-løsningen. Jeg har vært skeptisk til dette (jeg var fagdirektør for evaluering for noen år siden), men avdelingen har demonstrert at det er fullt mulig å kombinere. Det krever blant annet ganske hårfin balanse mellom å være tilstede der det skjer og å opptre uavhengig, og det krever organisatorisk, sosial og kommunikasjonsmessig manøvreringsevne å bevare tillit internt og kredibilitet eksternt.

Denne balansegangen blir mye vanskeligere når funksjonen flyttes ut av Norad og Oslo, fordi muligheten til å lykkes med læringsfunksjonen forvitrer. Læring krever tett tilstedeværelse og hyppig interaksjon både før, under og etter evalueringene, og disse mange interaksjonene er en viktigere læringsarena enn selve evalueringsrapportene (det er ikke mange som leser rapporter lenger). Dette er mye, mye vanskeligere når man jobber i to forskjellige byer.

For meg synes det åpenbart at det eneste man vil kunne lykkes ganske godt med i Førde, er den delen av spekteret som handler om ansvarliggjøring. 

Ansvarliggjøring (accountability) bør derfor rendyrkes som det overordnede mandatet når funksjonene skal flyttes til Førde. Det er fordi ansvarliggjøring er den eneste av evalueringsarbeidets funksjoner som er meningsfullt å desentralisere, men også fordi ansvarliggjøring trengs mer enn på lenge, gitt de politiske vindene, bistandsforvaltningen, prioritering hos Norads ledelse, og hva som skjer med kunnskapsarbeidet i Norad og norsk bistand for tiden.

For å understreke alvoret: Når en politiker eller forvaltningsorgan gjør noe dumt med fellesskapets midler, kan vi regne med at det blir korrigert. Ofte er det noen i førstelinjen, kanskje sykepleiere, lærere eller NAV-ansatte, som vet mest og ser det først og forhåpentligvis blir de hørt når de forsøker å si fra. Hvis det ikke korrigeres, blir det raskt kjent blant brukere/målgrupper, interesseorganisasjoner, forskere eller media. Når det norske samfunnet fungerer som det bør (det skjer ofte), vil det igjen føre til forbedring gjennom ansvarliggjøring: Ledere og politikere blir konfrontert med at det er gjort noe som noen mener er dumt. De må da enten forsvare seg (kritikk betyr jo ikke nødvendigvis at det er gjort noe dumt) eller love forbedring, og vil forhåpentligvis levere på løftene. Skjer ikke det, blir de øverste ansvarlige til syvende og sist ansvarliggjort gjennom demokratiske valg, iallfall i prinsippet. 

Når noen gjør noe dumt med bistandsmidlene derimot – politikkutvikling, strategier, prioritering, forvaltningssystemer, gjennomføring – er sjansen liten for at det blir korrigert på samme måte, selv om «å gjøre noe dumt» med bistandsmidler ofte handler om liv og død. De samme mekanismene er simpelthen ikke tilstede eller de er ineffektive. De ansatte i førstelinjen er stort sett utenlands, samtlige sluttbrukere er utenlands og ofte blant verdens minst privilegerte, og alle de intenderte effektene – eller mangel på slike – er i utlandet. Indikatorer og annen resultatinformasjon kan riktignok brukes som proxy på intendert effekt, men bistand gjennomføres på så mange ulike måter og steder at det fins ingen mulighet til å bruke standardiserte mål for å vurdere hvorvidt den er så effektiv som den burde. Bistanden kan til og med gjøre skade uten at slik informasjon noen gang kommer tilbake til Stortinget.

Forskjellen på hjemme og ute er kanskje særlig tydelig når det gjelder ansvarliggjøring for prioritering. Når utdanningsmyndighetene, Innovasjon Norge eller Helse sørøst prioriterer, er det noen som ikke får så mye nytte av offentlige ressurser som de forventer enten det er prioritert "riktig" eller "feil". Enten folk har hatt rimelige forventninger eller ikke, vil noen si fra, det blir synliggjort hva som er nedprioritert og vi får en debatt. Hvis UD og Norad bruker veldig mye penger på noe som ikke fører til noe særlig, eller til formål som folk flest i fattige land ikke synes er det viktigste man kunne brukt penger på (det skjer faktisk veldig ofte), hører vi ingenting. Og verken fagfolk eller journalister kan på meningsfulle måter identifisere personer som ikke er prioritert, og spørre hva de synes. Det er jo et par-tre milliarder andre mennesker som kunne hatt nytte av de samme pengene, om de hadde vært prioritert annerledes. Dette skyldes ikke en svakhet med systemet, det er en iboende egenskap ved bistand.

Det er altså behov for en ekstra innsats for ansvarliggjøring av beslutningstakere i bistand, for å kompensere for at bistand skiller seg fra annen offentlig pengebruk når det gjelder mulighet for ansvarliggjøring. 

For ordens skyld; problemet krever noe mer enn hva Riksrevisjonen tilbyr av ansvarliggjøring. Riksrevisjonen er utformet for politikk- og forvaltningsområder som primært er tenkt å ha konsekvenser for egne borgere, der det også skjer ansvarliggjøring gjennom en mengde formelle og uformelle prosesser, med demokratiske valg som den ultimate mekanisme for ansvarliggjøring. Riksrevisjonen gjør en ganske god jobb med bistanden (det vil si: bistandsforvaltningen slaktes hver gang Riksrevisjonen vender blikket den veien), men har verken mandat, metoder eller kompetanse til å vurdere alle relevante spørsmål rundt hvordan UD og Norad håndterer bistanden godt. 

2. Tenk nytt om organisering

Hybridløsningen knyttet til evaluering i Norad førte med seg et ganske spesielt organisatorisk oppsett som forsøkte å kombinere samorganisering med reell og (eksternt) opplevd uavhengighet fra bistandsforvaltningen. En "evalueringsinstruks" var sentral i dette. Den fungerte sånn noenlunde som en symbolsk markering av (semi-)autonomi i det daglige, selv om den ikke hindret nedbygging og svekkelse av evalueringsfunksjonen (særlig relativt til det stadig større bistandsbudsjettet) uten at Stortinget fikk informasjon nok til å avdekke det.

Jeg vet ikke hva som er tenkt om organisering av evalueringsfunksjonen i Førde, men organisering blir avgjørende. 

Et viktig spørsmål er hvordan Stortinget kan få en formell rolle, som er prinsipielt fornuftig i en funksjon som skal holde regjeringen ansvarlig for bruk av penger bevilget av Stortinget. Flere andre giverland har gitt sine parlamenter en rolle i lignende funksjoner (jeg tør ikke gi detaljer: Jeg kunne mye om dette for noen år siden, men er ikke lenger oppdatert). Siden bistandsevaluering med mål om ansvarliggjøring har en del felles med Riksrevisjonen (selv om mandat og metode er annerledes), er det ingenting i veien for at også bistandsevaluering kan forankres i Stortinget. En av flere løsninger kunne faktisk vært å gi Riksrevisjonen et tilleggsmandat og utvidet verktøykasse – men det er nok for sent nå, for det passer dårlig sammen med flyttingen til Førde.

Stortinget kunne for eksempel ha nedsatt en komite, kommisjon eller utvalg med det overordnede ansvaret, eller i det minste ha etablert en direkte rapporteringslinje. Slikt sitter litt inne i norsk tradisjon, men er ikke utenkelig. Noe som imidlertid er helt innafor, er at Regjeringen setter ned et utvalg, råd eller styre som får ansvaret for evaluering, og informerer Stortinget formelt om det, med en formell invitasjon til Stortinget om å uttale seg. Det er vanlig i norsk forvaltning: Ifølge Wikipedia er det 390 styrer, råd og utvalg nedsatt av regjeringen. Mange har på en eller annen måte vært innom Stortinget. 

Min foreløpige favoritt er Etikkrådet for Statens pensjonsfond utvalg. Det synes både effektivt og ukomplisert. Et utvalg eksperter har fått ansvar og mandat til å gjøre vurderinger og trekke konklusjoner basert på informasjon framskaffet av et permanent sekretariat. Selv om de ikke har beslutningsmyndighet over faktiske investeringer, har de en effektiv rolle overfor Norges Bank gjennom (blant annet) tilrådinger som er offentlige. En slik eller tilsvarende modell vil kreve veldig lite kapasitet av et ellers presset Utenriksdepartement. En bistands-versjon av Etikkrådet burde hatt en en noe mer formell rolle for Stortinget (for eksempel i oppnevnelse av rådsmedlemmer), siden bistand er å forvalte Stortingets midler på en mer direkte måte enn SPU, men det er enkelt å organisere.   

3. Utvid verktøykassen

Som i enhver ommøblering bør man bruke anledningen til ikke bare til å vurdere hvor møblene bør stå, men hva slags møbler man trenger til hva. Evaluering er selvsagt ikke et mål, bare et virkemiddel. Når når alt skal flyttes på, er spørsmålet hvordan man best kan ivareta målet – i dette tilfellet kunnskapsbasert, faglig ansvarliggjøring av hvordan embetsverket og bistandsforvaltningen håndterer bistandsbudsjettet – uten å være bundet til et bestemt virkemiddel.

Gode evalueringer er dyre, tidkrevende, og oftest retrospektive. Det brukes veldig mye tid og penger på å si noe om hva som skjedde i fjor, forfjor og lenge før det igjen. Det er mye å lære av dette, men den direkte nytten vil av og til være begrenset, særlig i en tid preget av raske endringer i bistanden. Selv når kunnskapen er relevant, kan de ansvarlige avvise den med å si at «det er utdatert, vi gjør det på andre måter nå». 

Evalueringer av bistand bør fortsatt gjennomføres, for det er en unik og kvalitativt uovertruffen kilde til kunnskap, men det finnes flere verktøy å ta i bruk.

Samme enhet som jobber med evaluering, bør derfor få mandat til å jobbe bredere med tungt kunnskapsbaserte vurderinger av hvordan bistanden virker. Mandatet må være å gjøre grundige faglige vurderinger av hvordan bistandsbudsjettet disponeres, forvaltes og hva det fører til, men ikke bare evaluering. 

Nok en gang er jeg inspirert av Etikkrådet for SPU, som gjør grundige og viktige vurderinger med helt andre metoder. 

Jeg ser for meg at eksperter (ansatte eller innleide) kan starte med en oversikt over hele bistandsbudsjettet, velge ut utvalgte sektorinnsatser, budsjettposter, land, arbeidsmåter eller intervensjoner som de finner mest interessant, og deretter gjøre relevante undersøkelser. Det kan være å vurdere overordnede strategiske valg (eksplisitte eller implisitte «endringsteorier», som det heter på stammespråket), samarbeidspartnere, intervensjoner eller nær sagt hva som helst. De kan så identifisere svakheter, risikomomenter og forbedringsområder, kanskje legge til noen røde og oransje flagg av pedagogiske hensyn, og samle disse vurderingene i en rapport som oppdateres for eksempel hvert kvartal. Ingenting av dette vil gi like gode svar som evalueringer, men det vil gi veldig gode spørsmål, og vil være mye mer kostnadseffektivt kunnskapsarbeid enn evalueringer. Når oversikten gjøres offentlig, vil den ha en viktig uformell ansvarliggjøringsfunksjon.

I tillegg kan man gjøre andre typer studier og utredninger, arrangere konferanser, drive med presseutspill og mye annet, som samlet sett vil få mye mer kunnskap og ansvarliggjøring ut av pengene enn å bare drive tradisjonelt evalueringsarbeid. Dette må folka i Førde finne ut av selv, men det er viktig at de får et bredt nok mandat og ikke bare får i oppgave å videreføre tradisjonelt evalueringsarbeid. 

Navnet bør også reflektere dette: Det bør ikke hete «evalueringsenhet», men få et nytt navn som reflekterer en større verktøykasse, en språklig oppmykning som også har skjedd i mange tilsvarende funksjoner i andre giverland.

Dette skjer ikke hvis UD blir alene med vurderingen

Jeg vet ikke om noen i UD hadde tenkt særlig mye så langt på hvordan en ny og bedre ansvarliggjøringsfunksjon kan se ut (beslutningen var jo åpenbart var motivert av noe annet), men jeg har en del erfaring med UD og ingen tro på at dette er vurdert nøye eller vil bli vurdert nøye i tiden framover. Departementet prioriterer andre oppgaver og kommer til å se lett på denne oppgaven.

Den gode nyheten er at det trengs kanskje ikke mye nytenking i UD. Som sagt har andre giverland gått foran, og det finnes sikkert et organisatorisk oppsett i det norske systemet som kan kopieres. 

Likevel kommer det antakelig ikke til å skje noe spennende på dette området, om UD får være alene med disse vurderingene. 

UD har verken interesse eller kapasitet til å jobbe for å styrke ansvarliggjøring av det overordnede nivået i norsk bistandsforvaltning. Snarere tvert imot: Rent organisatorisk har departementet alt å vinne på å videreføre dagens praksis, der bistand disponeres og forvaltes uten systematisk, faglig kompetent ansvarliggjøring.

Det vil heller ikke være særlig ytre press. Dette er ingen vinner i media. Vi har sterke organisasjoner i utviklings- og bistandsdebatten, men bare av to typer: Store bistandsorganisasjonene som stort sett bare snakker om egne kjepphester, og små, dyktige interesseorganisasjoner som jobber for helt bestemte politiske endringer. Ingen av dem kommer til å ta denne saken.

Med andre ord: Dette vil antakelig bare skje om noen på Stortinget tar initiativ, stiller spørsmål og tydeliggjør forventninger. Det bør være akkurat like interessant enten man er entusiastisk eller skeptisk til bistand: Alle vil jo at de pengene som bevilges, faktisk brukes godt, og man tar ikke stilling verken til bistandsbudsjettets størrelse eller innhold ved å konfigurere et oppsett for å sikre ansvarliggjøring av de som forvalter Stortingets midler. Hvem tar oppgaven?

Desentraliserte evalueringer

Noe som må være komfortabelt med å være i regjering, i motsetning til forvaltningen, er at regjeringen i noen typer «politiske» beslutninger kan unndra seg kravet om å presentere et systematisk og etterprøvbart beslutningsgrunnlag. (UD skiller seg fra andre departementer ved at de stort sett også klarer unndra seg dette, men det er en annen historie).

Pressemeldingen om å flytte minst 15 årsverk til Førde, inkludert evaluering av norsk bistand, er kanskje alt vi får vite om beslutningsgrunnlaget. Det er åpenbart (og eksplisitt) politisk motivert. Spørsmålet er om det i tillegg ble gjort en vurdering av konsekvensene for norsk bistand. Beslutningen ble ganske sikkert ikke tatt i konsultasjon med relevant ekspertise, og antakelig heller ikke drøftet med berørte ansatte eller arbeidslivets parter (nok en komfortabel del av å gjøre beslutning i regjering), noe arbeidstakerorganisasjonene antakelig kommer til å fortelle – fånyttes.

Men nå når beslutningen likevel er tatt: Her er noen vurderinger av de mulige konsekvensene. Se det som et bidrag til den systematiske, grundige vurderingen som ikke har skjedd.

Evaluering har en viktigere rolle i bistand enn de fleste andre forvaltningsområder, nedfelt i OECD på bakgrunn av tiår med erfaring. En prinsipiell grunn til denne forskjellen er at bistandens primære interessenter – sluttbrukerne – er langt borte og normalt ikke bidrar til ansvarliggjøring av beslutningstakere gjennom tilbakemelding og i ytterste instans gjennom demokratiske valg, som norske borgere kan. En mer praktisk begrunnelse er at bistand ikke gir samme mulighet til å følge på hva som skjer in real time på samme måte som i hjemlig forvaltning, der det er gode sjanser for at både beslutningstakere og borgere får vite det om politikk slår feil ut eller penger brukes på dårlige måter. I tillegg kommer en enorm kunnskapsutfordring knyttet til at ganske små fagmiljøer skal bidra til endring i mange ulike sektorer i mange land, uten noen sjanse til å ha all nødvendig kompetanse innomhus. De fleste store bistandsakører har derfor etablert mer eller mindre uavhengige evalueringsfunksjoner med det doble formål å bidra til kunnskapsproduksjon (læring) og å holde beslutningstakere ansvarlig.

I Norge har denne til nå vært lokalisert i kjelleren i Norads lokaler, underlagt Norads leder. Mange har stilt spørsmål ved om dette gir tilstrekkelig uavhengighet: Noen formelle instrumenter sikrer en viss autonomi, men Norads direktør – ansvarlig for forvaltning av store deler av bistanden – bestemmer hvem som leder evalueringsavdelingen, antallet ansatte og evalueringsbudsjettet.

For å starte optimistisk: Flyttingen kan kanskje kompensere for litt av den skaden som har skjedd norsk bistandsevaluering de siste årene, etter at Bård Vegar Solhjell overtok som Norads direktør. Den historien har flere faser, hvorav bare noe har vært i media før. Solhjell forstod tilsynelatende ikke viktigheten av kunnskapsproduksjon med ansvarliggjøring av beslutningstakere (accountability) som formål, framforhandlet i internasjonalt utviklingssamarbeid over tiår. Han forsøkte først å avvikle Evalueringsavdelingen, men måtte gi seg på halvveien. I praksis har han likevel gjort valg som effektivt har redusert (vingeklippet?) det som i fagfeltet regnes blant de viktigste kvalitetssikringsmekanismene innen bistand. Avdelingen fikk færre årsverk og mindre ressurser til evaluering – både i absolutte tall og særlig i lys av et raskt voksende bistandsbudsjett, lite intern oppmerksomhet, svekket intern status og mindre ekstern synlighet. Det er nok komfortabelt for en leder, for kunnskapsbasert ansvarliggjøring er ukomfortabelt, men skadelig for bistanden på sikt.

Samtidig brukte Solhjell ressurser på å bygge opp en ny kunnskapsavdeling, som også engasjerte seg i spørsmål om bistandsevaluering. I praksis var dette en klar omprioritering av bistandens mest begrensede ressurs (årsverk i forvaltningen): Reduksjon av uavhengig evaluering med mål om ansvarliggjøring, til fordel for økt satsing på kunnskapsarbeid direkte underlagt ledelsen og tilsynelatende skreddersydd for å støtte ledelsens ambisjoner. Dette kunnskapsarbeidet representerte et langt smalere kunnskapssyn (bare noen fakta har makta), hadde ingen rolle knyttet til ansvarliggjøring av beslutningstakere (bare en halvveis rolle i ansvarliggjøring av saksbehandlere og tilskuddsmottakere), og sammenfalt ganske dårlig med hva store deler av fagmiljøet i Norad mener er beste form for kunnskapsarbeid. Avdelingen har delvis lykkes i å ta over hegemoniet i spørsmål om bistandsevaluering, på bekostning av Evalueringsavdelingen som ikke bare var bistandens, men ett av det offentlige Norges beste evalueringsmiljøer. Den har bidratt til at Norad, lenge kjent blant de beste i klassen (og prisvinner) blant statlige institusjoner på evaluering, nå blir oppfattet som evangelist for bare en smal del av det spekteret av evalueringsarbeid som bistandsforvaltning (og all annen forvaltning) må bygge på: såkalte effektevalueringer, som gir veldig gode svar på veldig få spørsmål – og aldri vil bringe ledelsen i forlegenhet.

Her ligger en mulighet til positiv forbedring når evalueringsfunksjonen nå skal flyttes geografisk bort fra Norad. Kanskje kan anledningen brukes til å styrke bistandsevaluering både som en viktig og bredt orientert kunnskapsbase, og som et viktig instrument for ansvarliggjøring av beslutningstakere i bistand. Flyttingen gir mulighet til noen formelle endringer som sikrer at lederen for størstedelen av den bistanden som skal under evaluering, ikke kan svekke evalueringsarbeidet hvis det ikke passer inn i egne ambisjoner. Andre store giverland har mye bedre formelle oppsett enn Norge, og dette er en anledning til å se til hvilke av de løsningene som er mest lovende.

I tillegg vil flyttingen gjøre det enklere å synliggjøre ressursbruken til evaluering, både når det gjelder årsverk og evalueringsressurser. Dette har til nå vært nesten umulig å lese ut av budsjetter og rapporter, og gjort det vanskelig for Stortinget både å avdekke og påvirke prioriteringen. Flyttingen vil nok gjøre slik prioritering mer synlig.

Alt dette kunne ha vært oppnådd ved en hvilken som helst flytting, internt i Oslo eller til et annet sted i landet – og akkurat i denne saken er Bergen (eller omegn) en åpenbar kandidat fordi landets fremste uavhengige miljø på bistandsevaluering ligger der. Vil en evalueringsfunksjon for bistand klare å levere like godt i Førde?

Her har vi ganske konkret erfaring å bygge på. Den svenske regjeringen har nemlig prøvd omtrent nøyaktig det samme som regjeringen gjorde i dag, da SADEV- Institutet för utvärdering av internationellt utvecklingssamarbete ble etablert i 2006. 

SADEV ble lokalisert i Karlstad, med rundt fem ganger så mange innbyggere som Førde og under tre timers reisetid med komfortable tog både til Stockholm og Gøteborg.

SADEV ble nedlagt i 2012 fordi SADEV «har under en längre tid präglats av brister i effektivitet och kvalitet». Svenske regjeringens eget utredningsorgan, Statskontoret, hadde da gjort en evaluering (!) og konkludert med at «SADEV har inte getts tillräckliga förutsättningar att utföra det svåra uppdrag som myndigheten har. [...] SADEV:s lokalisering till Karlstad har bidragit till svårigheter att rekrytera och behålla kvalificerad personal. Det är viktigt för en myndighet som SADEV att ha hög kompetens, men också att ha närhet till centrala biståndsaktörer, forskning på området samt arenor där biståndsfrågor diskuteras. Statskontoret föreslår därför att regeringen överväger en annan lokalisering av myndigheten». Dette er hovedbudskapet i pressemeldingen, ikke noe jeg har søkt meg fram til i en lang rapport. Den samme forklaringen, at SADEVs svikt skyldes lokaliseringen, deles av nær sagt alle som jobber med bistand i Sverige og er godt kjent i internasjonale evalueringsmiljøer – og det tok meg et par minutter å finne ovenstående informasjon på internett. Derfor må vi selvsagt regne med at den norske regjeringen var kjent med dette og tok erfaringene i betraktning før de tok en beslutning som ser ut som en blåkopi.

I pressemeldingen legger Regjeringen i stedet vekt på de positive erfaringene fra flyttingen av Norec/Fredskorpset til Førde i 2018. Den flyttingen gikk bra, og det gir grunn til optimisme. Jeg fulgte prosessen fra sidelinjen, og tror suksessen kan forklares med uvanlig gode ledere (både under og etter flyttingen), dedikerte ansatte som var villig til å strekke seg langt i en overgangsperiode for at flyttingen skulle lykkes, mye ekstra pengebruk (ja, bistandsmidler), noe relevant kompetanse i Førde og dyktige folk som var villig til å flytte dit.

Om alle de samme suksessfaktorene vil være på plass denne gang, er usikkert. Det er dessuten mye vanskeligere å gjenta samme suksess samme sted. Vi vet ikke når mulighetene til å fylle Førde med spisskompetente fagfolk mettes. De nye funksjonene kommer delvis å konkurrere med Norec om de samme hodene, og det er klare grenser for hvor mange flere folk med spisskompetanse på bistand og/eller evaluering som har interesse og (familiære) muligheter til å flytte. De fleste med relevant kompetanse som har hatt særlig interesse for å bo i Førde på grunn av familie eller annet, har nok allerede søkt til Norec. Neste pulje av fagfolk er vanskeligere å overbevise, og alle som har den høye kompetansen som kreves, har eller får jobb andre steder om de vil.

Dessuten, selv om Norec også krever – og har! – spisskompetanse, trengs annen og i noen grad enda sjeldnere kompetanse for å evaluere bistand. For å lykkes, kreves et fagmiljø som samlet sett representerer en nødvendig kombinasjon: noen må ha lang praktisk erfaring fra bistandsforvaltning og/eller praktisk bistandsarbeid, andre må ha spisskompetanse på evalueringsmetode – helst basert på relativt nyere akademisk utdanning og forskning. Begge deler er relativt sjelden vare selv i større byer, og de fleste har allerede gode jobber og ser nok ikke for seg å flytte til Førde.

Nå når beslutningen er tatt, vil ikke pessimisme tjene saken – og pessimistene tok feil sist. Men jeg er ikke i tvil om at denne nye oppgaven er enda mer krevende enn å flytte Norec/Fredskorpset, og de som har tatt beslutningen har mye å bevise.

Første del av jobben er å bruke anledningen til en grundig overhaling av evalueringsfunksjonens mandat, struktur og ressurstilførsel. Hvis man viderefører dagens situasjon – en semi-uavhengig evalueringsfunksjon som kan vingeklippes av de beslutningstakerne som skal ansvarliggjøres (både i UD og Norad), med nedadgående ressurssituasjon tross tidenes raskeste vekst i bistandsbudsjettet, og uten særlig åpenhet om ressursbruk og viktige veivalg, er det vanskelig å se for seg at evaluering vil kunne få den viktige funksjon det er tiltenkt i kvalitetssikringen av norsk bistand. 

Tilbake etter en pause

Denne bloggen har ligget på is en stund fordi jeg hadde en stilling i Norad der jeg vurderte det som unaturlig å engasjere meg på selvstendig grunnlag i det offentlige ordskiftet. Det var en feilvurdering. Stillingen i Norad demonstrerte til fulle at det et enormt behov for at ansatte i offentlige institusjoner engasjerer seg i offentlig debatt og går offentlig ut med informasjon av offentlig interesse, i kraft av sin egen kompetanse – og ikke bare på måter som er ønsket av og avtalt med organisasjonens ledelse. 

Dette er så viktig at jeg sa opp stillingen i Norad for å engasjere meg fulltid for å forsøke å stable på beina et helt nytt initiativ so skal senke terskelen for at alle offentlig ansatte, ikke bare i Norad, bruker sin ytringsfrihet. Arbeidstittelen er "Anonyme byråkrater" og du får høre mer om det senere. 

Dette krever nesten all min tid, men jeg kommer til å bruke litt av fritiden til bistand og utviklingspolitikk, inspirert av siste års utvikling i den norske bistandsforvaltningen. Derfor vil det en gang i mellom komme noe tekst her på denne bloggen. Følg med!