Hvor jeg tror vi er enige om evaluering, Wig

Etter Tore Wigs svar 16. mai holder jeg fast på tittelen til mitt innlegg i Morgenbladet 10.mai, denne gangen med utheving av det viktigste: Bistandsevaluering trenger forskere som forsøker å forstå. Mye av Wigs tekst 16.mai gir isolert sett mening, men svarer på veldig lite. 

Det er vanskelig å forestille seg hvordan Wig forestiller seg at evaluering foregår, og det gjør det litt vanskelig å diskutere. Men når han tillegger meg utsagn og meninger som jeg ikke har og blir litt fornærmet over, er det vanskelig å la være. 

Vi bør uansett være ferdig snakka nå. Derfor legger jeg denne teksten på egen blogg framfor å sende til Morgenbladet, og jeg vil legge vekt på hva jeg er ganske sikker på at vi er enige om, og forsøker å la (det meste av) det andre ligge.

Enig: Evaluering er (også) anvendt forskning. Wig insisterer på dette (to ganger) og synes å bruke det som et bevis for at det ikke er eget fagfelt. Hva er galt med begge deler? I American Evaluation Association diskuteres om evaluering, med sine masterprogrammer, doktorgradsutdanninger og akademiske journaler, bør regnes som en akademisk disiplin, altså grunnforskning. De om det, men vi kan vel være rause nok til å akseptere at deres 7000 medlemmer, og tusenvis i andre land, har sitt eget fagfelt. Det er mye å kritisere i dette fagfeltet, men kritikken blir bedre hvis man først forsøker å forstå feltet. Wig kunne for eksempel ha sjekket Wikipedia eller en hvilken som helst annen kilde på nettet før han selv skrev som om evaluering er lik studiet av (kausal) effekt, noe det ikke er.  

Enig: Studiet av (kausal) effekt står sentralt i nesten all bistandsevaluering. Det har vært hovedspørsmålet gjennom 50+ år, studert med hele samfunnsforskningens metodeapparat, oftest av samfunnsforskere (i gode, gamle dager ble det doktorgrader av slikt). Om vi skal forholde oss strengt til det fagfeltet som Wig fornekter, er selve studiet av effekt ("effektmålingen") ikke en evaluering i seg selv. En evaluering er en valuering, der effekt (dokumentert, estimert eller målt) inngår som en slags inngangsvariabel. Dette er definitorisk flisespikkeri, men er verdt å nevne hvis noen tror at de to er synonyme. Vi er nok enige her også, for Wig sier selv at studiet av kausal effekt er "verken mer eller mindre enn oppdragsforskning". Studiet av effekt inngår likevel i mange evalueringsoppdrag fordi det er en forutsetning for å kunne evakuere (og vi kan ofte ikke stole på rapportert effekt). Selvsagt er vi enige om at effektstudier må delegeres til folk med forskningskompetanse. De må selvsagt ha ekspertise på de metodene som er best egnet til akkurat de effektene man er interessert i å vurdere. Lite er mer bortkastet enn å bruke gode verktøy til noe de ikke er egnet til. 

PS. Jeg skriver (kausal) i parentes fordi "kausal effekt" er et dialektuttrykk i akademia. Mye av samfunnsvitenskapen er i bunn og grunn studiet av kausal effekt (selv om de har ulik tenking om kausalitet), men uttrykket brukes mest i en gren. Det er for dumt hvis samfunnsforskere, kjent for å være kresen på begreper, snakker forbi hverandre fordi de velger ord som ikke presist beskriver forskjellen mellom dem. Dessuten går vi glipp av en muligheten til å kommunisere noen mer interessante forskjeller. De som oftest bruker ordet "kausal effekt") er nemlig mye bedre enn noen andre til å jobbe kontrafaktisk med effekt, og her bør andre disipliner ta lærdom. Det er kjempeviktig i bistand: et bistandstiltak kan "virke" og levere de aller beste "resultater", bevist utover enhver rimelig tvil med RCT, samtidig som bistandsfinansiering av tiltaket gjør ingen eller negativ forskjell: Det samme tiltak kunne kanskje bli finansiert på andre måter (staten, filantroper, lokalsamfunnet), og de kan ofte ikke oppskaleres eller replikeres med samme effekt. Verre: bistandsfinansiering kan ofte stå i veien for andre og mer bærekraftige måter å finansiere tiltaket på, eller andre og bedre måter å løse problemet på. Randomiserte studier av tiltak (det utgjør nesten alle slike studier) er egentlig ikke et studie av effekten av bistand, men av en intervensjon. De forteller veldig lite om (kontrafaktisk) effekt av bistandsfinansiering, bare om isolert effekt av de enkelte tiltak. Kvalitative studier stiller slike spørsmål (særlig de som er inspirert av sosialantropologer), men har ikke metodeapparat som kan brukes til å "dokumentere" slike påstander overfor folk som synes det er ubehagelig å tenke at man kanskje kan skape masse "resultater", bevist med de beste metoder (RCT) uten å skape positiv forskjell. Her må hele verktøykassen tas i bruk. En eventuell RCT må da studere effekt av finansieringen av et tiltak, ikke selve tiltaket. Det er nok vanskelig å randomisere, for dette kan ikke studeres på tvers av land og innenfor samme land vil de to gruppene påvirke hverandre, men jeg skulle tro at kvasi-eksperimentelle metoder kan brukes. (makrostudier kan også brukes, den lange litteraturen om "fungibility" er jo i samme gate). Her er mye interessant forskning og/eller evaluering, og det har ikke bare teoretisk interesse, men er en helt reell problemstilling i mye bistand. Og når Wig sier at det viktigste spørsmålet (i evaluering) oftest er "om det fungerer" så hater jeg å måtte være blant de som sier at "det er ikke så enkelt". 

Enig: De fleste bistandsevalueringer er alt for dårlige. Det har både jeg og Lindkvist/Sagmo sagt i mange år. Derfor er det litt leit at vi skulle havne i denne litt kleine diskusjonen når vi alle er helt enige i problembeskrivelsen (for å bruke Wigs eget uttrykk: Mon tro hvorfor). Litt flere nyanser kan likevel passe: Det finnes (få) gode og (mange) dårlige bistandsevalueringer. Etter å ha vært i kontakt med hundrevis av slike (som forsker, fagdirektør og evaluator), mener jeg å ha sett et tydelig mønster: De dårlige bestilles av folk som ikke kan «evalueringsfaget» (her med Wigs hermetegn), og oftest uten forskningskompetanse. De gode bestilles av byråkrater som kan «evalueringsfaget» og oftest også har god forskerkompetanse, som i Norads evalueringsavdeling. Det finnes unntak, for eksempel når anskaffelser har gått skeis og feil folk får jobben (både med og uten forskerkompetanse). Og når forskere med smal metodekompetanse blir satt til å studere spørsmål om effekt som de ikke er godt utstyrt til å vurdere (jeg kjenner til konkrete erfaringer med "syndere" i alle disipliner, som har kostet millionbeløp).  

Enig: Evalueringer bør helst gjennomføres av forskere. Når Wig implisitt sier at jeg «hevder» noe annet, er det ren fantasi, og lett injurierende (det er ikke god debatt-kultur å tillegge en meningsmotstander en mening som ikke kan leses ut av teksten, og så stemple denne som "absurd"). Wig tror visst at byråkrater selv gjennomfører evalueringer: «man gir forskningsoppgaver til byråkrater», sier han. Det skjer riktignok, for eksempel har FHI byråkrater som gjør evalueringsarbeid (med høy forskningskompetanse), men sjelden i bistanden. Evalueringer bestilles av byråkrater (hvis ikke, er det vel grunnforskning), gjennom en anskaffelse som inviterer alle verdens forskere (eller iallfall i EU) til å påta seg oppgaven. Det er altså byråkrater som gir fra seg forskningsoppgaver. (men for ordens skyld, det finnes evalueringer der både byråkrater, brukere, interessegrupper, politikere og nær sagt hvilken som helst relevant yrkesgruppe kan og bør delta, men aldri for å gjøre forskningsoppgavene). 

Til sist et punkt der jeg er uenig. Wig sier at bistandsevaluering «henger etter» på randomiserte studier. Jeg er enig i at bistanden ikke er god nok (jeg har ofte tatt til orde for flere), men at den «henger etter» er en relativ påstand som jeg mener er faktisk feil. Bistanden henger ikke etter andre sektorer i samfunnet – om vi ser bort fra biomedisinske studier som er en helt annen greie (siden kropper, i motsetning til mennesker og samfunn, er ganske like). Om vi inkluderer kvasi-eksperimentelle metoder, er bistanden kanskje best i klassen (iallfall på pallplass) i konkurransen om å bruke størst andel av sine samlede budsjetter på slike studier. Tusenvis av slike studier (13350 er registrert hos 3ie) er finansiert med bistandsbudsjetter som samlet utgjør en liten brøkdel av budsjettene for utdanning, sosial sektor eller andre relevante sektorer i rike land. Sammenligner vi med privat sektor, ligger bistanden mange divisjoner over når vi ser på andel av totalbudsjett som brukes til randomiserte studier, selv der disse er mye enklere både å gjennomføre og generalisere i privat sektor, for eksempel innen markedsføringskampanjer, kundeadferd eller noen typer investeringer.

Det er ikke Norge som betaler for norsk bistand til Ukraina

Revidert nasjonalbudsjett gjør enkelte disponeringer tydeligere enn det ordinære statsbudsjettet, fordi det er satt opp som konkrete opp- eller nedjustering av budsjettposter. Da ser vi også hva som prioriteres ned, iallfall innenfor samme budsjettår. 

Du trodde kanskje at det er Norge som betaler for norsk støtte til Ukraina og flyktninger fra Ukraina? Tja. Det meste deler dekkes av bistandsbudsjettet, som ikke økes tilsvarende. De som "betaler" mest, er andre bistandsmottakere. 

Her er hva regjeringen selv skriver om hva som kuttes i år for å finansiere økt bistand til Ukraina og flere flyktninger fra Ukraina. Det er helt ordrette utdrag fra den konkrete beskrivelsen av hva som kuttes (kudos til UD for å gjøre det tydelig). 

• somaliske flyktninger og internt fordrevne i Sør-Sudan
• matsikkerhet, helse og utdanning i Afghanistan
• "de største mottakerlandene i Afrika"
• kvinners, barns og ungdoms helse
• flyktninger i Jordan, Libanon og Syria
• innsats innenfor matsikkerhet på landnivå i Afrika
• faglige tjenester for økt kvalitet i bistandsforvaltning
• pågående fred- og forsoningsarbeid
• forebygge og bekjempe radikalisering og voldelig ekstremisme
• demokrati, styresett og økonomisk utvikling i Øst-Europa
• FNs fond for stedlige koordinatorer
• utdanningsprogrammer og yrkesutdanning
• strategiske FN-tiltak

Selv synes jeg at Norge skal gi mye bistand til Ukraina, og ta i mot mange flyktninger. Men at vi bør betale det selv.

For ordens skyld: Det er stor politisk enighet her, så akkurat dette utsagnet har ingen bestemt politisk adressat. Men for meg er det uforståelig at det ikke problematiseres mer. Selv på Stortinget høres det av og til ut som om Nansen-programmet er uttrykk for en ny norsk raushet. Men Norge er ikke blitt rausere som følge av krisen i Ukraina. Det er bare "bistandsprosenten" som sendes i en annen retning.

Bistandens problem er organisatorisk

Jeg skriver dette på egen blogg, uten å spre det i andre kanaler, framfor å publisere i større medier. Det er fordi jeg ikke tror UD blir bedre av at interne forhold blir eksponert for et bredere publikum. Til gjengjeld håper jeg at du deler med alle du mener bør lese det. 

Thorvald Stoltenberg skal ha sagt at «livet er for kort til å reformere UD». Det må ha skjedd omtrent da «godt styresett» ble et mantra i vestlig bistand. Giverne fortalte seg selv at det nesten ikke er vits å gi bistand hvis det ikke også skjer institusjonelle reformer hos mottakerne, og brukte nesten alle tilgjengelige midler – i en form for formynderskap som var ganske umusikalsk i samarbeid mellom suverene stater – til å lokke, dytte og presse fram styresett-reformer. 

Det gikk sånn passe. Styresett-utfordringene ble ikke løst. Det hele var basert på en misforståelse: Bistand er uegnet som verktøy for å endre styresett i andre land. Men bistanden har likevel levert enormt gode resultater, så all viraken rundt bistand og styresett var kanskje overdrevet. 

Hjemlige styresettproblemer, derimot, har fått for lite oppmerksomhet. Vi trenger ikke rangere som er verst av institusjonelle utfordringer hjemme og ute (den kampen taper Norge), men det er mye enklere å jobbe med egne enn andres institusjoner, så det er nok der vi burde ha startet: Ett av de største hindre for bedre norsk bistand er nemlig styring i UD –  inkludert UDs styring av sektoren. 

Når det er nedprioritert, er det nok fordi Stoltenberg hadde delvis rett: Livet er ikke for kort, men en regjeringsperiode er for kort til å endre UD. Det er en kjent funksjonsfeil i demokratiet: UD-reform ville gitt enorm gevinst, men har høy pris på kort sikt og gevinsten kan ikke hentes inn i samme regjeringsperiode. Dette kan forklare at ingen av Stoltenbergs etterfølgere heller forsøkte seg. Halvhjertede forsøk, for eksempel endringer i organisasjonskartet, gjelds ikke – det gjør ofte situasjonen verre fordi det skaper organisatorisk støy og tidsbruk uten å løse de egentlige problemene.

Prisen for dårlig styring rammer alle som trenger UD (inkludert deres egne ansatte), men er særlig høy for bistanden. Denne utgjør langt størstedelen av de økonomiske ressursene UD forvalter, men UD er konfigurert for utenrikspolitikk og diplomati, ikke bistand. Disse to oppgavene stiller ulike krav til en organisasjon, men UD gjør ikke hva som kreves for å levere på to delvis motstridende oppdrag samtidig. 

Bistand er gjøkungen i UD: Det er den største ungen i reiret, med langt størstedelen av UDs ressurser, men har ikke samme DNA som de andre. Akkurat som gjøkungen, ble dens vekst etter hvert et problem – for organisasjonen, vel å merke: For mottakerne og verden er bistandens vekst et åpenbart gode. 

Dette kan ses i lys av en intern målkonflikt i UD: Utenrikstjenestens mål er å sikre Norges og norske borgeres interesser, de ansatte er faktisk lovpålagt å jobbe for dette målet. Men langt størstedelen av UDs økonomiske ressurser er bistandsmidler gitt av Stortinget for å tjene andre lands borgere, og de samme ansatte har som oppdrag å sette disse pengene i arbeid på vegne av Stortinget. UD liker best å løse dette retorisk ved å snakke om at vi har felles interesser, men det er sjeldent sant. Og hvis det blir konflikt, er det ingen tvil om hva som prioriteres. 

Når UD for tiden sliter med å løse sine oppgaver på flere områder, rammer det bistanden hardest. Selv en svak organisasjon klarer å løse sin hovedoppgave sånn noenlunde. Det er oppgavene litt lenger nede på lista det går utover. 

To ganger har jeg søkt og fått jobb i Norad for å bruke min kompetanse til nytte for bedre bistand – inkludert spisskompetanse på nettopp styresett (på mottakersiden). To ganger har jeg sluttet, i frustrasjon over hjemlige styresettproblemer som står i veien for bedre bistand. Organisasjon spiser faglig kompetanse til frokost, for å omskrive et ordtak. 

Noen av styresettutfordringene som førte til at jeg sluttet, handler om ledelse i Norad. Det er vanskelig å skrive om fordi det er for tett på egne erfaringer, og jeg er ikke uhildet. 

UD er enklere å skrive om fordi jeg aldri har vært del av intern dynamikk, men kjenner organisasjonen godt fra samarbeid på en armlengdes avstand i mer enn tjue år. 

Forutsetningene er de aller beste: De ansatte i UD er (som i Norad) blant de flinkeste jeg kjenner, og en drøm for enhver annen arbeidsgiver. Andre arbeidsgivere ville gjort alt for å holde fast på flinke folk og bruke denne kompetansen på best mulig måte. UD har det sjeldne privilegium at flinke folk, av noen forståelige og noen uforståelige grunner, fortsetter selv når arbeidsgiver ikke leverer. 

Enn så lenge: Arbeidsmarkedet er mye mer flyktig enn før, og UDs idé om nesten livslange karrierer i samme organisasjon har nok ikke samme plass i dagens arbeidsliv. 

Det samme gjelder andre av UDs organisatoriske ideer. Jeg har lest og lært mye om organisasjon og ledelse, men kjenner ikke igjen måten UD (eller Norad) styres på i noe av det jeg har lest – iallfall ikke fra denne siden av årtusenskiftet. Det går utover de ansatte, og organisasjonens evne til å levere på sitt hovedoppdrag (utenrikstjenesten), men mye mer ut over dens andre samfunnsoppdrag, inkludert bistand. 

Mye handler om HR (som i UD heter KR: "kompetanse og ressurser"). Ideen er at ansatte skal samle bred erfaring for å kunne litt om alt – men bare innenfor UD. Altså blir de kjent med alle mulige tema, men får ikke erfaring med at det finnes andre måter være organisasjon på. Det skaper gode diplomater, som nettopp må kunne litt om alt. Og det passer veldig dårlig til utviklingspolitikkens behov for spisskompetanse på bestemte problemstillinger, kontekster og institusjoner som ikke er viktige for utenrikspolitikken. 

Jeg tviler forresten på at UDs HR-praksis er lovlig. Statsansatteloven krever at stillinger skal besettes av den søker som er best kvalifisert, også ved interne omplasseringer. Jeg kjenner mange eksempler på rekrutteringer som er nesten umulig å forstå ut fra det prinsippet. Det er nesten umulig ut fra ideen at folk skal lære litt av alt. I tillegg kommer mange internrekrutteringer av type "hen tok en upopulær utestasjonering for noen år siden, og ble lovet lederstilling når hen kom hjem". På toppen av det hele hersker en forestilling at lojalitet er nødvendig for å gjøre en karriere i organisasjonen, og lojalitet synes tidvis å bli forstått som synonymt med servilitet. Uavhengig av om forestillingen bygger på sann kunnskap eller misforståelser, er det ødeleggende for en organisasjon, fordi ingen organisasjon leverer godt på sitt oppdrag over tid uten å verdsette intern dissens. 

Dette går mer utover utviklingspolitikk og bistand enn UDs øvrige oppgaver, på grunn av logikken nevnt over: Selv dårlig personalpolitikk klarer å sikre at organisasjonen leverer sånn noenlunde på de mest prioriterte oppgaver, det er oppgavene litt lenger nede på lista det går utover. Og hvis sentrale folk i organisasjonen ikke engang forstår bistand og utviklingspolitikk fordi UD prioriterer andre interesser og annen kompetanse, vet de kanskje ikke engang hvor dårlig det står til. 

Ved siden av HR står UDs måte å ta beslutninger på i veien for bedre bistand. Organisasjoner kan være «vertikale» eller «horisontale», desentralisert eller sentralstyrt. UD er en hybrid som har litt av alt, på måter som sikrer det verste fra alt. Den er horisontal ved at at små og store beslutninger – alt fra talepunkter til viktige veivalg for Norge og verden – nesten daglig sendes bredt rundt i organisasjonen for innspill. Lange sløyfer involverer ofte flere seksjoner på flere nivå (både saksbehandlere, ledere), en håndfull ambassader og kanskje noen frittgående fagdirektører, som alle forventes å gi kommentar eller skrive inn i et dokument. Mange bruker store deler av arbeidstiden på denne informasjonsflyten. 

Men når beslutninger endelig skal tas, blir UD vertikal. Selv middels viktige beslutninger sendes «oppover», der den typisk blir liggende en god stund, kanskje ukesvis, til den får plass på et møte i en ledergruppe eller politisk ledelse. Jeg har aldri forstått hvordan dette foregår (det skjer ikke på samme måte hver gang), men de som får den uformelle rollen som «portvoktere» har mye makt: De bestemmer hvilke saker som skal sendes «oppover» og når, og hva slags informasjon som skal videresendes. Hvordan de tolker sitt mandat, er avgjørende: Noen vil helst bare sende opp saker som allerede er etterspurt ovenfra, for eksempel bare det politisk ledelse er interessert i. Alternativt kunne de brukt denne anledningen til å sende opp saker som deres egne kolleger synes er viktig og som politisk ledelse bør få oversendt selv om de ikke har etterspurt det.    

Når noe er sendt opp, skjer en kort diskusjon og en beslutning mellom folk som ikke var med i konsultasjonene i forkant, etterfulgt av et vedtak. Tidvis er det vanskelig for de som var med på konsultasjonene (og skal gjennomføre) å forstå beslutningen, delvis fordi de ikke ser at deres innspill er tatt hensyn til, tidvis fordi de ikke engang forstår hva som er besluttet, altså hva beslutningstaker faktisk mener skal skje. Det gjelder også statsrådenes "påtegninger". Noen ganger har jeg hatt en klar følelse av at viktige beslutninger er basert på feil eller manglende informasjon fordi ett eller annet må ha gått galt på veien "oppover", men når beslutninger først er tatt på så høyt nivå er løpet kjørt og det er sjelden anledning til å be om et møte for avklaringer til gjensidig nytte. Den vertikale informasjonsflyten går normalt bare én vei om gangen: først opp, så ned.

Akkurat dette er nok ikke ulikt mange andre offentlige institusjoner, men problemet er nok større i UD. UD må ta beslutninger oftere og raskere enn mange andre, fordi verden forandres raskere enn Norge. Det tas enormt mange beslutninger hver dag, og det skjer på helt uransakelige måter, med ganske vilkårlig nivå av dokumentasjon: Det produseres hundrevis av sider med mellomviktig dokumentasjon  som rapporter eller møtereferater (som ofte må godkjennes på ledernivå – uforståelig lite tillit til egne medarbeidere), mens overordnede beslutninger om viktige veivalg knapt etterlater seg etterprøvbare spor. I kombinasjon med at HR-praksisen gjør at man ikke kan være sikker på folk som med riktig kompetanse er tilstede når beslutningene tas, skaper dette enorm risiko for feilinformerte beslutninger som ikke blir korrigert. Hvis forskjellen på lojalitet og servilitet ikke er krystallklar, kan det tenkes at beslutningstakere aldri får vite det.  

Etter hvert som jeg høstet mer erfaring med hvordan beslutninger i UD blir til, endret jeg strategi for det jeg var opptatt av. Intuitivt tenker man gjerne at det er riktig å ha god fagkunnskap, og investere i gode argumenter. Men i UD er det like viktig å forstå organisasjonskartet. Du må vite hvilke avdelinger, seksjoner, ambassader og fagdirektører som er med i hvilke prosesser, hvem som er opptatt av hva for tiden, hvem som har gode muligheter til å nå fram lenger oppe, og hvem som vil prioritere en bestemt sak i kakofonien av alt det andre som foregår til enhver tid.

Du bør også kjenne personer i hver av boksene i organisasjonskartet, og hva de har gjort før. I en seksjon sitter kanskje en person som tidligere har jobbet med noe helt annet enn seksjonens mandat og fortsatt brenner for det samme. Den type lokalkunnskap er gull verdt når du skal forstå og forsøke å påvirke UD. Og det er ferskvarekunnskap som endres raskt fordi folk flytter ofte i UD. Derfor må du nesten være på innsiden både for å påvirke og forstå UDs beslutninger, noe som nesten er et demokratisk problem. 

Jeg lærte også hva slags tekster som får best gjennomslag i UD. I min første tid i Norad var jeg skoleflink og forsøkte å lage gode faglige vurderinger (lange). Så lærte jeg at UD ofte lager egne oppsummeringer av Norads dokumenter til internt bruk, uten å spørre avsender (det tar for mye tid). Da forsøkte jeg å skrive dokumenter ferdig tilpasset UDs sjanger og logikk, og mye kortere, for å styrke sjansen for at det var Norads egne tekster som ble sendt videre til beslutning. 

Det hadde sin pris. Lange, men viktige resonnementer og nyanser ble tatt ut, motforestillinger ble fjernet helt, og tekstene holdt ikke den faglige kvaliteten som de fortjente. Faglige vurderinger ble fjernet og erstattet med mer politiske utsagn. Som tidligere forsker er jeg lite stolt av at jeg flere ganger har byttet ut forskningsreferanser med henvisninger til regjeringsplattformen eller en stortingsproposisjon, for det er mye mer virkningsfullt (men ofte desto mindre innsiktsfullt). Det virket: jeg fikk oftere gjennomslag etter hvert som jeg lærte hva som skulle til. 

Det er litt skummelt å tenke på hvordan det på sikt påvirker et fagdirektorat at ansatte over tid erfarer at det er politisk tilpasning og ikke faglig seriøsitet som gir gjennomslag for de de brenner for. Her ligger en enorm utfordring hos ledelse og ansatte i Norad. Det er langt igjen før UD og Norad har et forhold som ligner på det tiltenkte forholdet mellom departement og direktorat, der direktoratet jobber mest med faglige spørsmål og departementet med politikk. Jeg er ofte usikker på om UD forstår forskjellen. Mye tyder på UD heller ikke har forstått hva det vil innebære å delegere ansvar til direktoratet. Vi bør kanskje gi dem et år eller to på å finne ut av dette etter de siste års reformprosesser. 

Men løsningen på de store styresettutfordringene kommer nok ikke fra UD selv. Endringer skjer sjelden på initiativ fra de som har vært der veldig lenge, om det ikke er som respons på noe eksternt. UDs øvre sjikt domineres av folk som har det meste av sin arbeidserfaring i samme organisasjon. De ble en gang i tiden rekruttert, kanskje på Thorvald Stoltenbergs tid, på annen kompetanse enn ledertalent, og har kanskje ikke jobbet i andre organisasjoner siden. De er superflinke, også som ledere, men innenfor de strenge rammene av «sånn gjør vi det i UD». Organisasjon og ledelse er et abstrakt fag som ikke bare kan leses. Det meste læres gjennom erfaring. Hvis du ikke har erfart andre måter å være organisasjon på, kreves mye mer fantasi å se for seg hvordan ting kan bli bedre. 

Denne erkjennelsen peker på en vei ut av uføret: Første punkt er å erkjenne at det UD holder på med, ikke er så spesielt at organisasjonen ikke kan drives som andre, og at den vil ha godt av å eksponeres for andre og nyere organisasjons- og ledelsesidealer. Så kan man legge til rette for det. Det kan være hospitering i andre departementer for å lære hvordan de gjør det der. Lavere inntak på Aspirantkurset og flere eksterne rekrutteringer, også av nøkkelpersonell. Oppfordring til egne ansatte om å ta permisjon for å jobbe noen år i andre organisasjoner, og verdsette den erfaringer de får når de kommer tilbake. Lederposisjoner i UD, særlig på toppen, må lyses ut eksternt og en kritisk andel må fylles med eksterne. Det er ikke sant at diplomati er en så unik kompetanse at den ikke kan finnes andre steder, heller ikke at bare diplomater kan lede diplomater. Både intern og ekstern rekruttering av ledere bør ta i bruk ekstern kompetanse på organisasjon og ledelse, som bør foreta selvstendige vurderinger av kandidater med tanke på ledelseskompetanse, så kan UD supplere med egen vurdering av øvrig kompetanse. 

På sikt kan dette føre til at organisasjonen blir mer moderne, tar mer inn over seg erfaring om organisasjon og ledelse fra andre organisasjoner, og at både bistand og øvrig utenrikspolitikk blir bedre. En slik endringsprosess er i praksis enkelt og billig å legge til rette for, bare man aksepterer at det vil ta tid. Men det sitter nok langt inne, både for nåværende ledelse og UD-ansatte som oppfatter seg som framtidens ledere, å erkjenne at de ikke er selvsagte og eksklusive kandidater til å lede organisasjonen de har vokst opp med. Derfor kommer ikke denne endringen innenfra. 

Og fordi endringen tar lenger tid enn en regjeringsperiode, kommer dette ikke til å skje på politisk initiativ hvis framtidige statsråder velger samme konklusjon som Thorvald Stoltenberg: at livet (som statsråd) er for kort til å reformere UD.

Når det først skal ommøbleres: Bruk anledningen til en ekstrem oppussing

Skal man tolke ut fra reaksjonene, er det bare i Victoria Terrasse og i Førde at det finnes folk som tror det vil gå bra å flytte evaluering av norsk bistand til Førde. Et godt argument for at disse faktisk kan få rett, er at vi hørte lignende skepsis da forrige regjering flyttet Norec/Fredskorpset samme vei – og det gikk bra. Den nye flyttejobben blir imidlertid vanskeligere. 

Det tjener nok ikke saken med mer kritikk av beslutningen, for sluttresultatet blir antakelig best om det skapes entusiasme rundt flyttingen. Vår jobb nå er å heie, mens regjeringen demonstrerer at Norge klarer det Sverige ikke klarte. 

Jeg håper også at regjeringen også bruker anledningen til å tenke nytt og kreativt om dette viktige instrumentet for bedre bistand.

En ommøblering (enten man flytter møbler eller byråkrater) er en god anledning til å tenke gjennom på hva slags behov man har og hvordan de kan dekkes på best mulige måter. Vi mennesker er jo vanedyr (byråkrater i særdeleshet) og hvis vi ikke bruker slike anledninger, risikerer vi å fortsette som før selv om det ikke er beste måten å gjøre ting på. 

Og når det først skal gjennomføres en endringsprosess med høy kostnad – for organisasjonene involvert, de ansatte, og for bistanden som i en overgangsperiode vil lide under svekket evalueringsarbeid – er det uansvarlig å gi fra seg anledningen til å gjøre andre nyttige endringer samtidig. Hvis en så kostnadskrevende prosess bare fører til ny lokalisering og lite annet, har det høy pris for bare litt politisk gevinst. Hvis man gjør andre endringer samtidig, vil prisen bli omtrent den samme, men gevinsten mye høyere.

En særlig grunn til at det tid for å vurdere evalueringsfunksjonen, er at Norge sovet i timen i lang tid. De fleste andre store giverland har gjennomgått sine evalueringsfunksjoner, og mange har lagt ganske radikalt om på hvordan evalueringsarbeidet er organisert, mens Norge har har hatt samme oppsett siden 2004/5. Oppdettet har fungert rimelig greit, men en innebygget svakhet er blitt demonstrert de siste årene: Det har vært mulig for Norads ledelse å vingeklippe funksjonen etablert nettopp for å holde (blant annet) Norads ledelse ansvarlig, uten å gi bevilgende myndigheter (Stortinget) relevant informasjon som ville gjort det mulig å avdekke og korrigere det. Risikoen har vært påpekt, men ignorert, og det var bare et spørsmål om tid før en direktør ville bruke muligheten.

At det gamle oppsettet har blitt værende så lenge, tror jeg skyldes at Utenriksdepartementet har fått lov av Stortinget til å rigge systemet alene. I mange andre giverland har parlamentene debattert bistandsevaluering, og flere parlamenter har formelle eller semi-formelle roller i oppsettet. Jeg forstår ikke at Stortinget har akseptert at UD selv bestemmer hvordan UD skal holdes ansvarlig for bruk av bistandsmidlene. 

En grunn er kanskje at man i tillitslandet Norge har underkommunisert ansvarliggjøring som en sentral oppgave for evalueringsarbeidet, og særlig evalueringenes rolle i ansvarliggjøring av beslutninger i UD og Norad. Det er ganske ironisk at Norad og UD over tid har utviklet et monster av et forvaltningsregime for å holde sine tilskuddsmottakere ansvarlig for pengebruk og resultatindikatorer, men selv ikke holdes effektivt ansvarlig for hvorvidt de selv gjør riktige beslutninger om bistand. Nær sagt alle bistandens viktigste beslutningene skjer jo i UD og Norad før pengene sendes til tilskuddsforvalter, enten det er overordnede veivalg og prioriteringer, strategiutforming, kunnskapsforvaltning, systemer for kvalitetssikring, eller tusenvis av viktige enkeltvedtak. 

Denne ubalansen når det gjelder hvem som blir ansvarliggjort, har vært mulig når UD og Norad har fått jobbe med slike spørsmål alene, uten synlig interesse fra bevilgende myndigheter. Det har gått så langt at både Norads ledelse og flere i UD har demonstrert at de ikke har forstått (eller akseptert) evalueringenes rolle innen ansvarliggjøring slik dette er tenkt innen evalueringsfaget, i det internasjonale bistandssystemet, i OECD, i norsk offentlighet og i Stortinget. Norads direktør trodde en periode at han kunne legge evalueringsarbeidet inn i "linja". UD har tidvis uttalt seg om evalueringer de ikke liker (noe de selvsagt gjerne må gjøre), på måter som viser at de ikke forstår at det ikke er et suksesskriterium i ansvarliggjøring at den som stilles ansvarlig synes det er "nyttig".

Derfor: 

1. Rendyrk ansvarliggjøring som hovedfunksjon

Nettopp ansvarliggjøring bør rendyrkes som hovedoppdraget, når evalueringsfunksjonen skal gjennomgås på nytt. Eller kanskje heller accountability, for akkurat her er det norske språket litt fattig (sorry, Førde): Ansvarliggjøring høres litt brutalt ut og kanskje unødvendig når man har tillit til hverandre og alle gjør sitt beste (som stort sett er sant innen bistand), men alle forstår at accountability må utgjøre en sentral del av et hvilket som helst organisatorisk oppsett. 

Det gjelder særlig når noen har fått i oppgave å sette noen andre sine penger i arbeid til nytte for en tredjepart, og denne tredjeparten er blant verdens minst privilegerte uten reell mulighet til å gi tilbakemelding til de som har bevilget midlene. Slik sett er bistand en ekstremvariant av det klassiske prinsipal-agent-problemet, som burde fått enhver til å spørre om hvordan det står til med accountability. Det er veldig komfortabelt for agenten, i dette tilfellet UD og Norad (og noen andre), at prinsipalen ikke virker interessert i dette.

Evaluering har i flere tiår vært bistandens viktigste svar på dette problemet, og det er grunnen til at offentlig bistand lenge har vært blant de beste i klassen, internasjonalt, på evaluering. (Historietime: Tradisjonelt har bistanden konkurrert med utdanningssektoren om "best i klassen"-tittelen, men mest i land der utdanningspolitikk har vært mer kontroversielt enn i Norge og det er nok ikke tilfeldig. I en underkategori av evaluering, såkalte effektstudier, har helsesektoren vært best i klassen, men den underkategorien har aldri blitt særlig utbredt i andre sektorer, antakelig fordi menneskers liv er mye mer heterogene enn deres kropper. I alle sektorene har evaluering vært viktigste slagmark i hva som gjerne omtales som "the paradigm war", en langvarig og ganske intens konflikt om ulike kunnskapssyn i både samfunnsvitenskap og offentlig forvaltning, som også dukker opp i bistanden med ujevne mellomrom og hver gang omtales som om det er noe nytt).

Bistandsevaluering har selvsagt også andre funksjoner, primært å bidra til læring. Både læring og ansvarliggjøring bidrar igjen til bedre bistand, men på litt ulike måter og de krever ideelt sett litt ulike tilnærminger. 

Kombinasjonen av disse to funksjonene har derfor vært gjenstand for en masse intellektuelt og organisatorisk arbeid gjennom tiår med bistandsevaluering. Noen mener at de to funksjonene blir dårligere om de kombineres, og heller bør rendyrkes hver for seg. Andre mener at kombinasjon er den beste eller kanskje eneste måte å gjøre det på. Evalueringsavdelingen i Norad har vært representant for hybrid-løsningen. Jeg har vært skeptisk til dette (jeg var fagdirektør for evaluering for noen år siden), men avdelingen har demonstrert at det er fullt mulig å kombinere. Det krever blant annet ganske hårfin balanse mellom å være tilstede der det skjer og å opptre uavhengig, og det krever organisatorisk, sosial og kommunikasjonsmessig manøvreringsevne å bevare tillit internt og kredibilitet eksternt.

Denne balansegangen blir mye vanskeligere når funksjonen flyttes ut av Norad og Oslo, fordi muligheten til å lykkes med læringsfunksjonen forvitrer. Læring krever tett tilstedeværelse og hyppig interaksjon både før, under og etter evalueringene, og disse mange interaksjonene er en viktigere læringsarena enn selve evalueringsrapportene (det er ikke mange som leser rapporter lenger). Dette er mye, mye vanskeligere når man jobber i to forskjellige byer.

For meg synes det åpenbart at det eneste man vil kunne lykkes ganske godt med i Førde, er den delen av spekteret som handler om ansvarliggjøring. 

Ansvarliggjøring (accountability) bør derfor rendyrkes som det overordnede mandatet når funksjonene skal flyttes til Førde. Det er fordi ansvarliggjøring er den eneste av evalueringsarbeidets funksjoner som er meningsfullt å desentralisere, men også fordi ansvarliggjøring trengs mer enn på lenge, gitt de politiske vindene, bistandsforvaltningen, prioritering hos Norads ledelse, og hva som skjer med kunnskapsarbeidet i Norad og norsk bistand for tiden.

For å understreke alvoret: Når en politiker eller forvaltningsorgan gjør noe dumt med fellesskapets midler, kan vi regne med at det blir korrigert. Ofte er det noen i førstelinjen, kanskje sykepleiere, lærere eller NAV-ansatte, som vet mest og ser det først og forhåpentligvis blir de hørt når de forsøker å si fra. Hvis det ikke korrigeres, blir det raskt kjent blant brukere/målgrupper, interesseorganisasjoner, forskere eller media. Når det norske samfunnet fungerer som det bør (det skjer ofte), vil det igjen føre til forbedring gjennom ansvarliggjøring: Ledere og politikere blir konfrontert med at det er gjort noe som noen mener er dumt. De må da enten forsvare seg (kritikk betyr jo ikke nødvendigvis at det er gjort noe dumt) eller love forbedring, og vil forhåpentligvis levere på løftene. Skjer ikke det, blir de øverste ansvarlige til syvende og sist ansvarliggjort gjennom demokratiske valg, iallfall i prinsippet. 

Når noen gjør noe dumt med bistandsmidlene derimot – politikkutvikling, strategier, prioritering, forvaltningssystemer, gjennomføring – er sjansen liten for at det blir korrigert på samme måte, selv om «å gjøre noe dumt» med bistandsmidler ofte handler om liv og død. De samme mekanismene er simpelthen ikke tilstede eller de er ineffektive. De ansatte i førstelinjen er stort sett utenlands, samtlige sluttbrukere er utenlands og ofte blant verdens minst privilegerte, og alle de intenderte effektene – eller mangel på slike – er i utlandet. Indikatorer og annen resultatinformasjon kan riktignok brukes som proxy på intendert effekt, men bistand gjennomføres på så mange ulike måter og steder at det fins ingen mulighet til å bruke standardiserte mål for å vurdere hvorvidt den er så effektiv som den burde. Bistanden kan til og med gjøre skade uten at slik informasjon noen gang kommer tilbake til Stortinget.

Forskjellen på hjemme og ute er kanskje særlig tydelig når det gjelder ansvarliggjøring for prioritering. Når utdanningsmyndighetene, Innovasjon Norge eller Helse sørøst prioriterer, er det noen som ikke får så mye nytte av offentlige ressurser som de forventer enten det er prioritert "riktig" eller "feil". Enten folk har hatt rimelige forventninger eller ikke, vil noen si fra, det blir synliggjort hva som er nedprioritert og vi får en debatt. Hvis UD og Norad bruker veldig mye penger på noe som ikke fører til noe særlig, eller til formål som folk flest i fattige land ikke synes er det viktigste man kunne brukt penger på (det skjer faktisk veldig ofte), hører vi ingenting. Og verken fagfolk eller journalister kan på meningsfulle måter identifisere personer som ikke er prioritert, og spørre hva de synes. Det er jo et par-tre milliarder andre mennesker som kunne hatt nytte av de samme pengene, om de hadde vært prioritert annerledes. Dette skyldes ikke en svakhet med systemet, det er en iboende egenskap ved bistand.

Det er altså behov for en ekstra innsats for ansvarliggjøring av beslutningstakere i bistand, for å kompensere for at bistand skiller seg fra annen offentlig pengebruk når det gjelder mulighet for ansvarliggjøring. 

For ordens skyld; problemet krever noe mer enn hva Riksrevisjonen tilbyr av ansvarliggjøring. Riksrevisjonen er utformet for politikk- og forvaltningsområder som primært er tenkt å ha konsekvenser for egne borgere, der det også skjer ansvarliggjøring gjennom en mengde formelle og uformelle prosesser, med demokratiske valg som den ultimate mekanisme for ansvarliggjøring. Riksrevisjonen gjør en ganske god jobb med bistanden (det vil si: bistandsforvaltningen slaktes hver gang Riksrevisjonen vender blikket den veien), men har verken mandat, metoder eller kompetanse til å vurdere alle relevante spørsmål rundt hvordan UD og Norad håndterer bistanden godt. 

2. Tenk nytt om organisering

Hybridløsningen knyttet til evaluering i Norad førte med seg et ganske spesielt organisatorisk oppsett som forsøkte å kombinere samorganisering med reell og (eksternt) opplevd uavhengighet fra bistandsforvaltningen. En "evalueringsinstruks" var sentral i dette. Den fungerte sånn noenlunde som en symbolsk markering av (semi-)autonomi i det daglige, selv om den ikke hindret nedbygging og svekkelse av evalueringsfunksjonen (særlig relativt til det stadig større bistandsbudsjettet) uten at Stortinget fikk informasjon nok til å avdekke det.

Jeg vet ikke hva som er tenkt om organisering av evalueringsfunksjonen i Førde, men organisering blir avgjørende. 

Et viktig spørsmål er hvordan Stortinget kan få en formell rolle, som er prinsipielt fornuftig i en funksjon som skal holde regjeringen ansvarlig for bruk av penger bevilget av Stortinget. Flere andre giverland har gitt sine parlamenter en rolle i lignende funksjoner (jeg tør ikke gi detaljer: Jeg kunne mye om dette for noen år siden, men er ikke lenger oppdatert). Siden bistandsevaluering med mål om ansvarliggjøring har en del felles med Riksrevisjonen (selv om mandat og metode er annerledes), er det ingenting i veien for at også bistandsevaluering kan forankres i Stortinget. En av flere løsninger kunne faktisk vært å gi Riksrevisjonen et tilleggsmandat og utvidet verktøykasse – men det er nok for sent nå, for det passer dårlig sammen med flyttingen til Førde.

Stortinget kunne for eksempel ha nedsatt en komite, kommisjon eller utvalg med det overordnede ansvaret, eller i det minste ha etablert en direkte rapporteringslinje. Slikt sitter litt inne i norsk tradisjon, men er ikke utenkelig. Noe som imidlertid er helt innafor, er at Regjeringen setter ned et utvalg, råd eller styre som får ansvaret for evaluering, og informerer Stortinget formelt om det, med en formell invitasjon til Stortinget om å uttale seg. Det er vanlig i norsk forvaltning: Ifølge Wikipedia er det 390 styrer, råd og utvalg nedsatt av regjeringen. Mange har på en eller annen måte vært innom Stortinget. 

Min foreløpige favoritt er Etikkrådet for Statens pensjonsfond utvalg. Det synes både effektivt og ukomplisert. Et utvalg eksperter har fått ansvar og mandat til å gjøre vurderinger og trekke konklusjoner basert på informasjon framskaffet av et permanent sekretariat. Selv om de ikke har beslutningsmyndighet over faktiske investeringer, har de en effektiv rolle overfor Norges Bank gjennom (blant annet) tilrådinger som er offentlige. En slik eller tilsvarende modell vil kreve veldig lite kapasitet av et ellers presset Utenriksdepartement. En bistands-versjon av Etikkrådet burde hatt en en noe mer formell rolle for Stortinget (for eksempel i oppnevnelse av rådsmedlemmer), siden bistand er å forvalte Stortingets midler på en mer direkte måte enn SPU, men det er enkelt å organisere.   

3. Utvid verktøykassen

Som i enhver ommøblering bør man bruke anledningen til ikke bare til å vurdere hvor møblene bør stå, men hva slags møbler man trenger til hva. Evaluering er selvsagt ikke et mål, bare et virkemiddel. Når når alt skal flyttes på, er spørsmålet hvordan man best kan ivareta målet – i dette tilfellet kunnskapsbasert, faglig ansvarliggjøring av hvordan embetsverket og bistandsforvaltningen håndterer bistandsbudsjettet – uten å være bundet til et bestemt virkemiddel.

Gode evalueringer er dyre, tidkrevende, og oftest retrospektive. Det brukes veldig mye tid og penger på å si noe om hva som skjedde i fjor, forfjor og lenge før det igjen. Det er mye å lære av dette, men den direkte nytten vil av og til være begrenset, særlig i en tid preget av raske endringer i bistanden. Selv når kunnskapen er relevant, kan de ansvarlige avvise den med å si at «det er utdatert, vi gjør det på andre måter nå». 

Evalueringer av bistand bør fortsatt gjennomføres, for det er en unik og kvalitativt uovertruffen kilde til kunnskap, men det finnes flere verktøy å ta i bruk.

Samme enhet som jobber med evaluering, bør derfor få mandat til å jobbe bredere med tungt kunnskapsbaserte vurderinger av hvordan bistanden virker. Mandatet må være å gjøre grundige faglige vurderinger av hvordan bistandsbudsjettet disponeres, forvaltes og hva det fører til, men ikke bare evaluering. 

Nok en gang er jeg inspirert av Etikkrådet for SPU, som gjør grundige og viktige vurderinger med helt andre metoder. 

Jeg ser for meg at eksperter (ansatte eller innleide) kan starte med en oversikt over hele bistandsbudsjettet, velge ut utvalgte sektorinnsatser, budsjettposter, land, arbeidsmåter eller intervensjoner som de finner mest interessant, og deretter gjøre relevante undersøkelser. Det kan være å vurdere overordnede strategiske valg (eksplisitte eller implisitte «endringsteorier», som det heter på stammespråket), samarbeidspartnere, intervensjoner eller nær sagt hva som helst. De kan så identifisere svakheter, risikomomenter og forbedringsområder, kanskje legge til noen røde og oransje flagg av pedagogiske hensyn, og samle disse vurderingene i en rapport som oppdateres for eksempel hvert kvartal. Ingenting av dette vil gi like gode svar som evalueringer, men det vil gi veldig gode spørsmål, og vil være mye mer kostnadseffektivt kunnskapsarbeid enn evalueringer. Når oversikten gjøres offentlig, vil den ha en viktig uformell ansvarliggjøringsfunksjon.

I tillegg kan man gjøre andre typer studier og utredninger, arrangere konferanser, drive med presseutspill og mye annet, som samlet sett vil få mye mer kunnskap og ansvarliggjøring ut av pengene enn å bare drive tradisjonelt evalueringsarbeid. Dette må folka i Førde finne ut av selv, men det er viktig at de får et bredt nok mandat og ikke bare får i oppgave å videreføre tradisjonelt evalueringsarbeid. 

Navnet bør også reflektere dette: Det bør ikke hete «evalueringsenhet», men få et nytt navn som reflekterer en større verktøykasse, en språklig oppmykning som også har skjedd i mange tilsvarende funksjoner i andre giverland.

Dette skjer ikke hvis UD blir alene med vurderingen

Jeg vet ikke om noen i UD hadde tenkt særlig mye så langt på hvordan en ny og bedre ansvarliggjøringsfunksjon kan se ut (beslutningen var jo åpenbart var motivert av noe annet), men jeg har en del erfaring med UD og ingen tro på at dette er vurdert nøye eller vil bli vurdert nøye i tiden framover. Departementet prioriterer andre oppgaver og kommer til å se lett på denne oppgaven.

Den gode nyheten er at det trengs kanskje ikke mye nytenking i UD. Som sagt har andre giverland gått foran, og det finnes sikkert et organisatorisk oppsett i det norske systemet som kan kopieres. 

Likevel kommer det antakelig ikke til å skje noe spennende på dette området, om UD får være alene med disse vurderingene. 

UD har verken interesse eller kapasitet til å jobbe for å styrke ansvarliggjøring av det overordnede nivået i norsk bistandsforvaltning. Snarere tvert imot: Rent organisatorisk har departementet alt å vinne på å videreføre dagens praksis, der bistand disponeres og forvaltes uten systematisk, faglig kompetent ansvarliggjøring.

Det vil heller ikke være særlig ytre press. Dette er ingen vinner i media. Vi har sterke organisasjoner i utviklings- og bistandsdebatten, men bare av to typer: Store bistandsorganisasjonene som stort sett bare snakker om egne kjepphester, og små, dyktige interesseorganisasjoner som jobber for helt bestemte politiske endringer. Ingen av dem kommer til å ta denne saken.

Med andre ord: Dette vil antakelig bare skje om noen på Stortinget tar initiativ, stiller spørsmål og tydeliggjør forventninger. Det bør være akkurat like interessant enten man er entusiastisk eller skeptisk til bistand: Alle vil jo at de pengene som bevilges, faktisk brukes godt, og man tar ikke stilling verken til bistandsbudsjettets størrelse eller innhold ved å konfigurere et oppsett for å sikre ansvarliggjøring av de som forvalter Stortingets midler. Hvem tar oppgaven?

Desentraliserte evalueringer

Noe som må være komfortabelt med å være i regjering, i motsetning til forvaltningen, er at regjeringen i noen typer «politiske» beslutninger kan unndra seg kravet om å presentere et systematisk og etterprøvbart beslutningsgrunnlag. (UD skiller seg fra andre departementer ved at de stort sett også klarer unndra seg dette, men det er en annen historie).

Pressemeldingen om å flytte minst 15 årsverk til Førde, inkludert evaluering av norsk bistand, er kanskje alt vi får vite om beslutningsgrunnlaget. Det er åpenbart (og eksplisitt) politisk motivert. Spørsmålet er om det i tillegg ble gjort en vurdering av konsekvensene for norsk bistand. Beslutningen ble ganske sikkert ikke tatt i konsultasjon med relevant ekspertise, og antakelig heller ikke drøftet med berørte ansatte eller arbeidslivets parter (nok en komfortabel del av å gjøre beslutning i regjering), noe arbeidstakerorganisasjonene antakelig kommer til å fortelle – fånyttes.

Men nå når beslutningen likevel er tatt: Her er noen vurderinger av de mulige konsekvensene. Se det som et bidrag til den systematiske, grundige vurderingen som ikke har skjedd.

Evaluering har en viktigere rolle i bistand enn de fleste andre forvaltningsområder, nedfelt i OECD på bakgrunn av tiår med erfaring. En prinsipiell grunn til denne forskjellen er at bistandens primære interessenter – sluttbrukerne – er langt borte og normalt ikke bidrar til ansvarliggjøring av beslutningstakere gjennom tilbakemelding og i ytterste instans gjennom demokratiske valg, som norske borgere kan. En mer praktisk begrunnelse er at bistand ikke gir samme mulighet til å følge på hva som skjer in real time på samme måte som i hjemlig forvaltning, der det er gode sjanser for at både beslutningstakere og borgere får vite det om politikk slår feil ut eller penger brukes på dårlige måter. I tillegg kommer en enorm kunnskapsutfordring knyttet til at ganske små fagmiljøer skal bidra til endring i mange ulike sektorer i mange land, uten noen sjanse til å ha all nødvendig kompetanse innomhus. De fleste store bistandsakører har derfor etablert mer eller mindre uavhengige evalueringsfunksjoner med det doble formål å bidra til kunnskapsproduksjon (læring) og å holde beslutningstakere ansvarlig.

I Norge har denne til nå vært lokalisert i kjelleren i Norads lokaler, underlagt Norads leder. Mange har stilt spørsmål ved om dette gir tilstrekkelig uavhengighet: Noen formelle instrumenter sikrer en viss autonomi, men Norads direktør – ansvarlig for forvaltning av store deler av bistanden – bestemmer hvem som leder evalueringsavdelingen, antallet ansatte og evalueringsbudsjettet.

For å starte optimistisk: Flyttingen kan kanskje kompensere for litt av den skaden som har skjedd norsk bistandsevaluering de siste årene, etter at Bård Vegar Solhjell overtok som Norads direktør. Den historien har flere faser, hvorav bare noe har vært i media før. Solhjell forstod tilsynelatende ikke viktigheten av kunnskapsproduksjon med ansvarliggjøring av beslutningstakere (accountability) som formål, framforhandlet i internasjonalt utviklingssamarbeid over tiår. Han forsøkte først å avvikle Evalueringsavdelingen, men måtte gi seg på halvveien. I praksis har han likevel gjort valg som effektivt har redusert (vingeklippet?) det som i fagfeltet regnes blant de viktigste kvalitetssikringsmekanismene innen bistand. Avdelingen fikk færre årsverk og mindre ressurser til evaluering – både i absolutte tall og særlig i lys av et raskt voksende bistandsbudsjett, lite intern oppmerksomhet, svekket intern status og mindre ekstern synlighet. Det er nok komfortabelt for en leder, for kunnskapsbasert ansvarliggjøring er ukomfortabelt, men skadelig for bistanden på sikt.

Samtidig brukte Solhjell ressurser på å bygge opp en ny kunnskapsavdeling, som også engasjerte seg i spørsmål om bistandsevaluering. I praksis var dette en klar omprioritering av bistandens mest begrensede ressurs (årsverk i forvaltningen): Reduksjon av uavhengig evaluering med mål om ansvarliggjøring, til fordel for økt satsing på kunnskapsarbeid direkte underlagt ledelsen og tilsynelatende skreddersydd for å støtte ledelsens ambisjoner. Dette kunnskapsarbeidet representerte et langt smalere kunnskapssyn (bare noen fakta har makta), hadde ingen rolle knyttet til ansvarliggjøring av beslutningstakere (bare en halvveis rolle i ansvarliggjøring av saksbehandlere og tilskuddsmottakere), og sammenfalt ganske dårlig med hva store deler av fagmiljøet i Norad mener er beste form for kunnskapsarbeid. Avdelingen har delvis lykkes i å ta over hegemoniet i spørsmål om bistandsevaluering, på bekostning av Evalueringsavdelingen som ikke bare var bistandens, men ett av det offentlige Norges beste evalueringsmiljøer. Den har bidratt til at Norad, lenge kjent blant de beste i klassen (og prisvinner) blant statlige institusjoner på evaluering, nå blir oppfattet som evangelist for bare en smal del av det spekteret av evalueringsarbeid som bistandsforvaltning (og all annen forvaltning) må bygge på: såkalte effektevalueringer, som gir veldig gode svar på veldig få spørsmål – og aldri vil bringe ledelsen i forlegenhet.

Her ligger en mulighet til positiv forbedring når evalueringsfunksjonen nå skal flyttes geografisk bort fra Norad. Kanskje kan anledningen brukes til å styrke bistandsevaluering både som en viktig og bredt orientert kunnskapsbase, og som et viktig instrument for ansvarliggjøring av beslutningstakere i bistand. Flyttingen gir mulighet til noen formelle endringer som sikrer at lederen for størstedelen av den bistanden som skal under evaluering, ikke kan svekke evalueringsarbeidet hvis det ikke passer inn i egne ambisjoner. Andre store giverland har mye bedre formelle oppsett enn Norge, og dette er en anledning til å se til hvilke av de løsningene som er mest lovende.

I tillegg vil flyttingen gjøre det enklere å synliggjøre ressursbruken til evaluering, både når det gjelder årsverk og evalueringsressurser. Dette har til nå vært nesten umulig å lese ut av budsjetter og rapporter, og gjort det vanskelig for Stortinget både å avdekke og påvirke prioriteringen. Flyttingen vil nok gjøre slik prioritering mer synlig.

Alt dette kunne ha vært oppnådd ved en hvilken som helst flytting, internt i Oslo eller til et annet sted i landet – og akkurat i denne saken er Bergen (eller omegn) en åpenbar kandidat fordi landets fremste uavhengige miljø på bistandsevaluering ligger der. Vil en evalueringsfunksjon for bistand klare å levere like godt i Førde?

Her har vi ganske konkret erfaring å bygge på. Den svenske regjeringen har nemlig prøvd omtrent nøyaktig det samme som regjeringen gjorde i dag, da SADEV- Institutet för utvärdering av internationellt utvecklingssamarbete ble etablert i 2006. 

SADEV ble lokalisert i Karlstad, med rundt fem ganger så mange innbyggere som Førde og under tre timers reisetid med komfortable tog både til Stockholm og Gøteborg.

SADEV ble nedlagt i 2012 fordi SADEV «har under en längre tid präglats av brister i effektivitet och kvalitet». Svenske regjeringens eget utredningsorgan, Statskontoret, hadde da gjort en evaluering (!) og konkludert med at «SADEV har inte getts tillräckliga förutsättningar att utföra det svåra uppdrag som myndigheten har. [...] SADEV:s lokalisering till Karlstad har bidragit till svårigheter att rekrytera och behålla kvalificerad personal. Det är viktigt för en myndighet som SADEV att ha hög kompetens, men också att ha närhet till centrala biståndsaktörer, forskning på området samt arenor där biståndsfrågor diskuteras. Statskontoret föreslår därför att regeringen överväger en annan lokalisering av myndigheten». Dette er hovedbudskapet i pressemeldingen, ikke noe jeg har søkt meg fram til i en lang rapport. Den samme forklaringen, at SADEVs svikt skyldes lokaliseringen, deles av nær sagt alle som jobber med bistand i Sverige og er godt kjent i internasjonale evalueringsmiljøer – og det tok meg et par minutter å finne ovenstående informasjon på internett. Derfor må vi selvsagt regne med at den norske regjeringen var kjent med dette og tok erfaringene i betraktning før de tok en beslutning som ser ut som en blåkopi.

I pressemeldingen legger Regjeringen i stedet vekt på de positive erfaringene fra flyttingen av Norec/Fredskorpset til Førde i 2018. Den flyttingen gikk bra, og det gir grunn til optimisme. Jeg fulgte prosessen fra sidelinjen, og tror suksessen kan forklares med uvanlig gode ledere (både under og etter flyttingen), dedikerte ansatte som var villig til å strekke seg langt i en overgangsperiode for at flyttingen skulle lykkes, mye ekstra pengebruk (ja, bistandsmidler), noe relevant kompetanse i Førde og dyktige folk som var villig til å flytte dit.

Om alle de samme suksessfaktorene vil være på plass denne gang, er usikkert. Det er dessuten mye vanskeligere å gjenta samme suksess samme sted. Vi vet ikke når mulighetene til å fylle Førde med spisskompetente fagfolk mettes. De nye funksjonene kommer delvis å konkurrere med Norec om de samme hodene, og det er klare grenser for hvor mange flere folk med spisskompetanse på bistand og/eller evaluering som har interesse og (familiære) muligheter til å flytte. De fleste med relevant kompetanse som har hatt særlig interesse for å bo i Førde på grunn av familie eller annet, har nok allerede søkt til Norec. Neste pulje av fagfolk er vanskeligere å overbevise, og alle som har den høye kompetansen som kreves, har eller får jobb andre steder om de vil.

Dessuten, selv om Norec også krever – og har! – spisskompetanse, trengs annen og i noen grad enda sjeldnere kompetanse for å evaluere bistand. For å lykkes, kreves et fagmiljø som samlet sett representerer en nødvendig kombinasjon: noen må ha lang praktisk erfaring fra bistandsforvaltning og/eller praktisk bistandsarbeid, andre må ha spisskompetanse på evalueringsmetode – helst basert på relativt nyere akademisk utdanning og forskning. Begge deler er relativt sjelden vare selv i større byer, og de fleste har allerede gode jobber og ser nok ikke for seg å flytte til Førde.

Nå når beslutningen er tatt, vil ikke pessimisme tjene saken – og pessimistene tok feil sist. Men jeg er ikke i tvil om at denne nye oppgaven er enda mer krevende enn å flytte Norec/Fredskorpset, og de som har tatt beslutningen har mye å bevise.

Første del av jobben er å bruke anledningen til en grundig overhaling av evalueringsfunksjonens mandat, struktur og ressurstilførsel. Hvis man viderefører dagens situasjon – en semi-uavhengig evalueringsfunksjon som kan vingeklippes av de beslutningstakerne som skal ansvarliggjøres (både i UD og Norad), med nedadgående ressurssituasjon tross tidenes raskeste vekst i bistandsbudsjettet, og uten særlig åpenhet om ressursbruk og viktige veivalg, er det vanskelig å se for seg at evaluering vil kunne få den viktige funksjon det er tiltenkt i kvalitetssikringen av norsk bistand. 

Tilbake etter en pause

Denne bloggen har ligget på is en stund fordi jeg hadde en stilling i Norad der jeg vurderte det som unaturlig å engasjere meg på selvstendig grunnlag i det offentlige ordskiftet. Det var en feilvurdering. Stillingen i Norad demonstrerte til fulle at det et enormt behov for at ansatte i offentlige institusjoner engasjerer seg i offentlig debatt og går offentlig ut med informasjon av offentlig interesse, i kraft av sin egen kompetanse – og ikke bare på måter som er ønsket av og avtalt med organisasjonens ledelse. 

Dette er så viktig at jeg sa opp stillingen i Norad for å engasjere meg fulltid for å forsøke å stable på beina et helt nytt initiativ so skal senke terskelen for at alle offentlig ansatte, ikke bare i Norad, bruker sin ytringsfrihet. Arbeidstittelen er "Anonyme byråkrater" og du får høre mer om det senere. 

Dette krever nesten all min tid, men jeg kommer til å bruke litt av fritiden til bistand og utviklingspolitikk, inspirert av siste års utvikling i den norske bistandsforvaltningen. Derfor vil det en gang i mellom komme noe tekst her på denne bloggen. Følg med!