Desentraliserte evalueringer

Noe som må være komfortabelt med å være i regjering, i motsetning til forvaltningen, er at regjeringen i noen typer «politiske» beslutninger kan unndra seg kravet om å presentere et systematisk og etterprøvbart beslutningsgrunnlag. (UD skiller seg fra andre departementer ved at de stort sett også klarer unndra seg dette, men det er en annen historie).

Pressemeldingen om å flytte minst 15 årsverk til Førde, inkludert evaluering av norsk bistand, er kanskje alt vi får vite om beslutningsgrunnlaget. Det er åpenbart (og eksplisitt) politisk motivert. Spørsmålet er om det i tillegg ble gjort en vurdering av konsekvensene for norsk bistand. Beslutningen ble ganske sikkert ikke tatt i konsultasjon med relevant ekspertise, og antakelig heller ikke drøftet med berørte ansatte eller arbeidslivets parter (nok en komfortabel del av å gjøre beslutning i regjering), noe arbeidstakerorganisasjonene antakelig kommer til å fortelle – fånyttes.

Men nå når beslutningen likevel er tatt: Her er noen vurderinger av de mulige konsekvensene. Se det som et bidrag til den systematiske, grundige vurderingen som ikke har skjedd.

Evaluering har en viktigere rolle i bistand enn de fleste andre forvaltningsområder, nedfelt i OECD på bakgrunn av tiår med erfaring. En prinsipiell grunn til denne forskjellen er at bistandens primære interessenter – sluttbrukerne – er langt borte og normalt ikke bidrar til ansvarliggjøring av beslutningstakere gjennom tilbakemelding og i ytterste instans gjennom demokratiske valg, som norske borgere kan. En mer praktisk begrunnelse er at bistand ikke gir samme mulighet til å følge på hva som skjer in real time på samme måte som i hjemlig forvaltning, der det er gode sjanser for at både beslutningstakere og borgere får vite det om politikk slår feil ut eller penger brukes på dårlige måter. I tillegg kommer en enorm kunnskapsutfordring knyttet til at ganske små fagmiljøer skal bidra til endring i mange ulike sektorer i mange land, uten noen sjanse til å ha all nødvendig kompetanse innomhus. De fleste store bistandsakører har derfor etablert mer eller mindre uavhengige evalueringsfunksjoner med det doble formål å bidra til kunnskapsproduksjon (læring) og å holde beslutningstakere ansvarlig.

I Norge har denne til nå vært lokalisert i kjelleren i Norads lokaler, underlagt Norads leder. Mange har stilt spørsmål ved om dette gir tilstrekkelig uavhengighet: Noen formelle instrumenter sikrer en viss autonomi, men Norads direktør – ansvarlig for forvaltning av store deler av bistanden – bestemmer hvem som leder evalueringsavdelingen, antallet ansatte og evalueringsbudsjettet.

For å starte optimistisk: Flyttingen kan kanskje kompensere for litt av den skaden som har skjedd norsk bistandsevaluering de siste årene, etter at Bård Vegar Solhjell overtok som Norads direktør. Den historien har flere faser, hvorav bare noe har vært i media før. Solhjell forstod tilsynelatende ikke viktigheten av kunnskapsproduksjon med ansvarliggjøring av beslutningstakere (accountability) som formål, framforhandlet i internasjonalt utviklingssamarbeid over tiår. Han forsøkte først å avvikle Evalueringsavdelingen, men måtte gi seg på halvveien. I praksis har han likevel gjort valg som effektivt har redusert (vingeklippet?) det som i fagfeltet regnes blant de viktigste kvalitetssikringsmekanismene innen bistand. Avdelingen fikk færre årsverk og mindre ressurser til evaluering – både i absolutte tall og særlig i lys av et raskt voksende bistandsbudsjett, lite intern oppmerksomhet, svekket intern status og mindre ekstern synlighet. Det er nok komfortabelt for en leder, for kunnskapsbasert ansvarliggjøring er ukomfortabelt, men skadelig for bistanden på sikt.

Samtidig brukte Solhjell ressurser på å bygge opp en ny kunnskapsavdeling, som også engasjerte seg i spørsmål om bistandsevaluering. I praksis var dette en klar omprioritering av bistandens mest begrensede ressurs (årsverk i forvaltningen): Reduksjon av uavhengig evaluering med mål om ansvarliggjøring, til fordel for økt satsing på kunnskapsarbeid direkte underlagt ledelsen og tilsynelatende skreddersydd for å støtte ledelsens ambisjoner. Dette kunnskapsarbeidet representerte et langt smalere kunnskapssyn (bare noen fakta har makta), hadde ingen rolle knyttet til ansvarliggjøring av beslutningstakere (bare en halvveis rolle i ansvarliggjøring av saksbehandlere og tilskuddsmottakere), og sammenfalt ganske dårlig med hva store deler av fagmiljøet i Norad mener er beste form for kunnskapsarbeid. Avdelingen har delvis lykkes i å ta over hegemoniet i spørsmål om bistandsevaluering, på bekostning av Evalueringsavdelingen som ikke bare var bistandens, men ett av det offentlige Norges beste evalueringsmiljøer. Den har bidratt til at Norad, lenge kjent blant de beste i klassen (og prisvinner) blant statlige institusjoner på evaluering, nå blir oppfattet som evangelist for bare en smal del av det spekteret av evalueringsarbeid som bistandsforvaltning (og all annen forvaltning) må bygge på: såkalte effektevalueringer, som gir veldig gode svar på veldig få spørsmål – og aldri vil bringe ledelsen i forlegenhet.

Her ligger en mulighet til positiv forbedring når evalueringsfunksjonen nå skal flyttes geografisk bort fra Norad. Kanskje kan anledningen brukes til å styrke bistandsevaluering både som en viktig og bredt orientert kunnskapsbase, og som et viktig instrument for ansvarliggjøring av beslutningstakere i bistand. Flyttingen gir mulighet til noen formelle endringer som sikrer at lederen for størstedelen av den bistanden som skal under evaluering, ikke kan svekke evalueringsarbeidet hvis det ikke passer inn i egne ambisjoner. Andre store giverland har mye bedre formelle oppsett enn Norge, og dette er en anledning til å se til hvilke av de løsningene som er mest lovende.

I tillegg vil flyttingen gjøre det enklere å synliggjøre ressursbruken til evaluering, både når det gjelder årsverk og evalueringsressurser. Dette har til nå vært nesten umulig å lese ut av budsjetter og rapporter, og gjort det vanskelig for Stortinget både å avdekke og påvirke prioriteringen. Flyttingen vil nok gjøre slik prioritering mer synlig.

Alt dette kunne ha vært oppnådd ved en hvilken som helst flytting, internt i Oslo eller til et annet sted i landet – og akkurat i denne saken er Bergen (eller omegn) en åpenbar kandidat fordi landets fremste uavhengige miljø på bistandsevaluering ligger der. Vil en evalueringsfunksjon for bistand klare å levere like godt i Førde?

Her har vi ganske konkret erfaring å bygge på. Den svenske regjeringen har nemlig prøvd omtrent nøyaktig det samme som regjeringen gjorde i dag, da SADEV- Institutet för utvärdering av internationellt utvecklingssamarbete ble etablert i 2006. 

SADEV ble lokalisert i Karlstad, med rundt fem ganger så mange innbyggere som Førde og under tre timers reisetid med komfortable tog både til Stockholm og Gøteborg.

SADEV ble nedlagt i 2012 fordi SADEV «har under en längre tid präglats av brister i effektivitet och kvalitet». Svenske regjeringens eget utredningsorgan, Statskontoret, hadde da gjort en evaluering (!) og konkludert med at «SADEV har inte getts tillräckliga förutsättningar att utföra det svåra uppdrag som myndigheten har. [...] SADEV:s lokalisering till Karlstad har bidragit till svårigheter att rekrytera och behålla kvalificerad personal. Det är viktigt för en myndighet som SADEV att ha hög kompetens, men också att ha närhet till centrala biståndsaktörer, forskning på området samt arenor där biståndsfrågor diskuteras. Statskontoret föreslår därför att regeringen överväger en annan lokalisering av myndigheten». Dette er hovedbudskapet i pressemeldingen, ikke noe jeg har søkt meg fram til i en lang rapport. Den samme forklaringen, at SADEVs svikt skyldes lokaliseringen, deles av nær sagt alle som jobber med bistand i Sverige og er godt kjent i internasjonale evalueringsmiljøer – og det tok meg et par minutter å finne ovenstående informasjon på internett. Derfor må vi selvsagt regne med at den norske regjeringen var kjent med dette og tok erfaringene i betraktning før de tok en beslutning som ser ut som en blåkopi.

I pressemeldingen legger Regjeringen i stedet vekt på de positive erfaringene fra flyttingen av Norec/Fredskorpset til Førde i 2018. Den flyttingen gikk bra, og det gir grunn til optimisme. Jeg fulgte prosessen fra sidelinjen, og tror suksessen kan forklares med uvanlig gode ledere (både under og etter flyttingen), dedikerte ansatte som var villig til å strekke seg langt i en overgangsperiode for at flyttingen skulle lykkes, mye ekstra pengebruk (ja, bistandsmidler), noe relevant kompetanse i Førde og dyktige folk som var villig til å flytte dit.

Om alle de samme suksessfaktorene vil være på plass denne gang, er usikkert. Det er dessuten mye vanskeligere å gjenta samme suksess samme sted. Vi vet ikke når mulighetene til å fylle Førde med spisskompetente fagfolk mettes. De nye funksjonene kommer delvis å konkurrere med Norec om de samme hodene, og det er klare grenser for hvor mange flere folk med spisskompetanse på bistand og/eller evaluering som har interesse og (familiære) muligheter til å flytte. De fleste med relevant kompetanse som har hatt særlig interesse for å bo i Førde på grunn av familie eller annet, har nok allerede søkt til Norec. Neste pulje av fagfolk er vanskeligere å overbevise, og alle som har den høye kompetansen som kreves, har eller får jobb andre steder om de vil.

Dessuten, selv om Norec også krever – og har! – spisskompetanse, trengs annen og i noen grad enda sjeldnere kompetanse for å evaluere bistand. For å lykkes, kreves et fagmiljø som samlet sett representerer en nødvendig kombinasjon: noen må ha lang praktisk erfaring fra bistandsforvaltning og/eller praktisk bistandsarbeid, andre må ha spisskompetanse på evalueringsmetode – helst basert på relativt nyere akademisk utdanning og forskning. Begge deler er relativt sjelden vare selv i større byer, og de fleste har allerede gode jobber og ser nok ikke for seg å flytte til Førde.

Nå når beslutningen er tatt, vil ikke pessimisme tjene saken – og pessimistene tok feil sist. Men jeg er ikke i tvil om at denne nye oppgaven er enda mer krevende enn å flytte Norec/Fredskorpset, og de som har tatt beslutningen har mye å bevise.

Første del av jobben er å bruke anledningen til en grundig overhaling av evalueringsfunksjonens mandat, struktur og ressurstilførsel. Hvis man viderefører dagens situasjon – en semi-uavhengig evalueringsfunksjon som kan vingeklippes av de beslutningstakerne som skal ansvarliggjøres (både i UD og Norad), med nedadgående ressurssituasjon tross tidenes raskeste vekst i bistandsbudsjettet, og uten særlig åpenhet om ressursbruk og viktige veivalg, er det vanskelig å se for seg at evaluering vil kunne få den viktige funksjon det er tiltenkt i kvalitetssikringen av norsk bistand.