Skolen i nordiske land har alltid hentet ideer og inspirasjon fra andre land. Velkjente navn er for eksempel Dewey, Pestalozzi, Montessori og Steiner. De nordiske landene hentet også erfaringer fra hverandre, sammenvevd som vi er, med felles språk og historie. De grundtvigianske ideene er blant annet nedfelt i vår felles tradisjon med folkehøgskoler. I tiårene etter krigen har også internasjonale organisasjoner blitt sentrale premissleverandører for skole- og utdanningspolitikk. UNESCO, som FNs organ for utdanning, kultur og vitenskap, har vært en viktig aktør, med en rekke initiativ, utredninger og prosjekter. Denne virksomheten fortsetter også i dag, blant annet med etablering av FNs 17 bærekraftsmål fra 2015, der Education for Sustainable Development (ESD) (på norsk: Utdanning for Bærekraftig Utdanning, ofte forkortet UBU^[2]), står sentralt. I de senere årtier har skole og utdanning også blitt sentralt for virksomheten til Verdensbanken og OECD, organisasjoner som i hovedsak har interessen knyttet til økonomisk utvikling, men der skole og utdanning er kommet stadig høyere på dagsorden. På regionalt nivå er det også en rekke viktige aktører. For Europa spiller Europarådet en viss rolle, men det er utvilsomt EU som er den viktigste aktøren. EU har store initiativ knyttet både til skolen, til høyere utdanning og til forskning og utvikling. Norge er ivrig deltaker i alle disse prosessene, og var blant de første som innførte et nytt gradssystem for høyere utdanning og andre tiltak, kjent som «Bologna-prosessen».

De ulike internasjonale organisasjonene har ulike begrunnelser og perspektiv for sine initiativ innen utdanning. På noen områder samarbeider de, mens det på andre områder er åpenbare interessekonflikter. Et dominerende trekk er utvilsomt at stadig flere land gjennomfører skolereformer som omtales som neo-liberale^[3] og med en styring som karakteriseres som New Public Management.

Det var imidlertid da OECD lanserte sitt PISA-prosjekt at internasjonale studier av læring i skolen virkelig fikk betydning. Siden publisering av den første PISA-undersøkelsen i desember 2001, har OECD blitt en dominerende premissleverandør for skoledebatt og -politikk. Men hvordan har det skjedd at én organisasjon på historisk kort tid har kunnet etablere en slik makt og innflytelse? I denne artikkelen vil vi se kritisk på OECDs PISA-prosjekt ‒ hvilke verdier og idealer som ligger til grunn, og hvordan denne makten utøves.

Internasjonale skolestudier og framveksten av PISA

Det vi i dag kjenner som systematiske internasjonale studier av kunnskaper og andre forhold i skolen, startet rundt 1960, da IEA (International Association for the Evaluation of Educational Achievement) ble etablert. IEA vokste ut av internasjonalt samarbeid innen UNESCO. Det var i stor grad forskere og forskningsmiljøer som sto bak denne utviklingen. I de første tiårene med IEA-studier var det ikke rangering av landene etter testskåre som var det sentrale, men andre sammenlikninger, knyttet til skolestruktur og -organisering, læreplaner, lærerutdanning, undervisningsmetoder og arbeidsforhold. Resultater fra IEA-studiene inngikk i både nasjonal skolepolitikk og internasjonal skoledebatt, men skapte stort sett ikke de store overskriftene i media.

Utover 1990-tallet fikk internasjonale studier av skolen stadig større innflytelse. Flere land kom med i arbeidet. Studiene øket i antall, de fikk bedre finansiering og de ble nærmere knyttet til landenes politiske myndigheter. En betegnelse for slike studier ble ILSA International Large-Scale Assessments ‒ altså internasjonale storskala-undersøkelser av elevers læring. Addey med flere skriver at «veksten i ILSA-studiene må forstås i lys av det skifte i testkulturen som skjedde på 1990-tallet både i OECD og IEA, etter press fra USA»^[4]. Dette presset fra USA gikk i stor grad ut på å få mer testing av kunnskaper, og at testene måtte baseres på felles normer og standarder.^[5] IEA, som tidligere i stor grad var drevet og styrt av forskningsinstitusjoner, endret også karakter. Nasjonale politiske myndigheter kom sterkere inn i styringen. Ved at myndighetene sto for finansiering av prosjektene, kunne de også påvirke og til dels bestemme forskningsprofilen og prioriteringene. I dag spiller norske myndigheter gjennom Kunnskapsdepartementet og Utdanningsdirektoratet en sentral rolle både innen IEA-studiene og OECDs PISA-prosjekt.

I mange land skaper de mange og godt finansierte storskala skoleundersøkelsene mange arbeidsplasser og et nokså lukrativt arbeidsmarked. I slike miljøer kan man lett utvikle en avhengighet og lojalitet til myndigheter og politiske aktører. Tildeling av store prosjekter skjer etter utlysning av anbud, og ikke i form av forskningssøknader som blir underlagt fagfellevurdering. I Norge har spesielt Institutt for Lærerutdanning og Skoleforskning (ILS) ved Universitet i Oslo blitt en sentral institusjon for å gjennomføre både internasjonale og nasjonale skoletester. Om lag 40 prosent av instituttets midler kommer fra slike eksterne oppdrag.

Fra midt på 1990-tallet ble IEA-studiene mer systematiske og rettet mot å måle faglige prestasjoner. Studiene fikk også et forskningsdesign som ble laget for å kunne identifisere endring over tid. Den første TIMSS-studien (1995) het Third International Mathematics and Science Study. (Man har senere beholdt betegnelsen TIMSS, men T står nå for Trends). TIMSS er siden 1999 blitt gjentatt hvert fjerde år, siste gang i 2019. Alle nordiske land er med i TIMSS, men i noe varierende grad, og ikke for alle de populasjonene som inngår i TIMSS.

TIMSS tester «tradisjonell» faglig kunnskap, slik man finner i skolen og dens læreplaner og lærebøker. Rapportene fra TIMSS er beskrivende og analytiske, og de har ikke noen spesiell utdannelsespolitisk agenda. TIMSS kommer i begrenset grad med klare konklusjoner om årsak og virkning, og testene forteller heller landene hva de bør gjøre. Den rådende tanken bak de tidlige IEA-studiene var at det var umulig å lage globalt gyldige mål for kvalitet, uavhengig av landets historie, kultur og utviklingsnivå. Det var også en respekt og forståelse for at landene kan ha ulike politiske og menneskelige verdier, mål og hensikter med skolen. Men på relativ kort tid skiftet denne tidsånden markant:

• Fram til midt på 1990-tallet:

I IEA, UNESCO og til og med OECD var det en grunnleggende filosofisk tvil knyttet til både muligheten for og gyldigheten av internasjonale målinger av faglige prestasjoner og resultater etter en felles norm.

• På 2000-tallet:

Filosofisk tvil og skepsis er blitt erstattet av statistisk skråsikkerhet og troen på gyldigheten av en universell test. OECDs internasjonale utdanningspolitiske rolle styrkes markant, mens IEAs, UNESCOs og til og med FNs rolle svekkes.

En konsekvens av dette skiftet i tidsånden var at skoledebatten etter hvert ikke lenger handlet om verdier, mål og mening, men ble redusert til «objektive» tall, statistikk, rangeringer og korrelasjoner. Skolens suksess handler nå om effektivitet og produktivitet. Det gjelder å bli «best i test», både for land, for kommuner, for skoler – og selvsagt også for den enkelte lærer og elev. Når man dyrker suksess og vinnere, har man dermed også definert de andre, kanskje de fleste, som tapere.

OECDs mandat er å bidra til medlemslandenes økonomiske vekst og utvikling i en global, fri markedsøkonomi. Forløperen til OECD var OEEC (Organisation for European Economic Cooperation), som ble etablert i 1948 som et instrument knyttet til Marshallhjelpen. Hensikten var å få Europa økonomisk på fote etter krigen samt å demme opp mot kommunismen som økonomisk og politisk system. I 1961 skiftet organisasjonen navn til OECD, som står for Organisation for Economic Cooperation and Development. Etter hvert utvidet OECD sitt mandat, og med årene kom også mange nye land med. OECD har utviklet seg til å bli en organisasjon som omfavner om lag 35 industriland, og alle disse landene deltar i PISA.

Med økende verdenshandel og med en stadig større betydning av produkter og tjenester basert på teknisk-naturvitenskapelig kunnskap og kompetanse økte også OECDs interesse for utdanning, spesielt innen de teknisk-naturvitenskapelige fagene. Den enorme innflytelsen til PISA hviler i stor grad på at PISA er OECD-regjeringenes felles prestisjeprosjekt. PISA er eid, styrt og finansiert av medlemslandene. Medlemmer i de mange faglige komiteene representerer ikke forskningsmiljøer, men de politiske myndighetene i medlemslandene. Om styringen av PISA skriver OECD at:

PISA Governing Board består av representanter fra OECDs medlemsland. […] Representantene utnevnes av lands regjeringer. […] The Board bestemmer prioriteringene og retningslinjer for PISA og sikrer at disse respekteres under gjennomføringen av undersøkelsen.^[6]

En sentral antakelse bak PISA er at dette er en test som kan predikere landets framtidige konkurranseevne i en globalisert markedsøkonomi: Høy skåre på PISA presenteres som et gyldig mål for framtidig konkurranseevne. Vi ser denne sammenhengen helt eksplisitt uttalt både av PISA/OECD selv og i de land som deltar. Slik står det i forordet til PISA 2010-rapporten:

In a global economy, the yardstick for success is no longer improvement by national standards alone, but how education systems perform internationally. The OECD has taken up that challenge by developing PISA, which evaluates the quality, equity and efficiency of school systems in some 70 countries that, together, make up 90 percent of the world economy.^[7]

Mange har beskrevet og analysert hvordan disse debattene har vært ført innen OECD. Her følger noe av historien, basert på to personer som begge var sentrale i denne utviklingen, den ene Kjell Eide fra Norge, den andre Ulf P. Lundgren fra Sverige.

Kjell Eide (1925‒2011) var sosialøkonom og en pionér når det gjaldt å løfte fram sammenhengen mellom utdanning og økonomisk utvikling. Han var «Norges mann i OECD» i nærmere 30 år, og var sentral i OECDs arbeid med utdanning fra starten i 1961. Han var også statssekretær i en Arbeiderpartiregjering. Etter dette var han vitenskapelig rådgiver for skiftende norske regjeringer, inntil han gikk av med pensjon i 1995. Kjell Eide var sentral i utvikling av tankegodset i OECD, men ble etter hvert kritisk til de tanker og ideer som kom til å dominere internasjonalt, spesielt i OECD. Hans siste bok het OECD og norsk Utdanningspolitikk. Der gir han et innblikk i hva som skjedde internt i OECD, blant annet slik:

Utover 80-årene gikk særlig USA mer aggressivt inn for å få konservative politiske flaggsaker opp på OECDs utdanningspolitiske dagsorden […] -Nye slagord kom etter tur: kvalitet i utdanningen, fritt skolevalg, nye finansieringskilder, næringslivskontakt, «accountability», effektiv ressursbruk og prestasjonsbelønning.

Ambisjonen kan være at OECD tar på seg ansvaret for internasjonale undersøkelser, på regjeringenes vegne. Dette vil gjøre OECD til en sterk politisk maktfaktor, og bidra til en utdanningspolitisk «harmonisering» som vil overgå alt vi hittil har kunnet frykte fra EU.^[8]

Dette skrev Eide altså rett før OECD i 1997 startet planleggingen av PISA-prosjektet.

Etter Kjell Eide ble den svenske professoren i pedagogikk, Ulf P. Lundgren, en nøkkelperson i OECDs arbeid med utdanning. Lundgren var toneangivende i internasjonal forskning knyttet til utdanning, og han sto blant annet bak OECD-evalueringer av norsk skole på 1970- og 1980-tallet. Han ledet Skolverket 1991‒2000 (Sveriges parallell til Utdanningsdirektoratet), senere også Vetenskapsrådet, det svenske forskningsrådet. Lundgren var sentral i forarbeidet med PISA fram til han trakk seg i 2000. I flere sammenhenger har han skrevet om forarbeidene til PISA, og hvordan det hele utviklet seg.^[9]

I sitt bidrag til den norske boken PISA, Sannheten om skolen? avslutter Lundgren slik:

Min forhoppning var at med denna typ av test skulle diskussionen om kunnskapsresultater vidgas från at uppfatteas som orsakade bara av skolan till också att förstås som en del av en vidare utbildnings- och kulturpolitik. Sällan har väl en förhoppning så grusats.

[…] Styrningen av utbildning riktades allt mer mot resultat og mindre mot mål. Sextio- och sjuttitalets likvärdighets-frågor förvandlades til retorik om valfrihet och kvalitet. E i engelska equality vittrade bort – equality blev quality. Internationella kunnskapsprövningar var nu internationella kompetensprövningar, vilket mediala uttryck byggde på metaforer från idrotten. Varje ansvarsfull utbildningsminister/skolminister/kunnskapsminister förklarade att vid nästa PISA-mätningen skulle landet på pallplats.^[10]

I en annen bok konkluderer Lundgren slik:

PISA er ikke lenger et komparativt prosjekt. PISA er en global modell for styring av landenes skoleutvikling. […] PISA er et eksempel på hva man i en globalisert verden ser som svar på hva som skal undervises, hvem som skal utdannes og hvordan læringsresultatene skal bli vurdert og brukt for kontroll og politisk styring.^[11]

Hva PISA måler – og ikke måler

Det er viktig å kjenne noen grunntrekk ved selve PISA-testen for å kunne vurdere hvilken vekt man skal gi den. PISA uttrykker helt klart at de ikke tester skolekunnskaper, og at de ikke forholder seg til landenes læreplaner. Likevel presenterer PISA sine resultater som et universelt gyldig mål for kvaliteten på et lands skolesystem.

Hvis man skal se konkret på hva PISA hevder å måle, er det rimelig å ta utgangspunkt i hva OECD selv skiver om dette. Allerede i 1999, før den første PISA-testingen i år 2000, ble det som en programerklæring formulert slik:

Hvor godt er ungdommen forberedt til å møte framtidas utfordringer? Kan de analysere, resonnere og kommunisere sine ideer effektivt? Har de evne til å fortsette å lære hele livet? Foreldre, elever, offentligheten og myndighetene har behov for å vite dette.^[12]

Akkurat de samme ordene er gjentatt i senere PISA-rapporter. Hvis PISA virkelig klarer å måle alt dette, er det lett å forstå hvorfor PISA har en enorm innflytelse. Det framstilles som om PISA gir en prognose for framtiden til så vel de enkelte individer, som for landets økonomi og skolesystem. Hvis dette hadde vært forskningsspørsmål i en søknad om forskningsmidler, hadde søknaden neppe passert en fagfellevurdering. Men PISA er ikke noe forskningsprosjekt, det er som nevnt et politisk vedtatt, finansiert og styrt prosjekt.

Ved utviklingen av PISA-prosjektet har man foretatt en rekke helt avgjørende valg, og ikke minst bortvalg: Først og fremst har man valgt ut tre sentrale fagfelt, og derved valgt vekk alle andre fag. PISA-fagene er lesing, matematikk og naturfag; ingen andre fag eller temaer er med. Her finner man ikke noe om historie, geografi, samfunnsfag, fremmedspråk, kunst, musikk, litteratur, praktiske eller estetiske fag, etikk, filosofi, og så videre. Likevel presenteres og forstås resultatene som gyldige mål for hele skolesystemets kvalitet. Fag som ikke er PISA-fag, kan lett skyves til side når høy PISA-skåre oppfattes som det gyldige målet for skolens kvalitet.

Valget av PISA-fagene er ingen tilfeldighet, men en følge av OECDs mandat om å fremme økonomisk utvikling. Også lenge før PISA var det spesielt teknisk-naturvitenskapelige fag som ble gjenstand for OECDs interesse. Senere har PISA utvidet sitt innhold til også å finne plass til et fjerde fagområde, nemlig økonomi (financial literacy).^[13] Selv for de fagene som faktisk er med i PISA, er det bare enkelte områder som er tatt med. For eksempel er naturfag et eksperimentelt fag, der forsøk, eksperimenter og feltarbeid er viktig. Ikke noe av dette testes i PISA, selv om det er sentralt i nær sagt alle lands læreplaner. Det viser seg for øvrig at PISA-skåre korrelerer negativt med bruk av eksperimenter og forsøk, og med at elevene utvikler og tester hypoteser,^[14] noe som nettopp er en sentral del av en autentisk undervisning i naturfag. En slik negativ sammenheng er kanskje ikke overraskende, i og med at PISA-testen er en tekstbasert «skrivebordstest».

Veien fram til den testen som elevene møter er lang og møysommelig. På hvert av de mange trinnene må det tas viktige beslutninger. Store deler av arbeidet blir lagt ut på anbud og gjennomføres av eksterne institusjoner, dels tilknyttet forskningsinstitutter, dels kommersielle aktører som Pearson og McGraw-Hill. Hele operasjonen er kostbar, har en komplisert logistikk og involverer et stort antall aktører fra ulike land og ulike fagfelt.

Rammeverket for PISA-testingen

Etter at man besluttet å la PISA omfatte de tre fagområdene lesing, matematikk og naturfag, var neste trinn fram til en PISA-test å lage et begrepsmessig rammeverk for testingen. Dette blir omtalt som Assessment and Analytical Framework, der fagenes sentrale sider blir systematisert og behandlet i detalj. Man kan oppfatte dette som en læreplan, et «curriculum». Dette arbeidet blir gjennomført av faglige komiteer for de ulike fagområdene. I disse sitter det dyktige og internasjonalt anerkjente fagfolk. Det kan være viktig å være klar over at rammeverket for PISA har endret seg i løpet av de syv rundene med PISA-testing som har funnet sted. Blant annet har selve definisjonen av for eksempel «science literacy» endret seg betydelig. Da blir det problematisk å presentere endringer over tid: Skal man måle forandringer, kan man ikke forandre det man måler. I PISA-rapportene tar man visse forbehold i den løpende teksten, men grafisk framstilles kurver over trender som om man hele tiden har målt det samme.

Rammeverkene for PISA-testingen er interessante og kan være gode kilder for skoledebatt og læreplanarbeid i ulike land. Det er imidlertid besynderlig at verken FNs Bærekraftsmål (Sustainable Development Goals) eller FN-initiativene for bærekraftig utvikling ESD: Education for Sustainable Development er nevnt, selv i det hittil seneste rammeverket for PISA-testing.^[15] Bemerkelsesverdig er det også at begreper som human rights knapt er nevnt i dette omfattende PISA-rammeverket for testing.

Fra rammeverk til PISA-oppgaver

Når rammeverket for PISA-testingen er klarlagt, skal selve testen lages. Ingen test er bedre enn de oppgavene som er gitt. Også her blir det reist betydelig kritikk. Kritikken er imidlertid ikke helt enkel å fremføre, først og fremst fordi oppgavene i PISA er hemmelige (fordi mange av oppgavene skal brukes på nytt). En åpen, offentlig debatt om oppgavene blir derved umulig. Etter hvert er imidlertid mange oppgaver blitt tilgjengelige, og flere av disse har fått betydelig kritikk.^[16]

I de tekniske rapportene^[17] beskrives i detalj hvordan prosessen bak konstruksjonen av selve testen foregår. Prosessen er lang og til dels komplisert, men her er noen hovedtrekk: Til grunn for oppgavene ligger som nevnt det rammeverket for testing som er utviklet av PISAs faggrupper etter anvisninger fra den politisk oppnevnte styringsgruppa. På dette grunnlaget sender noen OECD-land inn forslag på oppgaver, som så blir vurdert. Oppgaver som passerer denne første screeningen, blir prøvd ut i en omfattende pilottesting i alle OECD-land året før selve testingen. Et viktig premiss er at oppgavene må fungere rettferdig, altså slik at ingen land eller kulturer blir favorisert. Fra et statistisk synspunkt er dette helt nødvendig, men det medfører at oppgavene i liten grad blir relevante eller dagsaktuelle i de enkelte land. Det statistiske kravet om en fair test gjør at PISA-oppgavene blir dekontekstualisert. I PISA finner man for eksempel ingen ting om snø og is, om nordisk flora eller fauna, eller om temaer som er på dagsorden i elevenes lokale eller nasjonale sammenheng. Mens nær sagt alle som arbeider med å forbedre skolens naturfag (og andre fag) er opptatt av å knytte faget til elevenes kontekst,^[18] blir kvaliteten i undervisningen altså målt med et instrument som per definisjon må unngå akkurat dette.

Det blir også foretatt en rent måleteknisk (psykometrisk) vurdering av hvordan de enkelte oppgavene fungerer i de ulike land. Oppgaver som ikke fungerer statistisk tilfredsstillende, blir ekskludert fra den endelige testen. Denne prosessen er svært komplisert, og er beskrevet i de tekniske rapportene.^[19] Oppgaver, som er «just school science», altså typiske skoleoppgaver i naturfag, blir også fjernet. PISA hevder at oppgavene skal handle om «real life challenges», og at oppgavene er basert på «autentiske tekster». Bak dette ligger antakelsen om at «real life»-utfordringer for 15-åringer i for eksempel Mexico, USA, Korea og Norge er de samme. Man forutsetter også at en tekst som er «autentisk» i for eksempel Japan, er like autentisk i andre land.

I løpet av de 7 PISA-rundene som til nå er gjennomført, er det mange oppgaver som nå er «frigjort» og er offentlig tilgjengelige. Dette er oppgaver som ikke vil bli brukt i framtidige studier. Når man ser på de PISA-oppgaver som er publisert, kan det være vanskelig å avgjøre hvilket «fag» oppgaven tilhører. Oppgavene har det til felles at de i stor grad dreier seg om å forholde seg til tekster og informasjon gitt gjennom tabeller, grafer og figurer. Både selve oppgaveteksten og spørsmålsformuleringen har omfattende tekster og instruksjoner. Både matematikk- og naturfagsoppgavene er i stor grad annerledes enn de elevene i de fleste land møter i disse fagene på skolen. Man kan hevde at PISA i stor grad er en språk- og lesetest. Korrelasjonene mellom elevenes skåre på de tre PISA-områdene er 0,77‒0,89 i nær sagt alle land.^[20] Dette er ekstremt høy korrelasjon, og er et tegn på at de tre PISA-fagene i hovedsak måler «samme ting»: lesekompetanse. En slik antakelse støttes også av at kjønnsmønstret for PISA-resultatene er annerledes enn det man ofte finner i andre skoletester, både nasjonalt og internasjonalt. I PISA er det i nesten alle land jentene som presterer høyest, også i matematikk og naturfag. Og nær sagt alle elever som skårer høyt på lesing, skårer omtrent like høyt på matematikk og naturfag.

Oppgavetekst, språk og oversettelse

Det er mange utfordringer knyttet til å oversette oppgavene fra ett språk til et annet. Her har PISA lagt opp til et omfattende regelverk og kontrollregime for at alle detaljer skal gjøres riktig. Men verken poesi eller prosa kan oversettes «riktig» fra ett språk til et annet ved hjelp av presise regler. Fordi de tre skandinaviske språkene er svært like, er det lett å foreta sammenlikninger av oversettelsene. Nokså enkle stikkprøver viser at det til og med mellom disse oppgavene finnes store ulikheter. I en oppgave om kloning (sauen Dolly) er oppgavene blitt ulike på de tre språkene.^[21] Og i en oppgave om «Løping i varmt vær» er det engelske nøkkelordet «dehydrated» oversatt med «dehydrert» på dansk og norsk, mens det er oversatt til «uttorkad» på svensk. Ved å bruke et dagligord som uttørking i stedet for fagtermen dehydrering blir oppgaven utvilsomt mye enklere og mindre abstrakt.

Margareta Serder går i sine ph.d.-arbeider i detalj på hvordan de svenske og danske oppgavene er ulikt oversatt, og hvordan ulik ordbruk forstås og misforstås av elever.^[22] I hennes studier er det kollisjonen mellom fagspråk og dagligspråk som er det sentrale. En mer omfattende språklig analyse av oppgavene på tvers av ulike kulturer, både asiatiske og vestlige språk, ville ha vært svært interessant. Men spørsmål knyttet til PISA-oppgavenes faglige innhold, språk og oversettelser er nokså lite utforsket.

Fra PISA-test til PISA-skåre

Gjennom den kompliserte prosessen med å utprøve og utvikle oppgaver ender man opp med om lag 10 timers testmateriell. Men hver enkelt elev skal bare ha en to-timers test. For å få til en bredere dekning av oppgaver, bruker man et forskningsdesign der man i hvert testhefte bare har med om lag 20 prosent av oppgavene. Man kaller dette for «multiple-matrix-sampling», en type design som også brukes i andre internasjonale tester, som for eksempel TIMSS. Det gir muligheten for å dekke en mye større del av det fagstoff og de kompetanser man har i rammeverket. Samtidig kan man ikke gi noen PISA-skåre for den enkelte elev eller skole. Men på grunnlag av elevens svar på spørreskjemaet, kan man beregne skåre for hele populasjonen eller for del-populasjoner.

Veien fra den enkelte elevs svar på testen til den PISA-skåre som blir brukt i analysene er både komplisert og kontroversiell. Selv folk med skolering i statistikk har vanskelig for å se inn i de detaljer som fører fram til en publisert samlet PISA-skåre for en populasjon. I data-analysene brukes såkalt Item Response Theory og Rasch-modellering. Den danske professoren Svend Kreiner har spesiell ekspertise i Rasch-statistikk. Han påviser at Danmark kan havne på alt fra nummer 2 til 42 på rangeringen ved bruk av denne statistikken.^[23] Kreiners metodekritikk er ikke tilbakevist. Den har fått en viss politisk oppmerksomhet i Danmark, der selv ledende politikere er blitt kritiske til å bruke PISA-resultater i skoledebatten.

Den resulterende PISA-skåre er statistisk «normalisert» til å ha en middelverdi på 500 og et standardavvik på 100, basert på fordelingene i OECD-landene. Denne normaliseringen ble for hvert av de tre fagfeltene lesing, matematikk og naturfag satt første gang dette faget var hovedfaget i PISA-testen. (For lesing ble standardåret satt i PISA 2000, for matematikk i PISA 2003 og for naturfagene i PISA 2006.) En slik normalisering er nødvendig for at PISA skal nå et hovedmål, nemlig å kunne se på trender, altså utvikling over tid. For eksempel ble det internasjonale snittet for naturfag satt til 500 i PISA 2006, mens det i PISA 2015 var falt til 493. Et land som skåret 500 i begge disse rundene, ville altså kunne klatre på rangeringene av land uten å ha hatt framgang. Dette var tilfellet med Norge, der de politiske myndighetene i Høyre-regjeringen både i 2015 og i 2018 feiret det de omtalte som en suksess selv om elevene hadde samme resultat som i «skandaleåret» 2000. Den påståtte «framgangen» ble forklart ved at Kunnskapsløftet, som Høyre hadde initiert, hadde virket etter hensikten.

Med god grunn kritiserer forskere PISA for at de underkommuniserer og helt ignorerer usikkerheten i de publiserte PISA-skårene. Det er også vanskelig å gå beregningene kritisk i sømmene, blant annet fordi de tekniske rapportene først blir publisert mer enn ett år etter at resultater er publisert.^[24]

Motivasjon og test(u)villighet: En kilde til usikkerhet

PISA-testen er som nevnt anonym, oppgavene samles inn i etterkant og blir aldri diskutert. Det gis ingen tilbakemeldinger, verken til elevene, klassen eller skolene. I så måte er testen også en test på elevenes og skolens lojalitet og vilje til å adlyde autoritet. Det kan være grunn til å antyde at 15-åringer i ulike land og kulturer vil forholde seg ulikt til en slik øvelse. Femtenåringer, kanskje spesielt gutter, i Skandinavia er neppe like lojale, lydige og autoritetstro som femtenåringer i land som topper PISA-rangeringene, for eksempel Japan, Korea, Hong Kong og Singapore. En ulikhet i testvillighet vil selvsagt ha stor påvirkning på de gjennomsnittverdier, som blir beregnet og publisert.

To undersøkelser foretatt av den svenske avisen Dagens Nyheter underbygger antakelsen om at det er klare kulturforskjeller i måten respondentene forholder seg til PISA-testen på. I den første undersøkelsen dokumenterer Dagens Nyheter både gjennom datakjøring og intervjuer at mange svenske elever ikke presterte sitt beste på PISA. Testen er tidkrevende, anonym og samme semester har «PISA-elevene» hele 12 nasjonale eksamener og tester. Alle disse testene er tellende for dem, men det er ikke PISA-testen. Dagens Nyheter påviser at mange elever ikke brydde seg om å besvare PISA-testen på en skikkelig måte.

I den andre undersøkelsen analyserte Dagens Nyheter internasjonale PISA-data der elevene ble bedt om å vurdere sin egen innsats på PISA, for deretter å anslå hvor stor innsats de ville hatt dersom prøven var tellende for karaktersetting. I de fleste land sier elevene at de ville hatt noe mer innsats dersom PISA-testen var tellende for dem, altså at den var en såkalt «high stakes»-test. Det er ikke spesielt oppsiktsvekkende. Det interessante er snarere hvor stor forskjellen mellom de to svarene er. Her viser det seg at de svenske elevene er de som har størst differanse mellom de to vurderingene: «Av alla länder i Pisa-undersökningen var Sverige det land där eleverna uppgav att de underpresterade mest, jämfört med om testet hade påverkat betygen.»^[25]

Det framgår også at motivasjonen for å besvare PISA-testen hadde sunket over tid, noe som kanskje kan forklare noe av den tilbakegangen som svenske elever har vist på PISA. Det er interessant at også norske og danske elever ligger nesten på samme verdi som Sverige (nr 4 av de 62 landene). Også de norske og danske elevene «underpresterer» altså på PISA.

Globaliseringen av utdanningssektoren

Til tross for alle disse usikkerhetsmomentene ved PISA-testen og fortolkningene av resultatene av den har OECDs testregime fått enorme konsekvenser for utdanningssektoren:

PISA er i realiteten en historie om hvordan internasjonale sammenlikninger har globalisert utdanningspolitikken, noe vi tidligere har oppfattet som landenes eget anliggende.^[26]

Dette er de første ordene i en TED-talk^[27] der Andreas Schleicher, lederen av PISA, presenterer hva denne studien egentlig dreier seg om. Han har helt rett: PISA har globalisert skolepolitikken, og nasjonal skolepolitikk blir i høy grad formet av PISA. Schleicher er direktør for OECDs Directorate of Education and Skills. Han leder ikke bare PISA, men en rekke andre programmer og initiativ i regi av OECD. Til sammen dekker disse studiene hele befolkningens kompetanser og ferdigheter fra barnehage til pensjonsalder. OECD har utviklet indikatorer, rangeringer og statistikk som legges til grunn for utforming av politikk i mer enn 60 land. Skal vi tro hva han sier, er OECD blitt en nærmest global eneleverandør av premisser for skole og utdanningspolitikk.

I Kim Helsvigs bok Kunnskapsdepartementets historie 1945‒2017 og i Harald Thuens bok Den norske skolen – utdanningssystemets historie beskrives denne internasjonale påvirkningen i detalj.^[28] Når de periodiserer utdanningspolitikken i de siste tiårene, bruker de overskrifter som kunnskapens konkurransearena, konkurranseskolen, mål- og resultatstyring, nykonservatisme og nyliberalisme. Sentralt i både Helsvigs og Thuens historieframstilling står «PISA-sjokket» som rammet nasjonen 4. desember 2001. I sluttordene i sin bok spør Thuen, nærmest retorisk: «Er skolen mer styrt av EU og OECD enn av Kunnskapsdepartementet?»^[29]

Pasi Sahlberg er en sentral forsker og aktør i finsk skolepolitikk.^[30] Han argumenterer for at PISA er blitt et instrument i en politikk som han kaller GERM: Global Educational Reform Movement. Dette innebærer en skolepolitikk preget av økt konkurranse, standardisering av undervisning, målstyrte læreplaner, testing og karakterer. Det dreier seg om en test-basert «accountability» (ansvarliggjøring) med rangering av skoler og lærere etter testresultater og prestasjonsbasert lønn for lærere. Skole og utdanning blir omtalt med markedsterminologi, og det innføres reformer som truer den offentlige, enhetlige skolen. Sahlberg skriver om situasjonen i Norden: «Finland has remained immune, but other Nordic countries have moved to adopt policies that are close to GERM.»^[31]

I analyser av internasjonal utdanningspolitikk de siste tiår er hovedperspektivet neoliberalisme og New Public Management.^[32] Det samme gjelder også studier av norsk utdanningspolitikk.^[33] Etter at OECD lanserte sitt PISA-prosjekt ved årtusenskiftet, har OECD blitt den klart dominerende internasjonale aktøren når det gjelder å legge premissene for skolepolitikken, ofte i et samspill med Verdensbanken, mens UNESCO og FN-systemet er trengt i bakgrunnen.

Hvordan PISA-sjokket fikk konsekvenser for skolen

I boka Sjokkdoktrinen hevder Naomi Klein at det som kan oppfattes som sjokk eller kriser kan bane vei for politiske inngrep som ellers ikke ville vært mulige. Slike tilstander fører ofte til reformer til fordel for profitører av det frie marked, hevder hun.^[34]

Det var Kristin Clemet, utdannings- og forskningsminister i perioden 2001‒2005, som ble den virkelig store brukeren av data og analyser som kom fram gjennom PISA og de andre internasjonale undersøkelsene. Da de første PISA-resultatene ble lagt fram 4. desember 2001, hadde hun akkurat startet som minister. På pressekonferansen var hun klar og direkte. Overskriften over to sider i Dagbladet var slik: «Norge er skoletaper. Hermed er det solid dokumentert». Og Clemet utdypet: «Dette er skuffende, nesten som å komme hjem igjen fra et vinter-OL uten en eneste norsk medalje. Og denne gangen kan vi ikke skylde på at finnene er dopet.»

Alle avisene fulgte opp med hele forsider med dette budskapet. Kritiske motstemmer, forbehold eller nyanseringer kom ikke fram. Faktum var at Norge lå i midtsjiktet blant de rike OECD-landene i alle tre fag, en posisjon vi for øvrig har hatt i alle de PISA-rundene som nå er gjennomført. Denne posisjonen midt i hovedfeltet ble umiddelbart fortolket og presentert som å være en «skoletaper».

Denne kraftfulle lanseringen fikk den ønskede effekten. «Alle» skjønte at norsk skole var i krise og at «noe måtte gjøres». Retorikken var ikke noen tilfeldighet, men et godt gjennomtenkt utspill fra Kristin Clemet. Dette framkommer tydelig i den framstilling av norsk utdanningspolitikk som hennes statssekretær Helge Ole Bergesen ga i sin memoarbok Kampen om kunnskapsskolen. Denne boka skrev han, til dels i samarbeid med Clemet og i vi-form, rett etter at de forlot regjeringskontorene. Boka er på mange måter en bedre primærkilde til norsk skolepolitikk enn stortingsmeldinger og andre offisielle dokumenter, for her fortelles det i direkte og usminket form om taktikk, strategi og retorikk. Denne boka er velskrevet og velinformert. Og den er befriende ærlig. Tidlig i boka, under overskriften «Et nytt århundre og en ny skoleepoke: PISA-sjokket», skriver Bergesen nærmest euforisk om pressekonferansen der PISA ble lansert. Så konkluderer han:

Derved var scenen satt for det store norske oppgjøret om kunnskap i skolen. […]
For oss som akkurat hadde overtatt den politiske ledelsen i Utdannings- og Forskningsdepartementet, ble PISA-resultatene en «flying start».^[35]

Han følger opp med å beskrive hvordan seieren om opinionen ble sikret.

Med PISA-undersøkelsen ble debattklimaet endret brått, radikalt og ugjenkallelig. Sviktende ferdigheter og middelmådige resultater var ikke lenger løse påstander fra høyrefolk på valgkamp og aldrende lektorer i Aftenpostens spalter.^[36]

Han forteller også hvordan all motstand og kritikk ble nedkjempet.

Alt ble tilbakevist, og etter hvert ble det stadig færre som fremførte usaklige innvendinger. Det viste seg umulig å ignorere den internasjonale fagekspertisen som sto bak fremgangsmåten og analysen av resultatene.^[37]

Etter hvert ble det nesten umulig å fremme kritikk i offentlig debatt. Forbehold og nyanseringer ble raskt stemplet som bortforklaringer, eller at man «egentlig» var motstander av faglighet og kunnskap i skolen. Elendighetsbeskrivelsen hadde slått rot som sannheten om norsk skole, og selv vitenskapsjournalister (som Bjørn Vassnes) og forfattere (som Knut Faldbakken) begynte å hevde at norsk skole var på u-lands-nivå ‒ uvitende om at ingen slike land deltok i PISA.

Men suksessen ble nesten litt for stor, også for Clemet/Bergesen i KUF, spesielt etter at PISA 2003 viste en ytterligere svak nedgang for Norge. Det er interessant å lese Bergesens refleksjoner knyttet til katstrofemeldingene om skolen:

Fra en politisk synsvinkel ble imidlertid dette litt for mye av det gode (sic.). […]
Etter hvert ble det negative inntrykket så dominerende at det truet med å paralysere dem som i praksis kan skape forbedring i skolen – nemlig de 100 000 lærerne. Hvordan skulle de klare å holde motet opp og motivere seg for en ny reformprosess når mediene stadig var fulle av dårlige nyheter om skolen? […] Det var helt nødvendig å balansere budskapet […] Det ble også viktig å velge de riktige ordene når analysene om kunnskapssvikt skulle kommenteres. Vi bestemte oss for å bruke uttrykket «middels gode» resultater, ikke «middelmådige».^[38]

Da Høyre i 2005 forlot regjeringskontorene, hadde de, med bred politisk oppslutning i Stortinget, lagt grunnlaget både for en ny skolereform, Kunnskapsløftet, og for et «kvalitetssikringssystem» for skolen, etter hvert kjent som nasjonale prøver. De andre partiene fulgte med på denne ferden, og den rød-grønne regjeringen som fulgte i de kommende åtte årene, med SV i ministerposisjon, fulgte i hovedsak opp de planene som Clemet hadde lagt.

Politikere hevder ofte at PISA ikke har noen innflytelse på den skolepolitikken de fører. Men OECDs egne analyser viser noe annet. Den ideologiske og politiske innflytelsen til PISA er grundig dokumentert gjennom OECDs egen gjennomgang og evaluering. I sammendraget heter det at:

PISA er blitt en nesten global standard, og brukes nå i mer enn 65 land […]. PISA er blitt akseptert som et pålitelig instrument og målestokk for elevens prestasjoner i hele verden, og PISA har innflytelse på skolereformer i de fleste deltakende land.^[39]

Denne omfattende rapporten bygger på forskning, offentlige dokumenter, intervjuer og egne spørreskjemaer til sentrale myndigheter i deltakerlandene. Rapporten oppsummerer sine funn ved en rangering av land etter graden av innflytelse fra PISA på landets skolepolitikk. Så hvor mye har PISA ifølge rapporten påvirket de nordiske landenes skolepolitikk? Danmark ligger svært høyt på denne rangeringen, nokså tett fulgt av Sverige og Norge. For Danmark er det påført «extremely» for å karakterisere den politiske innflytelsen av PISA, mens både Sverige og Norge karakteriseres ved «very». Interessant er det også at rapporten merker seg at selv høyt-presterende PISA-land som Korea og Japan topper lista over land som har innført reformer som respons på PISA. For eksempel hadde Japan planlagt en skolereform som skulle minske eksamens-trykket og stofftrengselen i skolen. Men denne reformen ble reversert da Japan falt noe på PISA-rangeringen i 2003. Den politiske ledelsen mente at en slik reform kunne svekke landets PISA-plassering, så de våget ikke å gjennomføre den. I stedet økte de pensum i skolen med 20‒30 prosent.^[40]

Humankapital og effektivisering av skolen

I det gamle industrisamfunnet var det i stor grad maskiner, mekanikk, energi og muskelkraft som var viktige for næringsliv og produksjon. I dagens «post-industrielle» samfunn er kunnskap, informasjon og utdanning blitt stadig viktigere. Man bruker begreper som informasjonssamfunn, dataalder og kunnskapssamfunn for å karakterisere vår tidsepoke. I Norge er det store spørsmålet «hva skal vi leve av etter oljen?». Og politikere og debattører trekker i en eller annen form fram at det viktige for framtida er våre menneskelige ressurser, det vi har i hodene våre. Så langt er det kanskje ikke noen stor politisk uenighet. OECD, som har nettopp økonomisk utvikling som sitt mandat, begynte som nevnt å fremme slike synspunkter i tiårene etter krigen på en stadig mer eksplisitt måte. Samfunnsøkonomene begynte å benytte begrepene Human Resources og Human Capital som helt sentrale produksjonsfaktorer for et lands økonomiske utvikling. Penger brukt på skole og utdanning for barn og unge blir derved ikke «bare» et individuelt velferdsgode, men en profitabel investering for samfunnet. Økonomer som regner på utdanningens betydning, mener å kunne vise at avkastningen av utdanning er større enn avkastning på andre investeringer, som for eksempel maskiner, bygninger og infrastruktur. Dette perspektivet er etter hvert blitt sentralt i den samfunnsøkonomiske akademiske kanon.

Faren ved en slik materiell og instrumentalistisk forståelse av kunnskap og utdanning er åpenbar: Kunnskap, skole og utdanning blir ikke sett som et gode i seg selv, for et meningsfullt liv for den enkelte og for samfunnet. Når mennesker omtales og oppfattes som humankapital, endrer skolen sin grunnleggende funksjon som sosialiseringsfaktor. Fokus for skole og utdanning flyttes over til det rent instrumentelle, og kunnskap oppfattes som et produkt som kan måles, kjøpes og selges. Hvis skolens primære oppgave er å produsere humankapital, har man i stor grad omdefinert og redusert dens samfunnsmessige rolle. En følge av dette instrumentelle og økonomiske perspektivet på skole blir at man søker å effektivisere skolen. Målet blir å produsere mer kompetanse per investert krone, og dette omtales som skolens produktivitet. Skal produktiviteten beregnes, må man vite hvor mye penger man bruker, og man trenger et mål for kvaliteten på det man produserer. Skolens produkter blir da elevene og deres resultater på prøver og tester.

I PISA-rapportene framstilles PISA-skåre som et samlet mål for hele skolens kvalitet, og PISA-poeng blir derved et mål for kvaliteten av det «produktet» skolen leverer. Når man så vet hvor mye hvert land bruker på hver elev, kan man regne ut hvor effektiv skolen er i sin produksjon. Disse beregningene har i mange land fått stor politisk betydning. Data og grafer som viser at det er liten sammenheng mellom pengebruk og oppnådde PISA-poeng, presenteres i PISA-rapportene og blir brukt for det de er verdt av politikere.

Ett eksempel er den norske «produktivitetskommisjonen» som studerte offentlig sektor for å se hvordan den kan effektiviseres. I utredningen gjentas det utrettelig at «produktiviteten i grunnskole og videregående opplæring er lav i internasjonal sammenheng».^[41] Utvalget har da brukt PISA-poeng-per-dollar som måleenhet for produktiviteten i skolen. Utvalget skriver også at man «dessverre ikke har data for produktiviteten i barnehagen». Underforstått: Vi må måle og maksimere «produktiviteten» også i barnehagen. Dette viser hvordan PISA brukes på en måte som bidrar til å oppfatte skolen i rent økonomiske termer, som en produksjonsbedrift. Elevene og deres kompetanse blir produktene, og «skole-eierne» (stat og kommuner) må effektivisere produksjonen. Og PISA viser ifølge produktivitets-kommisjonen at vi bruker for mye på skolen. En OECD-rapport om norsk skole slår også fast at «større bevilgninger til skolen vil ikke ha noen virkning».^[42]

I den grad postulatet om positiv sammenheng mellom økonomisk vekst og PISA-skåre begrunnes, er det arbeidene til den amerikanske professoren Eric Hanushek som ligger til grunn. Hanushek er en svært innflytelsesrik og kontroversiell økonom, tilknyttet den konservative tenketanken Hoover Institution. I flere tiår har han stått sentralt i OECDs og Verdensbankens arbeid med utdanning. Hanushek er mest kjent for statistiske arbeider som dreier seg om sammenhengen mellom utdanningskvalitet og økonomisk investering. Han er sentral innen feltet «school effectiveness». Hanusheks arbeider brukes også som støtte for å hevde at klassestørrelse ikke spiller noen rolle, og at større bevilgninger ikke vil gi en bedre skole. Hanushek står i stor grad bak utviklingen av den såkalte Value-Added Model («skolebidragsindikatoren»), som i USA ligger til grunn for å gi skoleledere og lærere lønn etter dokumentert framgang på elevens målbare resultater, altså en ekstrem variant av «accountability» og mål- og resultatbasert styring av skolen.

Hanushek har i flere årtier publisert arbeider der han ser på sammenhengen mellom resultatene på internasjonale tester og framtidig økonomisk utvikling for et land. Han mener dermed å kunne tallfeste betydningen av et lands PISA-skåre. OECD-rapporten om «The long run Economic Impact of Improving PISA Outcomes»^[43] er skrevet av Hanushek og hans allierte, den tyske professoren Ludger Woessman. I denne innflytelsesrike rapporten gir de konkrete tall for hvor mye hvert enkelt land vil tjene på en bedring av PISA-skåre. Og det er enorme tall det handler om. Helt konkret forteller rapporten at en økning i PISA-skåre på 25 poeng (1/4 standardavvik) over tid vil gi en økning av BNP (brutto nasjonalprodukt) for Danmark på 586 milliarder dollar. Norge vil tjene 841 milliarder og Sverige hele 1019 milliarder. OECD-rapporten oppgir også presise tall for hva hvert land vil tjene på å bringe alle elever over den kritiske grensen på 400 PISA-poeng. De finner at økningen i BNP vil ligge i området 3‒400 prosent. Et tredje scenario er at alle land når opp til Finlands PISA-nivå. I så fall vil Danmark på lang sikt øke sitt BNP med 539 prosent, Norge med 622 prosent og Sverige med 435 prosent. (Finland er oppført med 0 prosent vekst, for landet ligger jo allerede på Finlands nivå!).^[44]

Samfunnsforskere, pedagoger, økonomer og statistikere har direkte motbevist slike prognoser og framskrivninger (se eksempler nedenfor). Men til tross for den substansielle kritikken, som aldri er blitt besvart, brukes tallene likevel av organisasjoner som OECD og Verdensbanken som premissgrunnlag for råd og anbefalinger. I hovedsak går kritikken på en avvisning av de grunnleggende antakelsene bak beregningene. For eksempel trekkes det fram sentrale eksempler på land som viser at resultater fra internasjonale studier har vært håpløse som prediksjon av framtidig utvikling. Japan har for eksempel alltid ligget på topp i testskåre på slike studier, men har i flere tiår hatt en negativ økonomisk utvikling. Omvendt har USA i mange tiår hatt høyst middelmådige resultater, men har hatt en svært stor vekst i produksjon og innovasjon.

Også de statistiske beregningene som ligger til grunn for Hanusek og Woessmans arbeider blir kritisert og plukket fra hverandre i artikkelen «A new global policy regime founded on invalid statistics? Hanushek, Woessmann, PISA, and economic growth». Forfatterne bruker her nøyaktig de samme data som Hanushek og Woessman, men kommer til helt andre konklusjoner. Artikkelen hevder at «dagens dominerende globale styringsregime er basert på falsk (flawed) statistikk.» ^[45] Men selv om Hanushek og Woessmans beregninger avvises av forskere ‒ både prinsipielt, empirisk og statistisk ‒ fortsetter de å bli brukt.

Kritikken fra forskerhold er langt mere omfattende enn tilbakevisningen av Hanusheks og Woessmanns statistikk. I lengre tid har det vært stor skepsis både til OECDs utdanningspolitikk og spesielt til bruken av PISA som instrument og faglig argument. I Norge framkom kritikken i en artikkelsamling.^[46] En antologi er gitt ut i Sverige, også med sentrale internasjonale bidragsytere.^[47] Viktige internasjonale antologier med kritiske perspektiver er også gitt ut.^[48] I internasjonale tidsskrifter i komparativ og internasjonal pedagogikk, utdanningsfilosofi og sosiologi, skoleledelse og skolepolitikk er det tallrike artikler om PISA fra ulike faglige ståsteder. Nesten alle disse artiklene reiser kritikk mot PISA som prosjekt, og spesielt dens globale innflytelse på skolepolitikken. I akademiske publikasjoner finnes nesten ikke artikler som ser positive aspekter ved PISA. Dessverre synes PISA-forskerne selv å være nokså fraværende i slike akademiske sammenhenger. De publiserer stort sett i sine egne rapporter og publiseringskanaler. Men også de kritiske forskerne skriver stort sett bare for sine egne fagmiljøer, og de går sjelden ut i offentlig debatt. Den overveldende PISA kritikken er dessverre derfor ikke allment kjent i offentligheten.

I mai 2014 skjedde det imidlertid noe interessant og viktig. En gruppe på 90 forskere fra 11 land gikk ut med et åpent brev til Andreas Schleicher, leder av PISA og OECDs kompetanseavdeling. The Guardian publiserte brevet samt avisens medfølgende redaksjonelle kommentarer.^[49] Brevet ble så sirkulert bredere, og man kunne gi sin tilslutning med å underskrive. En rekke ledende samfunnsvitere, pedagoger, filosofer og naturvitere, i alt over 2000 fra om lag 40 land, sluttet seg raskt til kritikken. Brevet er også oversatt til tysk, spansk, japansk og kinesisk.

Kritikken går på at OECD er i ferd med å fungere som en global regjering for skole og utdanning, men uten å ha fått noen som helst myndighet til å ha en slik funksjon. Kritikken dreier seg også om hvordan PISA brukes til å legitimere en utdanningspolitikk preget av mål- og resultatbasert styring, markedsorientering og privatisering.

Andreas Schleicher svarte på brevet i The Guardian 8. mai. Svaret var bare en kort og kontant avvisning av nær sagt alle brevets kritiske punkter.

Skolens mål er erstattet med målinger

Den viktigste og mest alvorlige konsekvensen av PISA er at den medfører en grunnleggende redefinering av skolens mål og hensikt. Opp gjennom historien har den obligatoriske skolen vært samfunnets primære institusjon for å fremme barns sosialisering, personlige vekst og utvikling basert på landets verdier og tradisjoner. Den loven som styrer norsk skole heter Opplæringsloven. Den første paragrafen i denne loven blir omtalt som «formålsparagrafen». Nøkkelordene i denne paragrafen er disse:

[…] respekt for menneskeverdet og naturen, åndsfridom, nestekjærleik, tilgjeving, likeverd og solidaritet, kjennskapen til og forståinga av den nasjonale kulturarven og vår felles internasjonale kulturtradisjon […] innsikt i kulturelt mangfald, respekt for den einskilde si overtyding. […] fremje demokrati, likestilling og vitskapleg tenkjemåte. […] utvikle kunnskap, dugleik og holdningar for å kunne meistre liva sine og for å kunne delta i arbeid og fellesskap i samfunnet. Dei skal få utfalde skaparglede, engasjement og utforskartrong. […] lære å tenkje kritisk og handle etisk og miljøbevisst. […] rett til medverknad. […] tillit, respekt og krav […] fremja danning og lærelyst [...] diskriminering skal motarbeidast.^[50]

Enhver helhetlig vurdering av skolens kvalitet må skje ut fra dette lovpålagte mandatet. Når så PISA-skåre blir presentert og forstått som indikator på skolens kvalitet, skyves alt dette til side. Knapt noe i norsk skoles mandat blir berørt i PISA.

Med PISA-skåre som et globalt «kvalitetsmål» blir det nærmest selvsagte målet for skolen i et land å få høy (eller stigende) PISA-skåre, fortrinnsvis til en lav pris. Mye dreier seg om å oppnå «suksess». PISA-rapportene bygger opp om denne forståelsen, med dyrking av vinnere og successful learners, successful schools, successful systems, successful reformers, successful policies, etc.^[51] Definisjonen av suksess er alltid høy eller økende PISA-skåre. Slik reduseres skolens mål og mening til akkurat dette ene kriteriet: høy PISA-skåre. Etter PISA har man begynt å snakke om skolens kvalitet på en helt annen måte enn tidligere. Vi kan omtale dette som en grunnleggende epistemologisk dominans.

Styring med tall og statistikk

Tall, målinger, statistikk og indikatorer er viktige for å beskrive verden. Men statistikk er ikke bare nøytrale beskrivelser av virkeligheten. Statistikk skaper og konstruerer også virkeligheten. Noe løftes opp og blir synlig, mens annet forblir usynlig. Slik settes det også en dagsorden. Det var først da man begynte å oppdele statistikken over studier, yrker og lønn på kjønn at man «så» diskriminering og ulikhet basert på kjønn. Tilsvarende gjelder oppdeling basert på etnisitet, sosial og økonomisk bakgrunn.

OECDs omfattende arbeid med indikatorer og statistikk knyttet til skole og utdanning må sees i en slik sammenheng. Det dreier seg ikke bare om å produsere objektive og verdinøytrale tall, men også om makten til å sette en dagsorden, det dreier seg om definisjonsmakt, eller om «problemformuleringsprivilegiet», visstnok Kristin Clemets favorittbegrep. Den som formulerer problemet, har også makt over løsningen.

Når sosiologer, utdanningsforskere og andre samfunnsvitere skal beskrive den ideologiske makten til PISA, bruker de uttrykk som «PISA-effekten» som i stor grad er basert på «governance by numbers».^[52] PISA presenterer data på ulike måter, men det er utvilsomt rangeringene av land som er det sentrale. PISA hevder ofte at denne rangeringen ikke er det mest sentrale, men likevel er det slik de selv presenterer sine data. Det blir stor oppmerksomhet om hvilket plassnummer et land havner på, selv om differensene mellom mange land ikke er statistisk signifikante. I PISA 2012 ble for eksempel Norge nr. 15 på lesetesten, men det er ikke noen statistisk signifikant forskjell på nr. 10 ned til nr. 20. I den norske PISA-rapporten^[53] påpekes dette, men det neglisjeres selvfølgelig i den offentlige debatten. Hvis det hadde vært et sykkelritt, ville man ha sagt at Norge kom inn i hovedfeltet, og en stor gruppe land ville gitt samme plassering.

Det er også viktig å forstå at selv om en forskjell er statistisk signifikant, betyr ikke dette at den er pedagogisk eller politisk «signifikant». I dagligspråk betyr «signifikant» at noe er betydningsfullt og viktig, men slik er det jo ikke i statistikk. Bare utvalgets størrelse («sample size») er stort nok, vil enhver liten og uinteressant forskjell bli statistisk signifikant. For øvrig er den statistiske usikkerheten som publiseres i PISA-rapportene betydelig underestimert, og bare basert på samplingsfeil.^[54] Andre kilder for usikkerhet er ikke problematisert eller inkludert i rangeringene.

Styring ved sammenlikning

Den franske sosiologen Xavier Pons^[55] viser hvordan PISA er blitt brukt som politisk legitimering. Den politiske innflytelsen hviler i hovedsak på bruken av statistikk og indikatorer. Han legger til et viktig poeng i den sammenheng, nemlig «governance by comparisons», altså styring ved sammenlikning. Rangeringene av land etter PISA-skåre trekker oppmerksomheten mot «PISA-vinnerne», og de blir ofte oppfattet som modeller som skal kopieres. Velkjent er Finlands topplasseringer på de første PISA-rundene. Dette medførte en strøm av politikere og skolebyråkrater som ville til Finland. Myndighetene hadde problemer med å hanskes med omfanget, og et eget reisebyrå for «PISA-turisme» ble etablert. Det ble også sagt at Abu Dhabi ville «kjøpe Finlands skolesystem». Mens det ble fokus på Finlands høye gjennomsnittlig PISA-skåre, ble det lite oppmerksomhet om andre sider ved de finske resultatene, som at ingen land har så store forskjeller i skåre mellom jenter og gutter. Det er de finske jentene som i stor grad trekker Finland opp på rangeringene. Det nevnes heller ikke at mens Finland ligger på topp i testskåre, ligger de lavest av alle land på elevenes motivasjon og interesse for naturfagene, slik det framkommer av de samme elevenes spørreskjemaer.

Også andre PISA-vinnere er blitt framstilt som modeller. Spesielt gjelder det de asiatiske landene som ofte topper slike rangeringer, ikke bare på PISA, men også på TIMSS og andre storskala skoleundersøkelser. Da resultatene fra TIMSS 2012 ble lagt fram, skrev USAs utdanningsminister Arne Duncan i pressemeldingen om de asiatiske vinnerlandene: «Those nations will soon be out-competing us in a knowledge-based, global economy». I et slikt perspektiv blir det maktpåliggende å lære av vinnerne, og gjerne kopiere deler av deres skole. For eksempel er Singapores lærebøker i matematikk blitt oversatt til andre språk, basert på en forestilling om at gode lærebøker er nøkkelen til Singapores PISA-suksess. Andre fester seg ved «lesson study», en form for undervisning som man antar kan ligge til grunn for spesielt Japans høye skåre. OECD selv identifiserer en rekke «modell-land» eller «referanse-samfunn», som de mener er spesielt egnet til å lære av.

Man kan selvsagt hente inspirasjon fra andre lands erfaringer, også når det gjelder skole. Men bak OECDs framheving av visse land, utelukkende basert på suksess i PISA, ligger en antakelse at kultur og tradisjon ikke er viktig, og at det som virker i én kontekst, også vil virke i en annen. Man ser også bort fra at noen land slett ikke er har en styreform som kan tjene som forbilde. I slike naive sammenlikninger bryter man også med grunnleggende erkjennelse fra fagfeltet internasjonal og komparativ pedagogikk. Robin Alexander, en sentral person innen dette området, sier det klart i sin lærebok om internasjonal pedagogikk: «Livet i skoler og klasserom er en del av det samfunn, vi lever i. Kulturen stopper ikke ved skoleporten. Når man skal analysere og forstå skole og utdanning i andre land, betyr kultur alt».^[56]

PISA misbrukes i den lokale eller nasjonale agenda for å begrunne nye reformer eller for å rettferdiggjøre det eksisterende. I begge tilfeller henter man argumentene for egen politikk ved å «eksternalisere» forslag og tiltak, også slike som ikke har noe med PISA-resultater å gjøre.^[57] Henvisning til OECD og PISA forekommer stadig oftere også i norske offentlige dokumenter, utredninger og stortingsmeldinger. Uttrykk av typen «PISA har vist at …» eller «OECDs eksperter anbefaler at […]» brukes flittig i slike sammenhenger.^[58] PISA brukes til å legitimere nokså ulike tiltak og reformer. Et gjennomgående felles trekk synes å være at skolens læreplaner i økende grad blir standardisert og «harmonisert». I mange land blir læreplanene nå skrevet i form av kompetansebeskrivelser, slik det også anbefales fra OECDs DeSeCo-prosjekt (Definition and Selection of Competencies), som var et grunnlagsdokument for PISA.^[59]

Et felles trekk for mange lands PISA-inspirerte skolereformer er også at det etableres nasjonale tester og et regime av standardiserte tester og eksamener og et nasjonalt rapporteringssystem. Med Kunnskapsløftet fra 2006 fikk også Norge nasjonale prøver, og det ble etablert et Nasjonalt Kvalitetsvurderingssystem for skolen (NKVS). Et slikt opplegg omtales ofte som testbasert mål- og resultatstyring (TBA: test-based accountability). Resultatene fra nasjonale og andre tester blir i Norge og mange land offentliggjort, ofte i form av rangeringer. I noen land knyttes lønn til skoleledere og lærere til de testresultatene som oppnås. Slike utviklingstrekk åpner store muligheter for leverandører av datasystemer for testing og rapportering. Store multinasjonale selskaper opererer i det stadig voksende globale markedet for skole, undervisning, testing og rapportering. Slik er PISA en pådriver for standardisering og kommersialisering av skole og undervisning.

OECD og PISA utvider porteføljen

Sett fra OECDs side er PISA en suksess. Gjennom PISA legges premisser for hvordan man diskuterer utdanning, og hva som blir skolens mål og mening. Denne normative påvirkningen er styrket i de siste årene. Vi ser dette gjennom en videreutvikling av PISA og etablering av flere «PISA-like» studier helt fra barnehage til pensjonsalder. OECDs arbeid med stadig mer omfattende publisering av statistikk og indikatorer øker også organisasjonens innflytelse og definisjonsmakt.

Det faglige arbeidet med PISA-prosjektet har i hovedsak vært gjennomført av konsortier av universitets- og forskningsmiljøer. Internasjonalt kjente forskere og universiteter er involvert. Tildelinger av kontrakter og avtaler skjer etter en anbudsrunde, der ulike grupperinger har konkurrert. Lenge var det internasjonale fagmiljøer som ledet arbeidet. Det var derfor en stor overraskelse da Pearson fikk ansvaret for viktige deler av PISA 2015. Pearson er verdens største aktør innen det raskt voksende globale utdanningsmarkedet. Pearson var tidligere eier av blant annet Financial Times, The Economist, Penguin Group og forlaget Dorling Kindersley. I senere år har Pearson solgt seg ut av mesteparten av vanlig forlagsdrift, og har satset sterkt på det globale markedet for tester, analyser og undervisningsopplegg gjennom en rekke oppkjøp. Pearson dekker nå alt fra barnehage til universitetsnivå, og har produkter og tjenester rettet mot regjeringer, lokale skolemyndigheter, skoler, lærere, foreldre og elever i alle aldre. Pearson hadde en viktig rolle i arbeidet med PISA 2015, og fikk en enda mer sentral rolle for PISA 2018. I en felles pressemelding med OECD skriver Pearson:

Pearson, the world’s leading learning company, today announces that it has won a competitive tender by the OECD to develop the Frameworks for PISA 2018. […] The frameworks define what will be measured in PISA 2018, how this will be reported and which approach will be chosen for the development of tests and questionnaires.^[60]

Det er altså verdens største kommersielle aktør innen det lukrative «edu-tech»-markedet som definerer hva som er viktig kunnskap, hvordan dette skal testes i PISA, samt hvordan resultatene skal rapporteres og presenteres.

Samtidig er OECD godt i gang med å utvide sin portefølje gjennom en rekke nye globale indikatorer, alt fra barnehage («Starting strong», også kalt «baby-PISA») til den enkelte skole (PISA for Schools), og for voksne: (PIAAC, «PISA for adults») og for utviklingsland (PISA-D: Pisa for Development). OECD er også i gang med overta UNECSOs rolle innen målinger knyttet til FNs bærekraftsmål (SDG: Sustainable Development Goals), spesielt for SDG4: Quality Education. Ved at OECD er den organisasjonen som operasjonaliserer og tallfester indikatorene for kvalitet for utdanning, får de også en definisjonsmakt for hvordan kvalitet skal forstås.^[61] Ved sin involvering i FNs SDG4 får OECD også en ny legitimering for arbeid i en mer global målestokk enn OECDs eget medlemsskap på 35 rike industriland skulle tilsi.^[62]

Ut fra dette kan man se at OECD over tid har inntatt en posisjon som gjør organisasjonen til den globalt dominerende leverandøren av premisser for politikkutforming.

Avrunding (og nye toner?)

Etter den kritikken som er fremmet i denne artikkelen er det viktig å peke på at OECD ikke er noen konspirasjon mot verdens utdannelsessystemer. OECD har heller ikke noen formell makt, og ulike ekspertgrupper nedsatt av OECD kan komme med nokså motstridende analyser, råd og anbefalinger. Det er ofte stor avstand mellom den politikken som økonomer går inn for og det som pedagoger og utdanningsforskere anbefaler om skole og utdanning. Slike råd står for ekspertgruppenes egen regning, og er ikke nødvendigvis uttrykk for en felles og vedtatt OECD-politikk. I senere år har det også kommet råd fra OECD som peker i helt andre retninger enn det som kommer til uttrykk gjennom PISA. Organisasjonen blir stadig mer opptatt av hvordan økende ulikhet og fravær av tillit til demokrati og forskning er ødeleggende for gode samfunn. OECD er også opptatt av det som omtales som «21st Century Skills». Dette er et nokså uklart begrep, men det omfatter egenskaper som kreativitet, kommunikasjon, samarbeid, kritisk og vitenskapelig tenkning, problemløsning, sosiale og språklige ferdigheter, og tverrfaglighet. Mange pedagoger vil nikke gjenkjennende til slike begreper, som faktisk har vært kjennetegn ved det vi omtaler som «progressiv pedagogikk». Man ser også at dette rimer bra med formålsparagrafen i norsk skole, sitert tidligere i denne artikkelen. Denne innflytelsen er også fanget opp i forarbeidene til det som omtales som Fagfornyelsen, med nytt læreplanverk KL20.

Med PISA som kilde kan man fortelle ulike historier, både om suksess og fiasko. Datamaterialet fra PISA er så omfattende og til dels komplisert at man kan sette sammen PISA-data som argument for nær sagt alle slags konklusjoner. Man kan også velge mellom ulike «PISA-vinnere», når man henter modeller og forbilder. Velger man Singapore og Korea som modeller, kan man trekke én type konklusjon, men velger man Finland kan man trekke den motsatte konklusjon. Slik selektiv og kreativ bruk av PISA gjør det mulig å hevde at «PISA har vist» for nesten alle slags tiltak. Det viktige er at de som arbeider med fremtidens skole og skolepolitikk har så pass god kjennskap til detaljer og premisser i PISA-prosjektet at de kan forholde seg kritisk til bruken av PISA i media og debatt. De må få styrket sitt intellektuelle immunforsvar. Nettopp dette har vært hensikten med denne artikkelen.