Förändringarna i Pisa är opålitliga

I resultaten från Pisa 2015 syns förbättringar i huvudämnet naturvetenskap, men i synnerhet i matematik och läsförståelse. Vi kan emellertid inte lita på förändringarna, eftersom den senaste undersökningen var den första där elever skrev proven på dator istället för med papper och penna – vilket i sig kan påverka resultaten. Samtidigt är svenska elevers nivåer fortfarande medelmåttiga - vandringen mot toppen har bara börjat.

Vi har länge vant oss vid dystra rubriker när resultaten från internationella prov presenteras. I princip varje undersökning under 2000-talet har visat en negativ kunskapstrend bland svenska elever.

Men nu kan en vändning skönjas. Förra veckan presenterades resultaten från Timss 2015, som visade att kunskaperna i läroplansbaserad matematik och naturvetenskap har förbättrats sedan 2011.

I dag visar resultaten från Pisa 2015 liknande förbättringar. I huvudämnet naturvetenskap har resultaten ökat med icke-statistiskt säkerställda 8 poäng (till 493 poäng) sedan 2012, medan elevernas prestationer i matematik och läsförståelse har ökat med statistiskt säkerställda 16 respektive 17 poäng (till 494 respektive 500 poäng).

Tyvärr kan vi dock inte lita på förändringarna i Pisa. Detta eftersom den senaste undersökningen var den första där elever skrev proven på dator istället för med papper och penna – vilket i sig kan påverka resultaten.

Forskning indikerar mycket riktigt att länders matematikresultat i Pisa 2012 ofta skiljde sig markant mellan huvudprovet och ett kortare datorbaserat prov, som då testades för första gången. Exempelvis presterade Polen 28 poäng sämre – och Sverige 12 poäng bättre – bland elever som skrev provet på dator, jämfört med de som skrev provet med papper och penna.

Det finns flera anledningar till detta. Elever i olika länder kan exempelvis vara olika vana vid att använda datorer i utbildningen. På det datorbaserade provet måste elever också svara på frågorna i samma ordning – och kan därför inte gå tillbaka och ändra sina svar under provets gång. Detta kan påverka elever i olika länder på olika sätt.

Det är därför slående att högpresterande nationer som presterade sämre på det datorbaserade, jämfört med det pappersbaserade, matematikprovet i Pisa 2012 i vissa fall har fallit kraftigt i den nya undersökningen.

Exempelvis rasade Hong Kong med hela 32 poäng – och Polen med 24 poäng – i naturvetenskap, medan Taiwan föll med 26 poäng i läsförståelse. Även Sydkoreas fall med 30 poäng i matematik – och Japans med 22 poäng i läsförståelse – är iögonfallande.

Dessa anmärkningsvärda försämringar över endast tre år är jämförbara med Sveriges fall över tolv år mellan 2000 och 2012. De skiljer sig också markant från trenderna i Timss, som fortfarande skrivs med papper och penna. Att försämringarna helt och hållet reflekterar sjunkande kunskaper ter sig därför otroligt; övergången till datorer har sannolikt haft ett finger med i spelet.

Likaså har flera länder som presterade bättre på det datorbaserade, jämfört med det pappersbaserade, matematikprovet i Pisa 2012 – inklusive Sverige, Norge och Ryssland – också förbättrat sina resultat i den senaste undersökningen. 

Men om vi istället jämför de svenska matematikresultaten i Pisa 2015 (494 poäng) med resultaten i Pisa 2012 bland elever som också då skrev provet på dator (490 poäng), raderas faktiskt uppgången nästan helt och hållet.

Det är alltså oklart om förändringarna över tid i Pisa kan förklaras av verkliga kunskapsförändringar, snarare än förändringar i provformatet. Tyvärr verkar OECD här ha gjort en rejäl blunder som inte får ignoreras i debatten.

Sammantaget indikerar resultaten i Timss och Pisa trots allt att botten nu är nådd. Detta är glädjande. Samtidigt är svenska elevers absoluta (och relativa) nivåer fortfarande ganska medelmåttiga; även om vi bortser från OECD:s blunder har vandringen mot den internationella toppen bara börjat.

Det här är en opinionstext publicerad i Dagens Samhälle. Åsikterna som uttrycks i artikeln står skribenten för.

nationalekonom, doktorand vid London School of Economics och knuten till Institutet för Näringslivsforskning
Det är alltså oklart om förändringarna över tid i Pisa kan förklaras av verkliga kunskapsförändringar, snarare än förändringar i provformatet. Tyvärr verkar OECD här ha gjort en rejäl blunder som inte får ignoreras i debatten.

Ämnen i artikeln

Debatt/ Skola

Pisa

Pisa-chock för tre år sedan. Sedan dess har svenska elever blivit bättre, visar nya Pisa-undersökningen. Men skillnaderna i svensk skola växer.
Klicka här för att delta i debatten

7 inlägg i denna debatt

Sverker Lindblad & Daniel Pettersson, professor pedagogik / docent pedagogik
Jenny Maria Nilsson, kulturskribent och engagerad skoldebattör
Åsa Fahlén, ordförande Lärarnas riksförbund
Johanna Jaara Åstrand, ordförande Lärarförbundet
Åsa Melander, f.d. skolplatsplaneringschef i Londonkommunen Hackney

Dela den här debatten