Få hela storyn
Starta din prenumeration

Prenumerera

Debatt

Demoskop: Det går inte ensidigt att fokusera på urvalsproblematiken

Sjunkande svarsfrekvenser på slumpmässiga urval är ett växande problem. I en sådan miljö krävs diskussion och anpassade lösningar, slutreplikerar Demoskops vd Karin Nelsson och seniore rådgivare Anders Lindholm.

Publicerad: 8 december 2021, 13:19

Det här är opinionsmaterial

Åsikterna som uttrycks här står skribenten/skribenterna för.

”Man kan alltid diskutera i vilken utsträckning svarsfrekvensen är ett problem, men det är oroande att den är i sjunkande och att bortfallet är systematiskt,” skriver Karin Nelsson och Anders Lindholm.

Foto: Pressbilder


Ämnen i artikeln:

StatistikInternet

Vi uppskattar de repliker vi fått från Enkätfabriken och Novus på vår artikel om ett nytt undersökningslandskap. Däremot missar båda delar av poängen med artikeln. Demoskop förordar inte den ena eller andra metoden. Vi uppmärksammar det faktum att forskning visar att det finns utmaningar och möjligheter med hur undersökningar genomförs i dag. Vi uppmanar därför artikelförfattarna att lyssna på den ganska aktiva och mångfacetterade diskussion som pågår forskare emellan.

LÄS OCKSÅ: Demoskop: Därför behöver vi nya sätt att mäta vad svenskarna tycker
LÄS OCKSÅ REPLIKEN: ”Det är fortfarande skillnad på metod och metod, Demoskop”
LÄS OCKSÅ REPLIKEN: Novus: Vi behöver inte uppfinna hjulet på nytt, Demoskop
LÄS OCKSÅ SLUTREPLIKEN: Novus: I undersökningsbranschen måste vi ha integritet 

Vi är entydigt på väg i en riktning där sjunkande svarsfrekvenser på slumpmässiga urval är ett växande problem. I en sådan miljö krävs diskussion och anpassade lösningar. På det temat genomförde Demoskop ett seminarium med ledande internationella forskare i undersökningsmetodik. En av slutsatserna i seminariet var att det inte går att så ensidigt fokusera på urvalsproblematiken. Undersökningsdesign och efterbearbetning är väl så viktigt, och där finns nackdelar med det helt slumpmässiga urvalet i form av bristande bakgrundsdata.

Novus vd, Torbjörn Sjöström, skriver att Demoskop skulle uppfinna hjulet på nytt om vi var verksamma inom bilindustrin. Det är en träffande bild av hur Novus ser på undersökningar. Oberoende slumpmässiga urval är uppenbarligen hjulet allt snurrar kring, och vad värre är, det finns inget behov av utveckling. Det vittnar inte om, någon större insikt om att människors medie- och kommunikationsvanor är i förändring, nu snabbare än någonsin. Visst skulle T-Forden kunna köras fortfarande, men de flesta föredrar ändå att utvecklingen tagit ett och annat steg framåt.

Sjöström påstår också att vår artikel är behäftad med en rad sakfel, där svarsfrekvensen på slumpmässiga telefonundersökningar är ett. Svarsfrekvensen ska beräknas som den andel som väljer att delta av de som ursprungligen slumpmässigt har valts ut. Andra kreativa sätt att göra beräkningen är felaktiga och missvisande. Novus använder begreppet deltagarfrekvens som är ett annat mått än svarsfrekvens. Genom att likställa dessa begrepp jämför man sig med SCB, vilket är lögnaktigt, eller djupt okunnigt. I branschen är vi överens om att svarsfrekvensen bland allmänheten som den definieras av Surveyföreningen i dag är runt 15 procent. SCB, som har andra resurser, har högre svarsfrekvenser. Man kan alltid diskutera i vilken utsträckning svarsfrekvensen är ett problem, men det är oroande att den är i sjunkande och att bortfallet är systematiskt. Vissa grupper, till exempel unga kvinnor, går knappt att nå alls på det sättet. Alltså måste resultaten vägas mot de verkliga proportionerna, och det är inte säkert att de vägningsnycklar som krävs är tillräckliga.

Om vi i stället utgår från den grupp av människor som Demoskop har i sin panel, så görs inledningsvis en stratifiering för att alla demografiska grupper ska vara representerade i rätt proportioner. Man kan alltså inte självrekrytera sig till en specifik undersökning. Därefter görs även en vägning mot verkliga proportioner. Inget av exemplen lever upp till de krav på slumpmässighet som ställs enligt de ursprungliga teorierna. Man kan möjligen säga att man genom stratifiering och vägning simulerar den slumpmässighet man efter eftersöker.  

Något som gör diskussionen än mer aktuell är att Demoskop i valet 2018 var det institut som kom närmast valutgången, följt av Inizio. Demoskop använde då intervjuer från en webbpanel samt slumpmässiga telefonintervjuer som underlag, Inizio använde enbart webbpanel. Ingen av webbpanelerna kan sägas leva upp till kraven om slumpmässighet. Till saken hör att Demoskops resultat skulle varit ännu närmare utfallet om enbart webbpanel hade använts. En invändning mot resonemanget är att Yougov och Sentio också avgav prognoser baserade på webbpaneler, och i dessa fall var man relativt långt från slutresultatet. En slutsats är att det inte räcker att fokusera på urvalet. Stratifieringen och efterbearbetningen är väl så viktig. Den diskussionen saknas ännu i Sverige då det finns aktörer som surrat sig hårt vid masten slumpmässiga urval. Som professor Andrew Gelman uttryckte det på vårt seminarium; ”bättre bilar behöver bättre vägar”.

Karin Nelsson
Vd Demoskop

Anders Lindholm
Senior rådgivare Demoskop

Det här är opinionsmaterial

Åsikterna som uttrycks här står skribenten/skribenterna för.

Ämnen i artikeln:

StatistikInternet

Dela artikeln:

Nyhetsbreven som ger dig bäst koll på samhället

Välj nyhetsbrev