Checklista för att granska statistikens kvalitet

Varför en checklista för statistikens kvalitet?

Lagen kräver officiell statistik för allmän information, utredningsverksamhet och forskning. Den ska vara objektiv och allmänt tillgänglig (SCB, Samordning av Sveriges officiella statistik).

Tre praktiska kontroller gäller innan en siffra citeras: vem som står bakom den, hur den tagits fram och om den går att få tag i och förstå.

Regeringsuppdraget att se över SCB och statistiksystemet (beslut vid regeringssammanträde 31 mars 2011, redovisning senast 10 december 2012) omfattade att särskilt granska statistikkvaliteten och tillgängligheten till statistiken, inbegripet prissättning och dokumentation. Det är samma tre områden som en användare behöver bedöma.

Checklistan följer det europeiska kvalitetsramverkets struktur: institutionell miljö, statistisk process och statistisk produkt. Den avslutas med uppföljning och granskning.

Kvalitet är inte en enda egenskap hos en tabell utan en kedja. En siffra kan vara korrekt framräknad och ändå svår att använda om dokumentationen saknas, om urval och bortfall är oredovisade eller om jämförelser över tid bygger på ändrade definitioner.

Granska kvaliteten i tre lager: institution, process och produkt

Riktlinjerna för europeisk statistik antogs av kommittén för det europeiska statistiksystemet (ESS-kommittén) den 16 november 2017. De är hörnstenen i det gemensamma kvalitetsramverket för det europeiska statistiksystemet.

De är ett verktyg för självreglering och vilar på 16 principer för den institutionella miljön, de statistiska processerna och de statistiska produkterna. Varje princip har indikatorer för bästa praxis och standarder, vilket enligt riktlinjerna ökar öppenheten och insynen i systemet.

2017 års version var den andra revideringen sedan riktlinjerna antogs första gången 2005.

Riktlinjerna kompletterar regelverket i förordning (EG) nr 223/2009 om europeisk statistik. De ingår i det gemensamma kvalitetsramverket tillsammans med det europeiska statistiksystemets ramverk för kvalitetssäkring (Quality Assurance Framework) och allmänna kvalitetsledningsprinciper: ständig dialog med användare, ledningens engagemang, partnerskap, nöjda medarbetare, ständiga förbättringar, integration och harmonisering.

Uppdelningen ger en enkel felsökningsordning. Verkar siffran felaktig, avgör först om problemet sitter i de institutionella förutsättningarna (oklart ansvar, sekretess eller resurser), i processen (insamling, bortfall, bearbetning) eller i produkten (definitioner, presentation, jämförbarhet).

Utveckling av riktlinjer för europeisk statistik

Kvalitetsindikatorer i europeiska riktlinjer

Institutionella förutsättningar: ansvar, oberoende och samordning

Börja med att fastställa vem som ansvarar. SCB samordnar Sveriges officiella statistik, men produktionen är delad.

Efter en tidigare statistikreform överfördes ansvar och motsvarande medel för delar av den officiella statistiken från SCB till andra statliga myndigheter. 2011 års översyn skulle analysera för- och nackdelar med ett centraliserat respektive decentraliserat statistiksystem.

Frågor: Vilken myndighet är statistikansvarig för just den här statistiken? Finns en publicerad ansvarsfördelning och ett beslutsmandat? Vem samordnar statistiken gentemot andra producenter och gentemot EU?

Den institutionella delen av riktlinjerna handlar om organisationen snarare än siffrorna: om producenten har mandat att samla in uppgifter, om arbetet bedrivs självständigt från politisk styrning, om resurserna räcker och om det finns ett dokumenterat kvalitetsåtagande.

Den svenska översynen tog upp samma slags frågor: uppgiftsskyldigheten behöver förtydligas, statistiksekretessen och målkonflikterna behöver hanteras, EU-samarbetet bör få större genomslag i det svenska statistiksystemet och myndigheters säljverksamheter inom statistikområdet behöver analyseras.

Praktiska följdfrågor: Finns rättslig grund för uppgiftsinsamlingen, och är den tydlig för uppgiftslämaren? Hur hanteras sekretess vid utlämnande och vidareutnyttjande? Säljer producenten statistiktjänster vid sidan av den officiella statistiken, och kan det påverka prioriteringar eller publicering?

Centralisering vs decentralisering av statistik i Sverige

Processen: datainsamling, bearbetning och dokumentation

Kartlägg hur uppgifterna faktiskt kommit fram. Frågor: Bygger statistiken på register, enkät eller administrativa data från andra myndigheter? Vilken population ska beskrivas, vilken urvalsram används och hur stort är bortfallet?

Samlas uppgifterna in med stöd av uppgiftsskyldighet eller frivilligt, och spelar det roll för vilka som svarar? Vilka mätfel och täckningsproblem är kända?

Därefter bearbetningen: kodning, granskning och rättning av uppgifter, imputering av saknade värden, viktning, eventuell säsongsjustering och sekretessprövning före publicering. Varje steg påverkar slutresultatet och bör vara beskrivet, inte bara utfört.

Fråga efter dokumentationen av processen, inte bara efter tabellen. En kvalitetsdeklaration eller beskrivning av statistiken ska visa syfte, population, insamlingssätt, bearbetningsregler och kända felkällor. Den ska vara så detaljerad att någon utomstående kan följa hur siffrorna uppstått.

Processmodeller som GSBPM används för att beskriva och strukturera stegen från datakälla till slutprodukt. Det gör det lättare att granska var i kedjan en svaghet ligger.

Jordbruksverkets beskrivning av statistiken har ett avsnitt om syfte och historik. Den ger ett konkret exempel på vad dokumentationen ska innehålla: svensk jordbruksstatistik har löpande samlats in sedan 1799, då landshövdingarna lämnade skördeomdömen tre gånger per år.

Historiken visar att insamlingssätt och definitioner har ändrats. Det är nödvändigt att känna till innan man jämför dagens siffror med äldre serier.

Statistisk process enligt GSBPM

Produkten: relevans, tillgänglighet och jämförbarhet

Bedöm först relevansen: beskriver statistiken den population, den tidsperiod och den fråga du ska uttala dig om? Bedöm sedan tillgängligheten, som är en uttalad kvalitetsfråga i Sverige.

I översynen av SCB och statistiksystemet konstaterades att tillgängligheten till den officiella statistiken måste förbättras. Dokumentation och prissättning var punkter som utredaren särskilt skulle granska.

Praktiska kontroller: Finns metadata och metodbeskrivning publicerade tillsammans med siffrorna? Är statistiken kostnadsfri eller avgiftsbelagd? Om den bygger på offentliga handlingar påverkas villkoren av lagen (2010:566) om vidareutnyttjande av handlingar från den offentliga förvaltningen, vars konsekvenser för SCB ingick i utredningsuppdraget.

Jämförbarhet kräver två kontroller. Över tid: har definitioner, klassifikationer eller insamlingsmetod ändrats mellan åren, och finns i så fall en redovisad brytpunkt?

Mellan grupper och regioner: är grupperna tillräckligt stora för att skillnader ska vara tolkningsbara, eller är de skattningar med stor osäkerhet?

Mellan länder: europeisk statistik tas fram inom ett gemensamt regelverk, och EU-samarbetet är enligt översynen en del av det svenska statistiksystemet som bör få större genomslag. Harmoniserade definitioner garanterar inte att nationella insamlingssätt är identiska.

Tillgänglighet handlar också om begriplighet: finns tabeller och diagram som går att läsa utan specialkunskap, framgår enheter, baser och osäkerhetsmått, och redovisas sekretessbegränsningar som gör att vissa uppgifter inte kan lämnas ut?

Om mikrodatabegränsningar av sekretesskäl hindrar en egen analys, säg det i din text i stället för att tysta bort det.

Jämförbarhet: nationell vs europeisk statistik

Oberoende granskning, kvalitetsrapporter och uppföljning

Kvalitetsarbetet är en återkommande process, inte en enstaka kontroll. Riktlinjerna för europeisk statistik är självreglerande.

En självständig rådgivande kommitté – Europeiska rådgivande organet för statistikstyrning (ESGAB) – analyserar varje år hur Eurostat och hela det europeiska statistiksystemet har tillämpat riktlinjerna. ESGAB ger råd om lämpliga åtgärder, om spridning till användare och uppgiftslämnare samt om eventuella uppdateringar.

Riktlinjernas version från 2017 tog bland annat hänsyn till resultat från kollegiala granskningar (peer reviews) av hur de tillämpats. Leta därför efter om producenten varit föremål för peer review, om avvikelser redovisats och om de följts upp.

För svensk del har frågan om kvalitetssäkring och tillgänglighet återkommit i flera omgångar: statistikreformen utvärderades 1999 (SOU 1999:96), och 2011 års översyn skulle föreslå hur kvaliteten i den officiella statistiken ska säkerställas och tillgängligheten förbättras.

När du bedömer en enskild statistikprodukt är det rimligt att efterfråga kvalitetsrapporter, riktlinjer och handböcker. Se hur ofta de uppdateras.

Oberoende granskning kan också beställas utifrån. Externa granskningsaktörer erbjuder kvalitetsgranskning av statistiska processer och statistiska produkter, stöd i att uppfylla svenska och europeiska kvalitetskrav, granskning av kvalitetsrapporter samt bedömning av datainsamling, bearbetning och analysmetoder – inklusive metodologisk robusthet och tillförlitlighet.

En sådan granskning kan också omfatta undersökningar som utförts av konsulter eller andra aktörer, det vill säga underlag där det inte finns någon statistikansvarig myndighet i bakgrunden.

Praktisk checklista: fem frågor att ställa vid varje användning av statistik

Komplettera gärna med en egen anteckning per siffra om var den kommer ifrån, vilket år den avser och vilken version av statistiken du använt – det gör det möjligt att gå tillbaka och kontrollera i efterhand.

Vanliga fallgropar och hur du undviker dem

Den första fallgropen är att likställa kvalitet med exakthet. All statistisk mätning är behäftad med osäkerhet, och kvaliteten ligger i att osäkerheten är känd och redovisad – inte i att siffran ser exakt ut. Ställ krav på att urvalsfel, bortfall och mätfel beskrivs i anslutning till resultatet.

Den andra är att använda statistik utan dokumentation, till exempel en tabell som cirkulerat vidare utan metodbeskrivning. Gå alltid tillbaka till den statistikansvariga myndighetens egen beskrivning innan siffran citeras vidare.

Den tredje är att ignorera urval och bortfall. Ett snedvridet bortfall kan ge en felaktig bild även med ett stort antal svarande, och en liten delgrupp kan ge skattningar som inte tål att jämföras med andra grupper. Kontrollera därför vilka som faktiskt ingår i underlaget och hur stora delgrupperna är.

Den fjärde är att blanda samman beskrivning och tolkning. Vad statistiken visar är ett påstående. Vad du menar att den betyder är ett annat påstående. Håll dem åtskilda i texten, så blir det synligt var din egen bedömning börjar.

En oberoende granskning är motiverad när statistiken ligger till grund för beslut av större betydelse. Den är också motiverad när underlaget producerats av en part som själv har intresse i slutsatsen, när metoden inte är dokumenterad eller när siffrorna inte går att återskapa utifrån det som publicerats.