Kvalitet och metod

Inizio vill vara den ledande aktören i undersökningsvärlden

Vi samarbetar regelbundet med ledande forskare och annan expertis inom statistik, medie- och kommunikation och statsvetenskap. Här publicerar vi de vetenskapliga studier och rapporter som vi deltagit i eller som vi vill sprida. Vårt mål är att utveckla undersökningsvärlden utan att tumma på kvaliteten.

Inizio är medlem i

Valresultatet och opinionsundersökningarna

769ce62218e10f17a20c0a01ad31669f_XL

Valresultatet i USA sänder chockvågor över världen. Det som tolkades som en ganska klar seger för Clinton blev i själva verket en nagelbitare under valnatten där Trump utsågs som nästa president.

Hur ska valresultatet  tolkas? Det är fortfarande väldigt tidigt att dra alltför långtgående slutsatser, men vi kan konstatera att Clinton förlorade viktiga sk swingstates (dvs stater där valutgången var osäker) och oväntat tappade traditionella demokratiska fästen som Michigan och Wisconsin.

En första analys av de vallokalsundersökningarna visar att vit arbetarklass frustration med etablissemanget i Washington underskattats. Demokraterna har ignorerat dem och att avståndet till Washington är större än vad bedömarna förstått. De flesta opinionsundersökningarna, men inte alla, har visat på ett ganska stabilt övertag för Clinton de senaste halvåret. Det finns inte ett enda skäl till valutgången, utan det är flera skäl som samvarierar. Några skäl är enligt vallokalsundersökningarna:

  • Klyftan mellan stad och land, män och kvinnor, arbetare och tjänstemän, vita, svarta och latinos är större än vad mätningarna visat.
  • Clinton och Trump är två historiskt impopulära kandidater som inte tilltalade väljarna och dessutom var entusiasmen för valet var lägre än väntat.
  • Färre väljare röstade i år jämfört 56% jämfört med 58% 2012. Många väntade sig ett högre valdeltagande. Valdeltagandet är en faktor som gjorde att kandidaterna var svåra att mäta.
  • Många väljare som var osäkra och bestämde sig i valets slutskede att rösta på Trump.
  • Demokraterna förmådde inte att få tillräckligt många unga och kvinnor att rösta, något som sannolikt resulterade i valförlusten.
  • Trumps budskap med fokus kring att skapa jobb för arbetarklassen och stoppa frihandelsavtal tilltalade många fler väljare än vad analytikerna bedömt.
  • Oavsett valutgången är både republikaner och demokrater snarare rädda än oroade för motståndaren, vilket ytterligare bidrar till klyftan mellan väljargrupperna.
  • Väljarna ville ha en ledare som skapar förändring och som säger som det är. De är trötta på Washington som ”pratar utan att få något gjort” och på de stora företag som ”skor sig på vanliga människor”. Trump var ledaren som motsvarade detta.

När det gäller opinionsundersökningarna kan vi konstatera att oavsett metod pekade nio av de elva nationella mätningarna att Clinton skulle segra med tre till fem procentenheter. Det faktiska utfallet blev en knapp seger i antal röster för Clinton, trots det vann Trump alltså elektorsrösterna och därmed presidentämbetet. Två mätningar som avfärdats av flera experter som otillförlitliga hade Trump som segrare (USC/LA Times och IDB/TIPP). Trots reservationer kring att Trumps väljarbas var svår att analysera kan det konstateras att de flesta opinionsundersökare inte lyckades mäta den opinion som fanns just bland vit arbetarklass.

Undersökningsbranschen befinner sig i ett paradigmskifte och välrenommerade företag som Gallup och Pew Research förklarade tidigt att det var för svårt att mäta detta val med hänsyn till minskande svarsfrekvenser och behov av nya metoder och valde därför att inte genomföra några mätningar om kandidaternas opinionsläge i detta val. Många av de metoder som används av de flesta i branschen idag skapades för över 50 år sedan och det kanske är dags att revidera och utveckla dessa? Ingen ska tvivla på att det är branschens yttersta vilja att kunna göra bra och tillförlitliga mätningar. Det pågår intensiv metodutveckling både inom akademien och privata företag, där branschoranisationen AAPOR är drivande och ska presentera en rapport i maj nästa år.  Inom en snar framtid kommer det helt säkert att finnas nya och vidareutvecklade alternativ.

 

Permalänk till denna artikel Läs mer

Opinionsläget inför presidentvalet

Blir det Clinton eller Trump som vinner valet på tisdag och blir nästa president i USA? Det som för en dryg vecka sedan såg ut som en säker seger för Clinton har sedan nya uppgifter om ytterligare en e-mailskandal vänts till något som ser ut att kunna bli en rysare mellan två kontroversiella kandidater. Vi pumpas med nya opinionsundersökningar dagligen och frågan är hur opinionsläget egentligen ser ut?

Opinionsundersökningarna kunna sorteras i tre olika mått; det första är sannolikheten för vem av kandidaterna som blir nästa president, det andra beskriver beskriver vem amerikanerna vill ha som nästa president och det tredje, och som är den mest relevanta, beskriver vilken kandidat som vinner delstatsvalen och som får samtliga elektorsröster. Det är alltså elektorsrösterna som avgör vem som blir nästa president i USA.

Det första måttet som löpande rapporteras är sannolikheten för att en kandidat ska bli president. Olika undersökare, sk pollsters, gör lite olika, men i huvudsak handlar det om att bearbeta olika undersökningsresultat med statistisk modellering för att räkna ut sannolikheten för vilken av kandidaterna som blir nästa president.

Det andra måttet kallas i USA Popular Vote och kan liknas vid de väljarbarometrar som vi brukar tala om i Sverige. De görs på ett urval av hela amerikanska folket, genomförs via telefon eller webb och bearbetas statistiskt. Detta var det viktigaste måttet fram till valet 2000, då mätningarna visade att Gore skulle vinna över W Bush eftersom Gore beräknades få fler röster totalt sett. Gore fick flest röster totalt sett, men W Bush vann flest elektorsröster. Eftersom det alltså är elektorerna som utser presidenten utropades W Bush till president.

Därefter har delstatsmätningarna fått en mer betydelsefull roll. Det tredje måttet är alltså elektorsrösterna. Löpande görs flera olika mätningar lokalt i varje delstat för att ta reda på om det är republikanerna eller demokraterna som har övertaget eller om det kanske är en sk swing state, dvs om läget är osäkert om vem kommer att vinna. Även dessa mätningar genomförs på olika sätt, läggs sedan samman och bearbetas statistiskt till en sk poll of poll. Sammantaget rör det sig om många tusen intervjuer.

Det vi ser nu är att i samtliga dessa undersökningar minskar avståndet mellan kandidaterna. För en vecka sedan pekade mätningarna på något som kan beskrivas som en jordskredsseger för Hillary Clinton. Sedan nyheten om att FBI ska titta på Clintons email igen har hennes försprång alltså minskat. När vi tittar bakom siffrorna kan vi konstatera några saker som kan ge oss vägledning hur opinionsläget ska tolkas.

  • Andelen som förtidsröstat har aldrig tidigare varit så hög, en faktor som torde tala till Clintons fördel.
  • Ett intressant mått att titta på är hur entusiastiska väljarna är inför valet. I detta val är entusiasmen lägre än vanligt. En sällsynt smutsig kampanj har gjort att många längtar till att valet är över. Trots detta har Trump här ett övertag genom att hans väljare känner en starkare vilja till förändring än vad Clintons väljare gör. Detta talar alltså för att Trump har lättare att mobilisera sina väljare och få dessa att verkligen gå att rösta.
  • Andelen väljare som är osäkra eller som röstar på en tredje, alternativ kandidat är sammantaget mellan 5-10 procent. Frågan är vilka dessa är. Flera är unga väljare som Clinton har allt att vinna på att få till valurnorna. Dessa väljare var viktiga för Obama i förra valet och de är snarare Sanders-supporters och ogillar Clinton. Paret Obama och Bernie Sanders gör nu vad de kan för att få ungdomarna att stötta Clinton. När det gäller Trump är det mer svårbedömt. Trots allt är Trump Republikan och frågan är i vilken utsträckning Republikanerna sluter upp bakom honom. De som i högst utsträckning tilltalas av Trumps budskap är vita, lågutbildade män och kvinnor och det är svårt att avgöra i hur stor denna väljarbas är. Trump är en ny sorts kandidat. Det finns analyser som visar att det är en nyckfull väljarbas som tilltalas av Trumps retorik och att de mest ser valet som en förlängning av de dokusåpor Trump medverkat i. Med kunskapen kring denna nya väljargrupp som växt fram inte bara i USA utan även i Europa som bland annat handlar om att dessa väljare inte alltid talar om hur de tänker rösta används modellering som gör att fler av de osäkra rösterna så att säga tillfaller Trump.

Utifrån denna sammantagna kunskap ser opinionsläget i dagsläget jämnt ut, men Clinton har fortfarande övertaget.

 

 

Permalänk till denna artikel Läs mer

Brand effects of digital display

Abstract

This paper describes a new, standard measurement of brand effects of digital advertising. The concept integrates survey data with big data from publisher’s ad servers. Control-exposed analyses are carried out that identifies effects on brand awareness, knowledge, consideration, preference and purchase intent. The measurement is in regular use by a majority of Swedish media houses and more than a thousand campaigns have been measured. The paper describes the methodology and presents examples of the findings. Inizio is the research company behind the concept that has been developed in close cooperation with clients. One pioneer client is Mediekompaniet, the network of almost all local newspapers in Sweden. Together Inizio and Mediekompaniet tell the story of this new standard measurement. The paper starts with putting the concept into a bigger perspective.

Read the paper here: Verifying The Brand Effects of Digital Display

Permalänk till denna artikel Läs mer

De stora koncernerna – Mediehus byggda av insikter och data

Anders Lithner (vd Inizio) skriver i senaste numret av tidskriften Nordicom-InformationJournalistikens ekonomiska utmaningar om hur de stora mediekoncernerna tar sig an framtiden:

Många nordiska medievarumärken ingår i någon av regionens stora mediekoncerner. Hur tänker en sådan? I kölvattnet av de senaste decenniernas strukturomvandling har frågan blivit brännande. Kanske är det inte bara storleken som skiljer dagens koncerner från mindre mediehus. En avgörande strategisk framgångsfaktor finns i synen på kunskap och data. Det är med insikter och data i centrum som de hittills resultatstarka mediekoncernerna tar sig den alltmer utmanande framtiden an.

Läs artikeln här:

nordicom-information_38_2016_1_69-75

 

Permalänk till denna artikel Läs mer

Om valet i UK

Opinionsundersökningar är viktiga i en demokrati. De visar vad medborgarna tycker och ger beslutsfattare viktiga insikter om kunskaper, attityder och åsikter hos allmänheten. Ett viktigt område att undersöka är politiken. Går de folkvalda i takt med väljarna? I flera fall det senaste året har väljarundersökningar i andra länder misslyckats att förutspå valutgångar. I det stundande amerikanska presidentvalet har anrika Gallup som var först att tillämpa modern urvalsmetodik i sina opinionsundersökningar meddelat att de tillsvidare inte genomför några väljarundersökningar. Anledningen är att det är för kostsamt och riskfyllt att hänga med i ett race med så många konkurrenter i en tid då det blivit allt svårare att kontrollera olika felkällor och då främst ett mycket högt bortfall. Gallup och stora delar av vår bransch önskar mer metodutveckling för att möta en ny och svårare situation.

Efter att opinionsinstituten i stort sett kollektivt misslyckades att förutspå valutgången i Storbritannien 2015 tillsatte branschorganisationerna  British Polling Council (BPC) och Market Research Society (MRS) en oberoende kommission för att bringa klarhet i frågan under ledning av Patrick Sturgis, Professor of Research Methodology vid University of Southampton och direktör för universitetets National Centre of Research Methods (NCRM).

Kommissionens uppdrag handlade om att ta reda på omfattningen av fel i undersökningarna, orsakernatill felen och om undersökningarnas resultat kommunicerats på ett korrekt sätt till allmänheten och professionella användare..

En preliminär rapport har nu lämnats och i korthet är slutsatserna följande:

– Den främsta orsaken att undersökningsföretagen misslyckades handlar om många urval underrepresenterade vissa grupper. Detta stöds av eftervalsundersökningar baserade på slumpmässiga urval.

– Andra faktorer som kan ha bidragit är felaktiga rapporter om valdeltagande, dåligt formulerade frågor och felaktig ordning på frågorna, hur poströster hanterats och hur oregistrerade röster hanterats. Alla dessa faktorer bedöms dock ha haft mindre påverkan på de rapporterade undersökningsresultaten.

– Möjligheten att resultaten blev missvisande för att många väljare valde att byta parti mellan de sist publicerade undersökningarna och valdagen kan inte klarläggas. En del undersökningar visar att det är så, medan andra visar att det inte är så. Om det är så, visar dock utredningen att det bara  är en liten del av det totala mätfelet.

– En stor fråga som funnits med i diskussionen är att mätningarna varit så lika varandra. Detta har föranlett spekulationer om huruvida ”herding” förekommit. ”Herding” innebär att opinionsinstituten kalibrerar sina egna resultat mot konkurrenternas, vilket gör att skillnaderna mellan instituten minskar. Även om kommissionen inte kritiserar ”herding” som metod, konstaterar man att ”herding” nog spelat en roll när det gäller  instituten kollektiva misslyckande.

Professor Sturgis säger, ”Det har förekommit många teorier och spekulationer om vad som gick fel 2015, men efter att ha övervägt de tillgängliga bevisen, har kommissionen kommit till slutsatsen att den främsta felkällan till att undersökningsinstituten missade att förutspå rätt resultatär de sätt urvalen är konstruerade.

De slutliga rapporten från kommissionen kommer att publiceras i mars. Hela den preliminära rapporten går att läsa här:  NCRM website.

På Inizio menar vi att förutsättningarna för undersökningar om partisympatier och val i Sverige är bättre än i många andra länder. Vi har god officiell statistik och vårt valsystem gör det enklare att mäta än i andra länder. Vi anser att undersökningsbranschen befinner sig i en spännande utveckling. Behovet av och intresset för opinionsundersökningar ökar. Det faktum att samtidigt med denna utveckling allt färre personer vill svara på undersökningar kräver fortsatt utveckling kring urvalsmetoder och sätt att justera för skevheter. På Inizio har vi lång erfarenhet av olika urvalsmetoder, såväl slumpmässiga som självrekryterade urval.  Baserat på ett självrekryterat urval inom medieföretaget Schibsteds egna kanaler har vi etablerat Schibsted/Inizios opinionspanel. Utifrån panelen har vi sedan skapat en urvalsram där vi genom stratifierat urval baserat på ålder, kön och region och senare poststratifiering baserad på samma variabler skapar ett miniatyr-Sverige.Genom vägningar med hjälp av olika variabler från SCB kan vi konstatera att våra vikter är inom ramen för de man kan förvänta sig vid slumpmässiga urval där svarsfrekvensen är hög.

Det är en grannlaga uppgift att göra opinionsundersökningar, speciellt som nu i en situation med många utmaningar, och det är viktigt att vi i branschen fortsätter att samarbeta kring metodutveckling och ökad transparens.

Permalänk till denna artikel Läs mer

Developing an Opt-in Panel for Swedish Opinion Research

Karin Nelsson, Inizio, Inc., Sweden
Stefan Pettersson, Inizio, Inc., Sweden
Lars Lyberg, Lyberg Survey Quality Management, Inc., Sweden
Paper presented at the WAPOR regional conference
Doha, Qatar, March 7-9, 2015

1. Introduction

In Sweden the year 2014 was called the super election year because of the elections to the EU parliament, the Swedish parliament, the regional governments, as well as numerous local referenda. These events have generated a demand for constant polling resulting in almost daily predictions from different survey organizations. Most of the survey organizations use initial probability samples resulting in estimates or predictions with overstated confidence levels due to oversampling until certain sample sizes are achieved, nonresponse biases and other nonsampling errors. Other survey organizations use online panels developed in different ways, where confidence levels cannot be established due to a lack of theory. One critical aspect in most opinion surveys is timeliness. Most large media organizations as well as the political parties demand data within extremely tight timeframes leaving very little room for traditional nonresponse follow-up and other measures that might mitigate nonsampling errors. Another critical aspect is the current strive for data-driven journalism, i.e., media’s demand for opinion and other data than can add value to reporting of news and events and political commentaries. Obviously such a demand must be met by nontraditional survey methods such as panel approaches. Typical survey topics include confidence in government agencies, opinions about movies, attitudes toward EU membership, and perceptions of leaders of political parties.

In this paper we describe our development and implementation of an opt-in panel that is eventually supposed to be run entirely by our client, Aftonbladet, which is the largest newspaper in Sweden. Aftonbladet is part of Schibsted Media Group- a large media group with 7,000 employees in 29 countries. We have developed a process for panel recruitment among web sites associated with Aftonbladet and its Swedish partners. Currently the panel has more than 30,000 members and numerous surveys have been conducted since its inception. To adjust for representation problems we have used various weighting procedures and we have received guidance from a scientific board. Procedures are in place to identify satisficing behavior and mischief. Panel data have been calibrated with official statistics and we have trained one of Aftonbladet’s journalists in survey methodology so that a transition of responsibilities is possible. We will discuss general concerns and challenges associated with opt-in panels.

We follow the ISO standard 26362 for access panels in market, opinion, and social research. This standard is a set of criteria against which access panel providers can be evaluated and the quality of such panels be assessed. We will also briefly discuss the fact that both traditional approaches and opt-in approaches have problems. Recent exchanges on AAPOR-
net and other discussions illustrate this.

2. A changing survey landscape

During recent years the survey landscape has gradually changed. Several factors have triggered this change. Traditional surveys using the interview mode have become increasingly expensive and time-consuming. Nonresponse rates in Swedish government surveys of individuals have reached unprecedented levels, such as 30% in the Labor Force Survey. Web surveys based on some kind of population frame notoriously experience very high nonresponse rates as well. Private marketing and polling institutes often end up with nonresponse rates from 80% and up. At the same time new devices, such as smartphones,

suitable for data collection have entered the scene. Social media such as twitter and facebook can also be used as survey modes. Also decision making can now, more than before, be based on several data sources that might complement surveys. Big data and administrative records are examples of such sources. AAPOR (2015) is a task force report on the potential impact of big data on survey research. AAPOR has also released task force reports that point out the potential of mobile devices (AAPOR 2014a), the role of social media (2014b), statements on opt-in panels (2010), and nonprobability sampling (AAPOR 2013).

The classic sampling theory developed by Neyman (1934) relied on the assumption that the only errors that existed were the sampling errors. Of course Neyman and his peers knew that this was an unrealistic assumption but the pressure was intense to develop a data collection strategy that could be restricted to a sample of the population of interest rather than investigating the entire population. This was mainly done for financial reasons. The fact that a sample also allows a more controlled survey environment was not really considered. In those days very little was known about measurement errors and data processing errors. Nonresponse was a minor concern, since people were quite willing to participate in surveys. With small nonresponse rates a sample really was representative of the target population. In the 1970s response rates started to decline in most western countries. Reasons for this development include (a) an increasing number of surveys conducted by an increasing number of service providers, (b) badly designed questionnaires, some of them containing many questions, (c) big brother concerns, and (d) a dislike among service providers to conduct refusal conversion. Now we are in the unfavorable nonresponse situation described above. Thus, most samples are nonrepresentative due to high nonresponse rates and this state of affairs is not likely going to change. It takes adjustment to compensate for any biases resulting from nonresponse.

Time is also a factor. Clients want results very fast these days. Most survey clients do not want to wait several weeks or even months to get results. A long data collection period is necessary if a system of tracking people, following them up and trying to convert them is in place. Thus, if time is crucial then survey procedures have to change.

Web is obviously the fastest mode but can be difficult to implement in a probability-based fashion since it requires a basic probability sample of individuals who are asked to enter a website to access the questionnaire. Those who do not use the internet are provided with equipment that makes them able to participate. A less time-consuming and more practical approach would be to use volunteer samples, one example being the opt-in panel. Through different recruitment means, people are asked to join a panel and participate in surveys on a regular basis. Voluntary participation is of course a procedure that violates the classic sampling theory, where it is stated that every member of the population should have a known, nonzero probability of being selected for the survey. However, most probability-
based surveys are also voluntary.

The use of opt-in panels has generated a lot of debate during recent years. Opponents argue that inference is not possible, while proponents argue that all samples these days are nonrepresentative due to the high nonresponse rates encountered. The latter agree that nonprobability samples can be heavily skewed and any sample composition needs adjustment of some kind. The debate heated up last year when The New York Times and CBS News told the world that they would start using online panels from YouGov as part of their election surveys (Keeter 2014). For a long time prominent media organizations have had strict requirements regarding surveys and probability sampling as well as publishing results from surveys. New York Times started revising their standards as a consequence of endorsing nonprobability samples.

Nonprobability sampling has recently gained in popularity. Some nonprobability proponents have turned to Bayesian inference, where some of the problems with nonprobability can be addressed (Wang et al 2014, Gelman et al 2014). In Bayesian inference a prior distribution is the point of departure. This distribution is combined with data collected in some way resulting in a posterior distribution. It is possible to produce what is called a credibility interval (AAPOR 2012), which is different from the classic margin of error. Margins of error cannot be calculated for a nonprobability sample and nor can the nonresponse rate. This is clearly stated in the standard for access panels (ISO 2009), which contains requirements regarding the communication between the panel provider and the panel members, recruitment of new panel members, panel structure and size, panel management, panel usage, client reporting, and code of conduct.

Clearly there is yet no formal theory for handling nonprobability samples. Current procedures aim at constructing a representation that mimics the target population. This is done by means of adjustments of different kinds. In the future, efforts will be made to develop robust quality measures for results based on nonprobability samples together with a development of methods that combine results from different sources, such as regular surveys, surveys based on probability sampling, big data, and data from information systems including social media.

3. Swedish Opinions-An opt-in panel

The year 2014 was called the super election year in Sweden. Numerous elections were conducted and we predicted a need for almost daily election coverage by media. Also there was a need for material that could be used by journalists to allow a transfer from case related coverage to a more data-driven journalism. Timely reporting is of course essential in most coverage of current events. Thus data collection had to be fast.

Aftonbladet, the largest newspaper in Sweden, approached our firm Inizio suggesting the development and implementation of a daily panel eventually called Swedish Opinions, which could serve the newspaper’s journalistic needs regarding current attitudes and opinions. We wrote a proposal that was accepted and the panel is now used in the following way.

During the morning editorial meeting various “research” ideas are tossed around. A statistical editor, trained by us, starts thinking about question wording and possible visualizations that might shed some light on the research idea. A web questionnaire is developed or an old one adapted to the research problem. The daily invitation to participate is sent to panel members. The inflow of responses is followed up, analyses are conducted and preliminary and final reports are produced. Adjustment to compensate for nonrandomness is done both at the sampling stage and after the data have been collected.
At the sampling stage it is possible to do prestratification. Typically we use gender, age and region to adjust for nonrandomness. After data collection, adjustments are made to compensate for varying response propensities across prestrata. Here we use poststratification by assigning different weights to different groups so that the distribution of respondents resembles that of the entire country.

Recruitment of panel members is done by using banners that pop up not only on Aftonbladet’s website but also on other sites associated with the media consortium, where Aftonbladet is just one of the members. The panel currently has more than 30,000 members.
During the development of the Swedish Opinions concept we have had access to the Advisory Board mentioned above consisting of a number of high-profile academic survey researchers.

4. Problems and challenges

The main technical problem has to do with the fact that systems available on the market are designed for general access panels rather than panels, where members are reinvited with a certain periodicity. Thus we had to adjust for that in the system we acquired on the market.

Methodological problems were more challenging. The recruitment was in fact so called double opt-in, where those who expressed an interest in panel membership had to confirm their membership before being included in the panel. Various background data were then collected regarding socio-economic status, and estimated frequency of site visits to improve final adjustments after data collection. To adjust for underrepresentation of specific groups we had to move the invitations around from time to time, basically by identifying parts of sites that might be of special interest to those underrepresented.

The main topic of these surveys has concerned party preferences and related parameters such as opinions regarding the political agenda and trust in politicians. Party preferences can be seen as very suitable for opt-in panels. There is a lot of auxiliary information that can be used to validate the results. Our results were in accordance with those of the university-based SOM Institute that specializes in surveys on election coverage and they were also in

line with those of most other pollsters.

A number of adjustment methods were tested, including propensity weighting, raking, and even Bayesian estimation. The latter turned out to be too technical, especially for the newspaper staff to handle. That suitability assessment is valid also for raking. We ended up with poststratification using gender, age, region, and the results from the previous election. As a matter of fact all three procedures gave approximately the same result, which was another reason for choosing the relatively simple method of poststratification. Results have been stable and the method can be used by the newspaper staff. A large newspaper such as Aftonbladet has to work with a tremendous speed and any complexities have to be avoided.
Our goal was to create a fool-proof system that could not go wrong, but of course some mishaps have occurred anyway. There have been problems with the manual control from time to time but also some system bugs have been discovered. On at least one occasion results that should have been scratched were published anyway.

One of our goals was to show that our concept was sustainable, i.e., that it is indeed possible to build a survey system based on a panel recruited from the sites of a media consortium that can be handled by newspaper staff. We have come to realize, though, that there is a potential problem here. Survey researchers are interested in data about aggregates of people rather than data about individuals. Traditionally, newspapers tend to focus on data about individuals and reporting of case studies, partly because a lack of survey data. Data-driven journalism should be based on surveys rather than data on individuals, and this change calls for journalists having some basic skills regarding surveys and their error structures. That is one reason why we asked Aftonbladet to assign a designated statistical editor, who in turn can guide other journalists about the strengths and pitfalls of surveys.
Complementing case-driven with data-driven journalism is, however, not an easy transition.

5. Some observations

Most of our surveys are very short with just a few questions. This is good from a measurement error perspective. There is very little room for cognitive phenomena such as acquiescence, satisficing and straightlining. The survey is basically over before these behaviors start to kick in. However, primacy effects might occur. In some surveys we have used partial randomization of response alternatives to reduce the effects of that phenomenon. In any case, a daily panel like ours offers great opportunities for small controlled experiments concerning primacy but also regarding time of the day, stability of response patterns via reinterviews, where the same questions are given the same respondents on two occasions, as well as calendar effects, where response propensity might differ depending on day of the week and time of the day. Unlike many other surveys the response burden is light.

The big problem is of course that there is a lack of a theoretical foundation. In a Bayesian framework this would be less of a problem albeit complicated to set up and difficult to convey to those less mathematically inclined. A new theory would have to address issues of representation as well as measures of error margins. Several statisticians are already working on these things, among them Andrew Gelman and Doug Rivers, and we are sure that theory will eventually appear. Current practice regarding opt-in panels relies on adjustments that have proven empirically stable. One should bear in mind that classic survey methodology relies heavily on modelling and access to auxiliary information both at the design, implementation, and analysis stage.

Since the launch of our panel less than a year ago we have conducted approximately 150 surveys comprising a total of about 95,000 web interviews. The number of newspaper articles based on these results is 126. The number of questions asked to panel members amounts to approximately 500. Soon our work will be taken over by Aftonbladet’s statistical editor and the newspaper’s analysis unit.

To sum up, opt-in panels offer convenience, low costs, and light response burden but adjustment is necessary.

6. References

AAPOR (2010). Opt in online task force report.

AAPOR (2013). Report on nonprobability sampling. AAPOR web site.

AAPOR (2014a). Mobile Technologies for Conducting, Augmenting and Potentially Replacing
Surveys: Report of the AAPOR Task Force on Emerging Technologies in Public Opinion
Research. 

AAPOR (2014b). Social Media and Public Opinion Research: Report of the AAPOR Task Force on Emerging Technologies in Public Opinion Research.

AAPOR (2015). Big Data Task Force Report. 

Gelman, A., Carlin, J., stern, H., Dunson, D., Vehtari, A., and Rubin, D. (2014). Bayesian data analysis. Chapman and Hall.

ISO (2009). Access panels in market, opinion and social research. Standard 26362.
International Standards Organization.

Keeter, S. (2014). Change is afoot in the world of polling. Amstat news, October.

Wang, W., Rothschild, D., Goel, S., and Gelman, A. (2014). Forecasting elections with non-representative polls. International Journal of Forecasting.

Permalänk till denna artikel Läs mer

Ett förändrat landskap för statistiska undersökningar

När den polske statistikern och matematikern Jerzy Neyman presenterade sina teorier och metoder för urvalsundersökningar på 1930-talet var det svaret på mångas bön. Plötsligt blev det möjligt att basera statistiska undersökningar på ett urval istället för att observera hela populationen. Det gick också att ange mått på osäkerheten i de resultat som mätningarna av urvalen resulterade i. Måtten kallades felmarginal och konfidensintervall.

Detta var ett mäktigt genombrott för undersökningsverksamheten. Framförallt kunde kostnaderna minskas avsevärt. Men på många håll dröjde det innan metoden accepterades helt och fullt, i Sverige ända in på 50-talet. Urvalsteorin förutsatte att urvalen skulle göras med hjälp av slumpen. Sannolikheten att en medlem av populationen skulle bli utvald skulle vara känd i förväg och vara större än noll (alla skulle ha en chans att bli utvalda).

Den nya teorin förutsatte att den enda osäkerhet som felmarginalen speglade var urvalsfelet, dvs att resultaten baserade sig på ett urval istället för hela populationen. Många, inklusive Neyman själv, insåg att många andra felkällor också påverkar resultaten, t.ex. bortfall, urvalsramens täckning av populationen, mätfel mm. Men bortfallet var i regel mycket lågt på den tiden och mätfelen var litet osynliga eftersom kognitiva aspekter på svarsprocessen inte var så väl kända. Dessutom var det viktigt att lansera de nya urvalsmetoderna och deras fördelar. Sannolikhetsurvalet blev den gällande paradigmen.

Under de senaste två decennierna har förutsättningarna att genomföra traditionella urvalsundersökningar med god kvalitet gradvis försämrats. Det är många faktorer som spelar in. Bortfallet ökar. Det är inte ovanligt att bortfallet i marknadsundersökningar kan ligga kring 90 % om det alls kan beräknas. Det ökar också i SCB:s statistik. Bortfallet i arbetskraftsundersökningen närmar sig 40% och i partisympatiundersökningen 50 %. När bortfallen är så stora krävs justeringsmetoder eftersom urvalet inte längre är representativt och det finns en rad vägningsmetoder att ta till. Alla seriösa undersökare kompenserar för bortfallet men det är viktigt att påpeka att alla sådana metoder vilar på antaganden av olika slag. Det är också viktigt att påpeka att det krävs skicklighet då dessa metoder tillämpas. Det är viktigt att analytikern väljer sin modell för urval och justering på ett skickligt sätt och att hen kan genomföra känslighetsanalyser av hur resultaten påverkas av avvikelser från modellen.

Numera vet vi också mycket mer om effekten av olika mätfel och att vissa av dem kan ha stor påverkan på resultaten. När det gäller olika insamlingsmetoder är telefonundersökningar speciellt utsatta. Mobiltelefoner ersätter i stor utsträckning fasta abonnemang och många undersökningsföretag avstår från att spåra mobilnummer och ringer därför inte till så många sådana. Detta leder förstås till urval som inte är representativa.

Alla fel och osäkerheter gör att den traditionella felmarginalen som bara tar hänsyn till urvalsfelet underskattar den verkliga. När vi säger att ett resultat ligger inom felmarginalen är det därför oftast ett önsketänkande. Det pågår ganska mycket utvecklingsarbete på det område som sysslar med det totala felet i undersökningar. I dagarna genomförs en konferens på temat och litteraturen är omfattande. Två exempel är artiklarna Design, implementation, and evaluation (Biemer, P) och Past, present, and future (Groves, Lyberg)

Traditionella telefonintervjuer och besöksintervjuer har blivit allt dyrare att genomföra. De är dessutom tidskrävande. Kunder och användare har inte samma tålamod som förr att vänta på resultaten. I det läget har webenkäter blivit allt vanligare. Det finns exempel på webenkäter som utnyttjar sannolikhetsurval men många av de problem vi ser i intervjuer kvarstår ändå med denna metod, dvs det är svårt att få representativa urval. Ett annat alternativ är självrekryterade webpaneler där principen om sannolikhetsurval satts ur spel och ersatts av vägningsmetoder som syftar till att skapa urval som är representativa för den population man vill studera. Panelerna kallas ibland accesspaneler, opt-in paneler eller dubbel opt-in paneler. Rekryteringen sker genom förfrågningar som poppar upp på olika websidor och rekryteringen kan leda till mycket stora paneler från vilka urval kan dras och vägning ske på ett sådant sätt att representativitet uppnås.

Initialt har metoden kritiserats av branschorganisationer som The American Association for Public Opinion Research (AAPOR) och av organisationer som alltid använder sannolikhetsurval Opt-in paneler är uppbyggda av urval som inte är sannolikhetsurval och någon hållbar teori liknande den som Neyman utvecklade finns inte ännu. Men som vi sett har Neymans teori stora problem och implementeringen av den bygger på 80 år gamla standarder som inte längre håller. Den som förordar ett sannolikhetsurval med telefonintervjuer måste göra en rad antaganden som rör deras lämplighet som insamlingsmetod. I dagens värld med allt färre fasta abonnemang och allt fler mobila nummer i ett hushåll måste man sträcka sig långt. Det måste också de som förordar opt-in paneler. Man sitter på ett sätt i samma båt där inferensproblematiken måste lösas så bra som möjligt.

Den ursprungliga kritiken som AAPOR förde fram har mattats i takt med att fler och fler undersökningsinstitut insett behovet av konstruktiva diskussioner och innovation på undersökningsområdet. Speciellt diskuteras mer avancerade former av urval som inte är baserade på sannolikhetsurval. AAPOR har redovisat en sådan diskussion i en rapport. I den rapporten tycks det råda relativt stor enighet om att icke slumpmässiga urval kan vara användbara beroende på syftet med undersökningen. De används ofta i situationer som handlar om kliniska försök, utvärdering av reformer och undersökningar av populationer som är svåra att nå, som hemlösa, personer med sällsynta egenskaper, och stigmatiserade grupper. Men som vi på Inizio liksom bl.a. amerikanska forskare som Andrew Gelman har visat kan icke slumpmässiga urval fungera bra även i vanliga undersökningar och speciellt i väljarundersökningar där tillgången på tilläggsinformation är så omfattande. Vägningens kvalitet är ofta avgörande. Man kan inte tala om en knivskarp gräns mellan sannolikhetsurval och icke sannolikhetsurval, speciellt eftersom sannolikhetsurval enligt definitionen känd sannolikhet större än noll för varje populationsobjekt aldrig är uppfyllt i samhällsundersökningar. Det är viktigt att vi följer och deltar i den fortsatta metodutvecklingen på området.

Den tekniska revolution som förändrat vår kommunikation bidrar också till utformningen av det nya undersökningslandskapet. Sättet som vi kommunicerar på öppnar för nya datainsamlingsmetoder och vi får också möjlighet att mäta fenomen vi tidigare kanske inte tänkt på. Mobila prylar av olika slag som SMS, appar, bilder, videofilmer och GPS ger nya möjligheter att ställa frågor och observera fenomen. Ny teknik diskuteras i denna rapport från AAPOR. Vi är bara i början på denna utveckling. Nästa snäpp handlar om hur tillgången på big data ska kunna utnyttjas. Det görs redan undersökningar på Facebook och Twitter genom bland annat s.k. sentimentanalys. I publikationen nedan redogörs för en jämförelse mellan holländska ”sentiments” relaterade till konsumtion på Twitter, Facebook, Linkedin, Google+ och Hyves jämfört med en standardundersökning av holländskt konsumentbeteende. Jämförelsen visade hög korrelation mellan de båda studierna och redovisas i denna rapport. Den holländska centralbyrån har också rapporterat sin första officiella statistik baserad på big data, nämligen trafikflödesdata baserade på uppgifter från sensorer uppsatta utefter de större vägarna i Holland. Byrån är förmodligen också först i världen med denna statistik som redovisas här. Studien vittnar om kraften i denna typ av big data. SCB använder också big data i form av vissa skannerdata som komplement till den ordinarie insamlingen till konsumentprisindex. Den som vill veta mer om big data kan läsa AAPORs rapport som kom ut för ett halvår sedan.

Den nya teknologin ställer naturligtvis nya krav på säkerhet och sekretess men också krav på nya typer av redovisningar av osäkerhet. Det totala felet får en modifierad mening. Varje ny datainsamlingsmetod har sin egen felstruktur som måste benas ut. I fortsättningen kommer vi då och då att redovisa en del av det som händer i detta förändrade landskap, konceptuellt och metodologiskt.

 

Neyman_3

Jerzy Neyman, statistiker och pionjär

Permalänk till denna artikel Läs mer
Kontakta oss
captcha
 Prenumerera på Inizios nyhetsbrev

Prenumerera på Inizios nyhetsbrev
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×