Etiqueta: Estimació de vot

Les noves enquestes del CEO

xarxesDeixa un comentari
imatge decorativa

Al llarg del darrer any hem estat treballant en un canvi metodològic important al CEO: hem començat a treballar amb enquestes autoadministrades gestionades internament. Bàsicament, es tracta de convidar, per correu postal, a una mostra aleatòria de la població de Catalunya a respondre (en línia o en paper) a les nostres enquestes des de casa seva.

De moment, aquestes enquestes conviuen amb les enquestes domiciliàries que el CEO ha fet habitualment en els darrers anys, però ens plantegem un procés progressiu de canvi metodològic. Es tracta d’una transició que es planteja en molts altres països. En alguns casos, la pandèmia va accelerar el canvi i en d’altres ja venia d’enrere. Al Regne Unit, el Centre for Social Survey Transformation treballa en aquests processos de transició, i l’American Association for Public Opinion Research ha publicat una guia detallada sobre aquestes transicions.

Per la nostra banda, hem estudiat amb deteniment diverses experiències, com el Norwegian Citizen Panel, el Swedish Citizen Panel o la darrera onada de l’Enquesta Social Europea a Espanya.

Entre el desembre de 2022 i el gener de 2023 vam realitzar la primera prova d’aquest  mètode. Concretament, vam fer el treball de camp de l’Enquesta sociopolítica. 2022 i de l’Enquesta de valoració del Govern i les polítiques públiques. 2022 emprant aquesta metodologia.

En aquest apunt volem explicar amb detall com hem fet aquesta primera prova, així com les raons que ens han portat a fer-ho així. Actualment, estem treballant en una avaluació a fons d’aquesta prova, que realitzem juntament amb el RECSM de la Universitat Pompeu Fabra. Quan estigui enllestit l’informe, el publicarem al web del CEO i en parlarem en aquest blog.

Com ho hem fet?


Per començar el nostre projecte, hem establert un rigorós procés de selecció de persones que convidarem a respondre l’enquesta. Per fer-ho, treballem amb una extracció de dades del Registre de Població de Catalunya que ens facilita l’Institut d’Estadística de Catalunya (IDESCAT).

Per tal de garantir la representativitat, la mostra s’extreu de forma aleatòria. Dit d’una altra manera: fem un “sorteig” entre totes les persones de 16 i més anys empadronades a Catalunya per triar les que convidarem a respondre. El mostreig que utilitzem és estratificat per la tipologia de seccions censals que emprem per les nostres mostres presencials, com expliquem aquí.

Amb aquest procediment, han sigut seleccionades 40.000 persones residents a Catalunya de 16 anys o més per participar en el projecte. Aquestes 40.000 persones han rebut una carta física amb un enllaç i un codi QR des del qual han pogut accedir al qüestionari en línia, tot garantint l’accés de forma anònima i sense necessitat de descàrregues ni instal·lacions de cap tipus de programari. Això ha permès que hagin respost les preguntes de manera privada, tot garantint una major confidencialitat per a les persones participants.  

Per augmentar la taxa de resposta, s’ha enviat una segona carta de recordatori per aquelles persones que encara no havien contestat l’enquesta, donant una nova oportunitat per participar en el projecte. Després d’un temps adequat, les persones que encara no havien contestat en línia han rebut una tercera carta amb el qüestionari imprès en paper, que han pogut retornar omplert al CEO amb el franqueig pagat. Aquesta opció és molt important, ja que permet que les persones que no se senten còmodes contestant en línia, o que no volen contestar les enquestes a través d’Internet, també puguin participar en l’enquesta. Al voltant d’una de cada cinc respostes que hem rebut ha sigut en paper.

Els resultats

Actualment estem en procés d’avaluació d’aquesta primera experiència amb aquesta metodologia. Tanmateix, podem dir ja que hem obtingut una taxa de resposta del voltant del 28% de les cartes enviades, amb un predomini de les respostes en línia (80%) però amb una important presència del paper també. Es tracta d’una taxa de resposta comparativament elevada.

Pel que fa a la representativitat de la mostra obtinguda, observem un molt bon ajustament en variables com el sexe o l’edat, i algunes desviacions pel que fa al nivell d’estudis o al lloc de naixement. Tanmateix, el fet de treballar amb mostres grans ens permet utilitzar les ponderacions per corregir aquestes desviacions i obtenir una mostra final ponderada plenament representativa de la població pel que fa a aquestes variables.

Per què hem fet aquest canvi?

Com dèiem, el procés de transformació és comú en altres països. Els canvis socials, culturals i tecnològics ens empenyen en aquesta direcció. Per nosaltres, aquesta nova metodologia té quatre avantatges principals respecte les altres opcions, com la telefònica:


1. Ens permet realitzar un procediment de mostreig nominal i aleatori. Podem conèixer perfectament la probabilitat de cada persona de ser inclosa a la mostra. 
2. Representa un estalvi de costos unitaris important respecte a altres opcions com la presencial. Per tant, amb els mateixos recursos podem realitzar moltes més enquestes. Això ens ha de permetre fer més estudis, fer estudis més grans i estudiar subgrups de la població (territorials, generacionals, etc.).
3. Podem internalitzar bona part de la recollida de dades, cosa que ens dona un control més gran sobre tot el procés, singularment sobre la programació dels qüestionaris (que realitzem mitjançant la plataforma Qualtrics).
4. El fet de fer enquestes autoadministrades ens permet superar els biaixos que pot introduir la presència de persones en el moment de respondre, que són els coneguts efectes d’entrevistador.

En properes entrades del blog anirem desgranant alguns elements addicionals d’aquest nou projecte i dels resultats que hem anat obtenint.

Forquilles i decimals

xarxesDeixa un comentari

Si seguiu les nostres enquestes, potser haureu notat que, des de fa un any, el CEO presenta els resultats sense decimals (quan es tracta de percentatges) o amb un sol decimal (quan es tracta de mitjanes).

I, segurament, us haureu fixat que, quan presentem estimacions electorals, tant d’intenció de vot com d’escons, emprem unes forquilles més àmplies de les habituals. De fet, moltes cases d’enquestes i mitjans de comunicació opten per no donar forquilles i presentar un valor concret, de vegades, fins i tot, amb diversos decimals en la intenció de vot.

Nosaltres, al CEO, defugim conscientment aquesta pràctica perquè pensem que és la nostra responsabilitat ser transparents amb la incertesa que tenen les nostres estimacions, i evitar donar una imatge de falsa precisió que pot ser enganyosa. 

Imatge decorativa

Mostres i incertesa estadística

Quan fem una enquesta, com és lògic, treballem amb una petita mostra de la població atès que no podem entrevistar tota la població d’interès. En el cas dels nostres baròmetres, la mostra és de 2000 persones al conjunt de Catalunya.

A partir de l’anàlisi d’aquesta mostra, mirem de treure conclusions sobre el conjunt de l’electorat català. És el que coneixem com a inferència estadística. El fet que haguem emprat procediments aleatoris per seleccionar la mostra ens permet treure’n conclusions respecte el conjunt de la població d’interès. Però aquestes conclusions són, necessàriament, incertes i imprecises.

Per fer un paral·lelisme, el fet de treballar amb una mostra és semblant a fer una fotografia de baixa resolució d’un paisatge. Ens permet fer-nos una idea general, però no ens podem acostar prou als petits detalls. Amb les enquestes passa una cosa semblant. Totes les estimacions basades en mostres porten associat un marge d’error, que és una estimació de la incertesa estadística associada a les nostres dades.

La majoria de les enquestes van acompanyades d’una fitxa tècnica que informa, entre d’altres coses, del marge d’error amb què treballen. En una altra entrada explicarem amb més detall què és i com es calcula aquest marge d’error. Generalment, el marge d’error que es publica acostuma a ser el que tindria una variable amb màxima variació, en un mostreig aleatori simple. Però, per cada estimació que fem amb les nostres dades, podem tenir una mesura específica de la incertesa del paràmetre que ens interessa.

En tot cas, aquest marge d’error ens dona una idea general de la incertesa que acompanya les nostres estimacions. Quan estimem uns percentatges d’intenció de vot, hi hem d’incorporar aquesta incertesa. No fer-ho implica donar una imatge de falsa precisió. Per comunicar la incertesa, nosaltres optem per presentar el que es coneix com a “intervals de confiança”, que són les forquilles entre les quals podem dir, amb un nivell de confiança raonable (generalment, el 95%), que es troba la dada que volem mesurar.

El repartiment d’escons

En el cas dels càlculs d’escons, la qüestió de la incertesa és encara una mica més complicada perquè, a més de la incertesa associada a l’estimació de vot, cal tenir en compte els efectes del sistema electoral.

Primer, cal que tinguem present que els escons es reparteixen en cada circumscripció. Això fa que haguem d’estimar la intenció de vot en cada província, a partir de les dades del conjunt de Catalunya.

I, segon, per traduir la intenció de vot en una estimació d’escons cal emprar la regla d’Hondt, que és la que es fa servir a les eleccions. Tanmateix, l’aplicació d’aquesta regla sovint fa que alguns escons s’assignin per pocs vots de diferència. Per això, nosaltres el que fem és el següent: emprant l’estimació d’intenció de vot -i la seva incertesa associada-, simulem uns quants milers de vegades el repartiment d’escons en cada circumscripció. De totes aquestes simulacions, que varien una mica entre elles, en descartem el 5% més baix i el 5% més alt per cada partit, i presentem la forquilla de les que queden. D’aquesta manera, excloem els casos més extrems que es podrien donar, i ens quedem amb els que són més probables.

El resultat de tot això són forquilles de resultats una mica més àmplies del que són habituals. Entenem que pot ser una mica decebedor per qui està acostumat a “prediccions” més precises. Tot i això, des del nostre punt de vista, és més transparent i honest fer-ho d’aquesta manera perquè les enquestes són útils per veure les tendències generals però, com sabem, no tenen prou precisió per fer estimacions tan detallades com les que es presenten de vegades. De fet, considerem que fer veure que tenim un nivell de precisió superior al que realment tenim amb les nostres mostres és una mala praxi en la comunicació de les dades, i per això, des d’un centre públic com el CEO, en volem defugir.