Etiqueta: població

Les noves enquestes del CEO

xarxesDeixa un comentari
imatge decorativa

Al llarg del darrer any hem estat treballant en un canvi metodològic important al CEO: hem començat a treballar amb enquestes autoadministrades gestionades internament. Bàsicament, es tracta de convidar, per correu postal, a una mostra aleatòria de la població de Catalunya a respondre (en línia o en paper) a les nostres enquestes des de casa seva.

De moment, aquestes enquestes conviuen amb les enquestes domiciliàries que el CEO ha fet habitualment en els darrers anys, però ens plantegem un procés progressiu de canvi metodològic. Es tracta d’una transició que es planteja en molts altres països. En alguns casos, la pandèmia va accelerar el canvi i en d’altres ja venia d’enrere. Al Regne Unit, el Centre for Social Survey Transformation treballa en aquests processos de transició, i l’American Association for Public Opinion Research ha publicat una guia detallada sobre aquestes transicions.

Per la nostra banda, hem estudiat amb deteniment diverses experiències, com el Norwegian Citizen Panel, el Swedish Citizen Panel o la darrera onada de l’Enquesta Social Europea a Espanya.

Entre el desembre de 2022 i el gener de 2023 vam realitzar la primera prova d’aquest  mètode. Concretament, vam fer el treball de camp de l’Enquesta sociopolítica. 2022 i de l’Enquesta de valoració del Govern i les polítiques públiques. 2022 emprant aquesta metodologia.

En aquest apunt volem explicar amb detall com hem fet aquesta primera prova, així com les raons que ens han portat a fer-ho així. Actualment, estem treballant en una avaluació a fons d’aquesta prova, que realitzem juntament amb el RECSM de la Universitat Pompeu Fabra. Quan estigui enllestit l’informe, el publicarem al web del CEO i en parlarem en aquest blog.

Com ho hem fet?


Per començar el nostre projecte, hem establert un rigorós procés de selecció de persones que convidarem a respondre l’enquesta. Per fer-ho, treballem amb una extracció de dades del Registre de Població de Catalunya que ens facilita l’Institut d’Estadística de Catalunya (IDESCAT).

Per tal de garantir la representativitat, la mostra s’extreu de forma aleatòria. Dit d’una altra manera: fem un “sorteig” entre totes les persones de 16 i més anys empadronades a Catalunya per triar les que convidarem a respondre. El mostreig que utilitzem és estratificat per la tipologia de seccions censals que emprem per les nostres mostres presencials, com expliquem aquí.

Amb aquest procediment, han sigut seleccionades 40.000 persones residents a Catalunya de 16 anys o més per participar en el projecte. Aquestes 40.000 persones han rebut una carta física amb un enllaç i un codi QR des del qual han pogut accedir al qüestionari en línia, tot garantint l’accés de forma anònima i sense necessitat de descàrregues ni instal·lacions de cap tipus de programari. Això ha permès que hagin respost les preguntes de manera privada, tot garantint una major confidencialitat per a les persones participants.  

Per augmentar la taxa de resposta, s’ha enviat una segona carta de recordatori per aquelles persones que encara no havien contestat l’enquesta, donant una nova oportunitat per participar en el projecte. Després d’un temps adequat, les persones que encara no havien contestat en línia han rebut una tercera carta amb el qüestionari imprès en paper, que han pogut retornar omplert al CEO amb el franqueig pagat. Aquesta opció és molt important, ja que permet que les persones que no se senten còmodes contestant en línia, o que no volen contestar les enquestes a través d’Internet, també puguin participar en l’enquesta. Al voltant d’una de cada cinc respostes que hem rebut ha sigut en paper.

Els resultats

Actualment estem en procés d’avaluació d’aquesta primera experiència amb aquesta metodologia. Tanmateix, podem dir ja que hem obtingut una taxa de resposta del voltant del 28% de les cartes enviades, amb un predomini de les respostes en línia (80%) però amb una important presència del paper també. Es tracta d’una taxa de resposta comparativament elevada.

Pel que fa a la representativitat de la mostra obtinguda, observem un molt bon ajustament en variables com el sexe o l’edat, i algunes desviacions pel que fa al nivell d’estudis o al lloc de naixement. Tanmateix, el fet de treballar amb mostres grans ens permet utilitzar les ponderacions per corregir aquestes desviacions i obtenir una mostra final ponderada plenament representativa de la població pel que fa a aquestes variables.

Per què hem fet aquest canvi?

Com dèiem, el procés de transformació és comú en altres països. Els canvis socials, culturals i tecnològics ens empenyen en aquesta direcció. Per nosaltres, aquesta nova metodologia té quatre avantatges principals respecte les altres opcions, com la telefònica:


1. Ens permet realitzar un procediment de mostreig nominal i aleatori. Podem conèixer perfectament la probabilitat de cada persona de ser inclosa a la mostra. 
2. Representa un estalvi de costos unitaris important respecte a altres opcions com la presencial. Per tant, amb els mateixos recursos podem realitzar moltes més enquestes. Això ens ha de permetre fer més estudis, fer estudis més grans i estudiar subgrups de la població (territorials, generacionals, etc.).
3. Podem internalitzar bona part de la recollida de dades, cosa que ens dona un control més gran sobre tot el procés, singularment sobre la programació dels qüestionaris (que realitzem mitjançant la plataforma Qualtrics).
4. El fet de fer enquestes autoadministrades ens permet superar els biaixos que pot introduir la presència de persones en el moment de respondre, que són els coneguts efectes d’entrevistador.

En properes entrades del blog anirem desgranant alguns elements addicionals d’aquest nou projecte i dels resultats que hem anat obtenint.

Les mostres del CEO

xarxesDeixa un comentari

Com triem les persones que enquestem en les enquestes presencials?

Quan fem enquestes presencials, els enquestadors que contractem van a visitar persones a les seves llars per fer-los l’enquesta. El procediment de selecció de les llars que visitem és fonamental per obtenir una mostra representativa de la població catalana. Per això, hi posem molta cura. En aquesta entrada del blog descriurem de manera detallada i accessible el procés que seguim al CEO per seleccionar aquestes mostres.

Selecció dels punts de mostreig

El primer que hem de fer és seleccionar els punts de mostreig: és a dir, els llocs de Catalunya als quals enviarem les persones enquestadores a picar a les portes. Per raons de cost, no podem enviar persones a 2.000 punts diferents del país a fer-hi una enquesta i, per això, seleccionem (aproximadament) uns 200 punts de mostreig on s’hi realitzaran unes 10 enquestes. Això permet aprofitar els viatges i les jornades de treball de les persones enquestadores.

Aquests 200 punts de mostreig són seccions censals, que és la unitat de territori més petita sobre la que tenim informació. Corresponen, generalment, a una o dues meses electorals. A Catalunya, hi ha unes 5084 seccions censals. Per triar-ne 200 fem servir un procediment aleatori (de sorteig), però amb alguna particularitat.

La primera és que dividim les seccions en sis grups (o clústers) de seccions que són semblants entre elles des del punt de vista electoral. Tenim seccions més abstencionistes i menys, amb més vot a partits independentistes i menys, etc. Aquests sis grups de seccions els construïm a partir dels resultats de les darreres eleccions al Parlament, emprant l’algoritme k-means per fer els clústers.

Calculem quina proporció de l’electorat viu a cadascun d’aquests sis grups i determinem, proporcionalment, quantes seccions de cada grup hem de triar. Un cop hem fet això, les seleccionem aleatòriament dins de cada grup, però ho fem de manera proporcional a la mida de la secció: com que hi ha seccions més poblades i d’altres menys, i el que volem és representar la població, fem el sorteig de tal manera que la probabilitat que tenen les seccions de ser escollides és proporcional a la població.

Aquest procediment, el qual és aleatori i automàtic, ens permet generar moltes mostres diferents. Per triar-ne una, les comparem amb els resultats de les darreres eleccions (totes s’hi ajusten molt bé) però també amb altres característiques sociodemogràfiques del país, com l’estructura d’edat, origen de la població, etc. Finalment, tenim en compte també criteris logístics i de cost: la quantitat de municipis a visitar, els kilòmetres que cal fer i el temps de desplaçament. Emprant tots aquests criteris, seleccionem una mostra de seccions censals que lliurarem a l’empresa.

Finalment, també escollim les seccions substitutes, les quals s’utilitzaran en cas que en la secció escollida no es puguin completar les 10 enquestes. El criteri per escollir les substitutes és la proximitat geogràfica (prioritzem les seccions adjacents) i la similitud sociopolítica. Cal remarcar que la gran majoria d’enquestes es realitzen dins de les seccions.

És important mencionar que tot aquest procediment de selecció de mostra és totalment automàtic i públic: al nostre repositori de Github hi publiquem el codi detallat que fem servir per seleccionar punts de mostreig.

Selecció de persones

Dins de cada secció censal, cal seleccionar les (aproximadament) 10 persones a entrevistar. Això ho fan les persones enquestadores sobre el terreny, emprant rutes aleatòries dins la secció. Es seleccionen les llars, a les quals es demana col·laboració, de manera aleatòria.

Per acabar, triem els individus a enquestar en funció de quotes creuades de sexe, edat i lloc de naixement. Aquestes quotes ens permeten garantir que mostra sigui equilibrada amb la població en aquestes tres variables.

Resultats

Tot aquest procediment de mostreig acaba generant mostres de persones que volen representar el conjunt de la societat catalana. Per avaluar la representativitat d’una mostra, el que podem fer és comparar les seves característiques amb les de la població de referència en aquelles variables que ens siguin conegudes. Aquest exercici el fem amb cada enquesta, i l’incorporem als informes de resultats. Per exemple, en el darrer baròmetre de 2022, vam obtenir aquests resultats, pel que fa al nivell d’estudis i la llengua. Com es pot veure, les nostres dades no es desvien significativament dels valors poblacionals en aquestes dues variables.

Evidentment, la representativitat de les mostres és una qüestió complexa, i pot estar amenaçada per diversos factors que estan fora del nostre control. Un de fonamental és la no-resposta a les enquestes: les persones que decideixen no col·laborar amb nosaltres poden tenir un perfil diferent de les que sí que ho fan, i això, lògicament, pot afectar els resultats. Quan tenim la informació necessària, podem corregir les distorsions mitjançant l’ús de les ponderacions. Però això ho explicarem amb detall en una altra entrada.