Al llarg del darrer any hem estat treballant en un canvi metodològic important al CEO: hem començat a treballar amb enquestes autoadministrades gestionades internament. Bàsicament, es tracta de convidar, per correu postal, a una mostra aleatòria de la població de Catalunya a respondre (en línia o en paper) a les nostres enquestes des de casa seva.

De moment, aquestes enquestes conviuen amb les enquestes domiciliàries que el CEO ha fet habitualment en els darrers anys, però ens plantegem un procés progressiu de canvi metodològic. Es tracta d’una transició que es planteja en molts altres països. En alguns casos, la pandèmia va accelerar el canvi i en d’altres ja venia d’enrere. Al Regne Unit, el Centre for Social Survey Transformation treballa en aquests processos de transició, i l’American Association for Public Opinion Research ha publicat una guia detallada sobre aquestes transicions.

Per la nostra banda, hem estudiat amb deteniment diverses experiències, com el Norwegian Citizen Panel, el Swedish Citizen Panel o la darrera onada de l’Enquesta Social Europea a Espanya.

Entre el desembre de 2022 i el gener de 2023 vam realitzar la primera prova d’aquest  mètode. Concretament, vam fer el treball de camp de l’Enquesta sociopolítica. 2022 i de l’Enquesta de valoració del Govern i les polítiques públiques. 2022 emprant aquesta metodologia.

En aquest apunt volem explicar amb detall com hem fet aquesta primera prova, així com les raons que ens han portat a fer-ho així. Actualment, estem treballant en una avaluació a fons d’aquesta prova, que realitzem juntament amb el RECSM de la Universitat Pompeu Fabra. Quan estigui enllestit l’informe, el publicarem al web del CEO i en parlarem en aquest blog.

Com ho hem fet?

Per començar el nostre projecte, hem establert un rigorós procés de selecció de persones que convidarem a respondre l’enquesta. Per fer-ho, treballem amb una extracció de dades del Registre de Població de Catalunya que ens facilita l’Institut d’Estadística de Catalunya (IDESCAT).

Per tal de garantir la representativitat, la mostra s’extreu de forma aleatòria. Dit d’una altra manera: fem un “sorteig” entre totes les persones de 16 i més anys empadronades a Catalunya per triar les que convidarem a respondre. El mostreig que utilitzem és estratificat per la tipologia de seccions censals que emprem per les nostres mostres presencials, com expliquem aquí.

Amb aquest procediment, han sigut seleccionades 40.000 persones residents a Catalunya de 16 anys o més per participar en el projecte. Aquestes 40.000 persones han rebut una carta física amb un enllaç i un codi QR des del qual han pogut accedir al qüestionari en línia, tot garantint l’accés de forma anònima i sense necessitat de descàrregues ni instal·lacions de cap tipus de programari. Això ha permès que hagin respost les preguntes de manera privada, tot garantint una major confidencialitat per a les persones participants.  

Per augmentar la taxa de resposta, s’ha enviat una segona carta de recordatori per aquelles persones que encara no havien contestat l’enquesta, donant una nova oportunitat per participar en el projecte. Després d’un temps adequat, les persones que encara no havien contestat en línia han rebut una tercera carta amb el qüestionari imprès en paper, que han pogut retornar omplert al CEO amb el franqueig pagat. Aquesta opció és molt important, ja que permet que les persones que no se senten còmodes contestant en línia, o que no volen contestar les enquestes a través d’Internet, també puguin participar en l’enquesta. Al voltant d’una de cada cinc respostes que hem rebut ha sigut en paper.

Els resultats

Actualment estem en procés d’avaluació d’aquesta primera experiència amb aquesta metodologia. Tanmateix, podem dir ja que hem obtingut una taxa de resposta del voltant del 28% de les cartes enviades, amb un predomini de les respostes en línia (80%) però amb una important presència del paper també. Es tracta d’una taxa de resposta comparativament elevada.

Pel que fa a la representativitat de la mostra obtinguda, observem un molt bon ajustament en variables com el sexe o l’edat, i algunes desviacions pel que fa al nivell d’estudis o al lloc de naixement. Tanmateix, el fet de treballar amb mostres grans ens permet utilitzar les ponderacions per corregir aquestes desviacions i obtenir una mostra final ponderada plenament representativa de la població pel que fa a aquestes variables.

Per què hem fet aquest canvi?

Com dèiem, el procés de transformació és comú en altres països. Els canvis socials, culturals i tecnològics ens empenyen en aquesta direcció. Per nosaltres, aquesta nova metodologia té quatre avantatges principals respecte les altres opcions, com la telefònica:

1. Ens permet realitzar un procediment de mostreig nominal i aleatori. Podem conèixer perfectament la probabilitat de cada persona de ser inclosa a la mostra. 
2. Representa un estalvi de costos unitaris important respecte a altres opcions com la presencial. Per tant, amb els mateixos recursos podem realitzar moltes més enquestes. Això ens ha de permetre fer més estudis, fer estudis més grans i estudiar subgrups de la població (territorials, generacionals, etc.).
3. Podem internalitzar bona part de la recollida de dades, cosa que ens dona un control més gran sobre tot el procés, singularment sobre la programació dels qüestionaris (que realitzem mitjançant la plataforma Qualtrics).
4. El fet de fer enquestes autoadministrades ens permet superar els biaixos que pot introduir la presència de persones en el moment de respondre, que són els coneguts efectes d’entrevistador.

En properes entrades del blog anirem desgranant alguns elements addicionals d’aquest nou projecte i dels resultats que hem anat obtenint.