Notas de investigación

 

Notas para la evaluación de las encuestas preelectorales. Las elecciones para gobernador de 2010 en México

 

Notes for the Evaluation of Pre-Election Polls: The 2010 Elections for Governor in Mexico

 

Vidal Romero*

 

*Vidal Romero es profesor-investigador del Departamento de Ciencia Política del Instituto Tecnológico Autónomo de México. Río Hondo núm. 1, Tizapán-San Ángel. Tel: +52 (55) 56 28 40 00, ext. 3715. Correo electrónico: vromero@itam.mx.

 

Artículo recibido el 26 de septiembre de 2010
Aceptado para su publicación el 9 de mayo de 2011.

 

Resumen

Muchas de las encuestas preelectorales que se publicaron en 2010 para las elecciones de gobernador en México no fueron acertadas. Esto ha reforzado muchas de las dudas sobre las encuestas, que van desde la capacidad del método para medir preferencias, hasta la honorabilidad de los encuestadores. Para el 2010, no hay evidencia sistemática de que las diferencias entre encuestas y elecciones se deban a efectos de elección, pero sí hay evidencia de efectos de la casa encuestadora. En esta nota exploro distintas hipótesis utilizando los datos disponibles de las encuestas preelectorales publicadas para las doce entidades con elecciones para gobernador en 2010. También detallo otros determinantes que por ahora no pueden verificarse debido a la ausencia de datos públicos, por lo que quedarán pendientes para una futura investigación.

Palabras clave: encuestas, efecto de casa, efecto de elección, elecciones estatales de 2010 en México, espiral del silencio.

 

Abstract

Many of the pre-election polls published in 2010 that centered on the elections for governor in Mexico were incorrect. This has strengthened many of the misgivings that already existed about public opinion polls that bring into question the effectiveness of the methods used to measure preferences or the honesty of the pollsters. For 2010, there is no systematic evidence that suggests that the discrepancies between the polls and the election results are due to election effects. On the other hand, there is evidence of polling house effect. In this note, I explore several hypotheses based on the available data from preelection polls published for the twelve entities with elections for governors during 2010.1 also mention other determinants that, because of the absence of any public data, cannot be substantiated at this time and thus must be left for future research.

Keywords: polls, house effect, election effect, 2010 state elections in Mexico, spiral of silence.

 

Introducción

La notable diferencia entre los datos de varias de las encuestas preelectorales y los resultados de las elecciones estatales del 4 de julio de 2010 generaron preocupación en los expertos en el tema y desconfianza en el público consumidor, lo que propició que ambos grupos se preguntaran por qué tantas encuestadoras fallaron¹ en sus predicciones.

Para ayudar a responder a esta pregunta, en esta nota de investigación exploro las distintas hipótesis sobre la causa de las diferencias entre las estimaciones de las encuestas y el resultado de la elección que son investigables, es decir, aquellas para las que existen datos públicos suficientes. Detallo también los potenciales determinantes de las diferencias que por ahora no pueden investigarse debido a la falta de información; los detallo con el propósito de establecer el tipo de información que necesitaríamos en un futuro para continuar con la investigación sobre el tema y como una invitación a las casas encuestadoras para que la hagan pública, como se hace en otros países —sobre todo Estados Unidos.

Para efectos analíticos divido las hipótesis que explican las diferencias entre encuestas y elecciones en dos tipos generales: efectos de elección y efectos de casa encuestadora. En función de los datos disponibles, pongo a prueba hipótesis específicas dentro de cada categoría.

La hipótesis general de efectos de elección señala que la diferencia entre la encuesta y la elección se debe a eventos contextúales específicos de una elección, o subconjuntos de elecciones, que no son considerados por el encuestador y que sesgan la estimación de las preferencias electorales respecto a la distribución poblacional real de dichas preferencias. Los temas específicos de efectos de elección que exploro son: a) eventos "impredecibles", b) ocultamiento de preferencias de los entrevistados y c) alianzas electorales.

La hipótesis general de efectos de casa encuestadora se refiere a que las diferencias entre los datos de intención de voto de la encuesta y el resultado de la elección se generan por sesgos sistemáticos de cada casa encuestadora tanto en la estimación de las preferencias electorales en distintas elecciones a lo largo del tiempo como en una ronda en un mismo punto del tiempo. La naturaleza privada de los datos para el caso de México limita la posibilidad de verificar exhaustivamente las fuentes específicas de los sesgos por casa encuestadora—por ejemplo, sesgos debidos al diseño del cuestionario, trabajo de campo o diseño de muestra— quedando esto para una futura investigación, como lo detallo en la sección de agenda de investigación.

De la información disponible analizada en esta nota se desprende la existencia de claros efectos de casa encuestadora; buena parte de las empresas que más encuestas publicaron en los procesos para gobernador de 2010 sistemáticamente sobrerrepresentaron al Partido Revolucionario Institucional (PRI) y subrepresentaron a los principales opositores de este partido. Los datos que aquí se analizan no muestran evidencia sistemática de efectos de elección.

Dadas las restricciones de disponibilidad de información, esta nota de investigación no puede ser exhaustiva en la comprobación de las hipótesis, pero contribuye en dos instancias: primero, al incentivar la investigación del tema desde una perspectiva académica enfocada en la parte técnica de las encuestas, la cual va más allá de la descripción periodística y de la discusión sobre la honorabilidad de los encuestadores y sus sospechadas ligas partidistas y, segundo, al plantear la necesidad de hacer disponible más información sobre las encuestas publicadas para poder concentrarnos en analizar de forma rigurosa el método y que así el análisis de encuestas públicas deje de ser un acto de fe.

La respuesta a por qué fallaron las encuestas en 2010 va más allá de resolver una discusión sobre encuestadores o el reducido segmento de consumidores que entienden las entrañas de la industria de las encuestas; trasciende al papel que las encuestas tienen en la vida pública. Existe, por ejemplo, evidencia de los efectos positivos de las encuestas en entornos autoritarios, como los que aún prevalecen en algunas entidades de México.²

Más allá de notas descriptivas, la investigación sistemática sobre los determinantes de la precisión de las encuestas preelectorales es muy escasa en México. Resaltan las diferencias con otras naciones en donde el desarrollo de la investigación académica sobre el tema es notable, en especial en Estados Unidos, en donde existe una amplísima literatura y un fructífero debate sobre cómo realizar mejores pronósticos electorales; véanse, por ejemplo, Gelman y King (1993), Mitofsky (1998), Erikson et al. (2004) y Traugott (2005). Otros buenos ejemplos son Francia (Durand et al., 2004; Durand, 2008), e Italia (Callegaro y Gasperoni, 2010). Para el caso mexicano, existen varios trabajos que evalúan la precisión de las encuestas preelectorales, como, por ejemplo, Basáñez (1997), Beltrán (2000a y 2000b), Giménez y Romero (2000), las memorias del taller de Sumiya sobre la elección del 2000 que presenta el IFE (2001), Alduncin (2006), Estévez (2010), Moreno (2010) y Várela (2010); sin embargo, con muy pocas excepciones³ dichos trabajos se han quedado en el nivel descriptivo y la investigación no se ha continuado al punto de indagar en los determinantes de las diferencias entre las encuestas y el resultado electoral.

En la siguiente sección evalúo la precisión de las encuestas publicadas en las elecciones para gobernador usando distintas métricas, con el propósito de ofrecer elementos para determinar formas generales de evaluación de las encuestas que puedan seguirse en el tiempo. En la tercera parte exploro distintas hipótesis sobre los determinantes de las diferencias entre las encuestas y el resultado electoral. En la cuarta sección detallo la agenda de investigación que contiene los determinantes que por el momento no son verificables por la falta de información pública.

 

Contexto y precisión de las encuestas preelectorales de 2010

El 4 de julio de 2010 se celebraron elecciones para gobernador en 12 de las 32 entidades de México. Desde una perspectiva nacional lo que se disputaba en el conjunto de elecciones era la ratificación, o no, de que el PRI era el partido con más simpatías y el mejor posicionado para ganar la próxima elección presidencial de 2012. Ante esto, los principales partidos opositores, el Partido Acción Nacional (PAN) y el Partido de la Revolución Democrática (PRD), crearon alianzas electorales en cinco entidades en donde el PRI mantenía históricamente la hegemonía: Durango, Hidalgo, Oaxaca, Puebla y Sinaloa. Esto suscitó una acalorada discusión pública sobre la viabilidad práctica y normativa de las alianzas entre un partido de izquierda —el PRD— y otro de derecha —el PAN—. Al final, las alianzas ganaron tres de las cinco elecciones en que participaron.

En el terreno local, sin embargo, los temas de campaña fueron mucho menos abstractos y más enfocados a la problemática de cada estado; encontramos, como esperaríamos, una significativa varianza en el contexto electoral estado por estado, lo que complicaba ciertamente el trabajo de las encuestadoras nacionales al tener que abarcar múltiples elecciones celebradas de forma simultánea.

La alta expectativa generada en el ámbito nacional por verificar si el PRI era derrotado o no creó incentivos para que las casas encuestadoras levantaran encuestas en muchas entidades. Sin embargo, gran parte de las encuestas publicadas en los días previos al día de las elecciones para gobernador de 2010 (y seguramente muchas de las privadas también) presentó estimaciones de la intención de voto que estuvieron fuera de su margen de error muestral en relación con el resultado electoral. Esto despertó justificada preocupación en productores y consumidores de encuestas electorales, lo que puso en duda la utilidad de las encuestas preelectorales para predecir las elecciones.⁴

Hay distintas formas de medir la precisión de las encuestas preelectorales respecto al resultado de la elección. El cuadro 1 contiene cuatro formas de evaluar las encuestas considerando la última encuesta publicada por cada empresa hasta 45 días antes de la fecha de la elección.⁵

La primera columna de datos contiene el porcentaje de encuestas en que cada empresa acertó al ganador; aquí sólo siete de las 17 empresas en muestra acertaron al ganador en todas las elecciones en que encuestaron, lo que es una proporción muy baja, dado que lo mínimo que se le puede pedir a una encuesta preelectoral es que indique quién ganará la elección. Esta medida tiene la seria desventaja de que no dice nada sobre si las estimaciones de la encuesta efectivamente aproximan el dato de la elección dentro del margen de error muestral o no, es decir si es "estadísticamente acertada".

La segunda columna de datos ya considera esto y presenta la proporción de encuestas en que cada empresa acertó en margen de error de forma conjunta al primero y al segundo lugar, tomando como línea de corte +/- 3 por ciento, que es la mediana de las encuestas en la muestra.⁶ Ésta es una mejor aproximación a la precisión estadística del instrumento. Aquí el desempeño de las encuestadoras es aún peor. De las casas encuestadoras que más publicaron, el mejor desempeño es de El Universal sólo acertó 60 por ciento de las encuestas que realizó, una proporción cercana a un volado. Consulta-Mitofsky sólo acertó 13 por ciento de las encuestas que realizó y el Gabinete de Comunicación Estratégica (GCE) y Reforma no acertaron en ninguna elección a la proporción de preferencias por primero y segundo lugar dentro del margen de error. Dado que estas encuestas son las que más publicidad recibieron, esto significó un daño importante para la reputación de las encuestas preelectorales en esta ronda de elecciones.

La tercera columna de datos es la medida 3 de Mosteller (Mosteller et al, 1949), una de las más utilizadas en Estados Unidos, que es el promedio de la diferencia entre la encuesta y el resultado de la elección para los dos candidatos punteros. Con esta métrica, de las empresas que publicaron en más de una entidad, Espacio Muestral y El Universal fueron las encuestadoras que más se acercaron a estar dentro de ese margen de error. A partir de estas dos, el récord de las encuestadoras empeora.

La medida anterior no es la más apropiada para elecciones en que hay más de dos candidatos compitiendo; el problema es que si incluimos a todos los candidatos, especialmente a aquellos con bajas proporciones de voto, la medida tiende a subestimar el error promedio al incluir en el cálculo a candidatos con baja proporción de voto y muy probablemente bajos errores respecto a proporciones mayores. Para corregir esto, la cuarta columna presenta la suma de errores absolutos de todos los candidatos contendientes dividida entre el número efectivo de candidatos en la elección. Para el caso de esta ronda de elecciones, que tendieron al bipartidismo, esta métrica arroja resultados muy similares a la anterior.⁷

Así, prácticamente con cualquiera de las métricas aquí presentadas el panorama general es de un mal desempeño de las encuestas en las elecciones para gobernador de 2010.

 

¿Qué determinó las diferencias entre las encuestas y el resultado electoral?

Una vez descritos los patrones de las diferencias entre encuestas y elecciones, el siguiente paso es explicar por qué se presentaron dichas diferencias. En esta sección exploro las principales hipótesis para las que hay datos disponibles.

Para efectos analíticos y como establezco en la introducción, divido en dos categorías los determinantes de las diferencias entre encuestas y elecciones: a) efectos de elección y b) efectos de casa encuestadora. Dada la estructura de los datos (una n reducida y observaciones no independientes por casa encuestadora y por elección), la verificación de las hipótesis se realiza principalmente con base en pruebas de diferencia de medias y con la comparación de diferencias. No utilizo otros métodos mejor equipados para verificar efectos, como el de regresión por mínimos cuadrados, porque demandan un mayor número de observaciones que las disponibles y distribuciones específicas para satisfacer los supuestos de dichos modelos.⁸

En todos los casos utilizo como proxy para la divergencia entre la estimación de la encuesta y el resultado de la elección la suma de las diferencias por candidato dividida entre el número efectivo de partidos —la medida que presento en la cuarta columna de datos del cuadro 1—. Ésta es la medida que considero más robusta a distintos escenarios de competencia.

 

Efectos de elección

Por "efectos de elección" me refiero a factores específicos a una elección o subconjunto de elecciones que no considera el encuestador en su estimación de la preferencia electoral y que determinan buena parte de la diferencia entre la estimación muestral de la encuesta y el dato poblacional de la elección. Exploro en los siguientes párrafos tres fuentes de efectos de elección: eventos impredecibles, ocultamiento de preferencias sinceras y alianzas electorales.

Eventos impredecibles

La hipótesis específica de eventos impredecibles señala que la diferencia entre el resultado de la encuesta y el de la elección se debe a que entre los días en que se aplican los cuestionarios y el día de la elección algún o algunos sucesos impredecibles modificaron las preferencias electorales.

Ciertamente las encuestas no pueden predecir lo impredecible, lo que no implica que todo lo que suceda entre el levantamiento de la encuesta y el día de la elección no sea predecible. Hay eventos que el investigador podría predecir como, por ejemplo, movilizaciones el día de la elección o compra masiva del voto.

Para el caso de las elecciones de 2010 habría que observar dos casos: Tamaulipas, en donde el candidato del PRI fue asesinado una semana antes de la elección, y Tlaxcala, en donde la candidata del PRD declinó de manera informal en favor de la candidata del PAN unos días antes de la elección. En el resto de las elecciones para gobernador de 2010 es difícil presentar un buen caso que justifique la presencia de eventos impredecibles.⁹

Si esta hipótesis fuera cierta, entonces deberíamos observar que las diferencias entre las encuestas y la elección en las entidades con eventos inesperados son sistemáticamente mayores que las del resto de las entidades. El cuadro 2 presenta la comparación entre las diferencias de las encuestas de las dos entidades con "eventos impredecibles" (Tamaulipas y Tlaxcala) y las diferencias con el resto de las entidades. De esta información, en el caso de Tlaxcala, parece haber alguna evidencia de que eventos coyunturales hayan alterado las preferencias de forma significativa en los días previos a la elección, pero no en Tamaulipas.

En el caso de Tlaxcala el PRD está significativamente sobreestimado en ambas encuestas. Los datos indican que los perredistas efectivamente dejaron de votar por su candidata, que había declinado informalmente en días previos a favor de la candidata del PAN, y algunos de estos perredistas efectivamente votaron por el PAN. Para verificar esta hipótesis de forma más sólida habría que hacerlo con datos de encuestas de salida para ver si efectivamente una proporción significativa de perredistas votaron por el PAN.

En el caso de Tamaulipas no hay evidencia de que el asesinato del candidato del PRI haya afectado las preferencias electorales. No se observan diferencias sistemáticas entre los errores para PAN, PRI y PRD en esta entidad comparados con el resto. Para esta elección se publicaron dos encuestas. Por un lado, la encuesta de GCE tuvo una diferencia considerable en relación con el resultado electoral, sobreestimó en más de 8 por ciento al PRI y subestimó al PAN en más de 11 por ciento, lo que iría en el sentido de la hipótesis de eventos inesperados; sin embargo, Consulta-Mitofsky tuvo en Tamaulipas su mejor predicción de los nueve estados en que publicó encuestas. Si hubiese existido un cambio drástico en las preferencias de la población estudiada, esto se debió reflejar en ambas encuestas, no sólo en la de GCE.

En el mismo sentido, Estévez (2010) muestra que no hay relación entre los días que existen entre el levantamiento y la elección con el error promedio para el conjunto de elecciones a gobernador de 2010; es decir, no hay evidencia de que sucesos en el periodo de veda de encuestas públicas afectaran la precisión de las mismas.¹⁰

 

Ocultamiento de preferencias sinceras

Respecto al ocultamiento de preferencias sinceras, la hipótesis sería que la diferencia entre el resultado de la encuesta y el de la elección se debe a que los entrevistados no manifestaron su preferencia electoral sincera durante la entrevista de la encuesta.

Un potencial efecto es el conocido como espiral del silencio¹¹ que en el contexto de las elecciones de 2010 implicaría la existencia de presión exógena para que un segmento de los entrevistados que prefieren a los contrincantes del PRI no manifestaran su preferencia real, lo que provocó que la proporción estimada de voto de la oposición al PRI estuviera subrepresentada. Los votos faltantes de los oponentes al PRI estarían en las no respuestas, lo que causaría el efecto de inflar las proporciones a favor del PRI y subrepresentar las de la oposición a este partido.¹² Si fuese cierto que existió un efecto de espiral del silencio, entonces éste debería ser común a todas las encuestas dentro de cada entidad, ya que es algo que depende del contexto del entrevistado y no del encuestador.¹³

Hay dos vertientes de este argumento por explorar. Primero, verificar si hay alguna relación entre las tasas de no respuesta y las diferencias entre las encuestas y la elección, si la hipótesis de ocultamiento de preferencias fuera cierta, entonces deberíamos observar sistemáticamente mayores tasas de no respuesta en donde más fallaron las encuestas.

Los datos, sin embargo, no aportan evidencia para sostener esta hipótesis. Por el contrario, la relación de las no respuestas con las diferencias de las encuestas con la elección es negativa como se aprecia en la gráfica 1.¹⁴

Además, la variación de la tasa de no respuesta dentro de cada elección es muy amplia, por ejemplo, en Oaxaca va de 10 por ciento de Prospecta a 35 por ciento de Parametría, en Tamaulipas Consulta-Mitofsky reporta 13 por ciento y GCE 32 por ciento. Si existieron sesgos por la no respuesta como manifestación de una potencial espiral del silencio, entonces deberíamos ver tasas sistemáticamente altas en todas las encuestas, no sólo en algunas.

El efecto de espiral del silencio también podría generarse a partir de un contexto de potencial intimidación desde el gobierno; si esto es cierto, entonces deberíamos ver más diferencias entre la encuesta y la elección en entidades con gobiernos menos democráticos respecto a entidades más democráticas. La gráfica 2 muestra dos diagramas de caja y brazos que muestran la distribución de diferencias para entidades hegemónicas y no hegemónicas para el PRI.

Se observa que la mediana de las entidades no hegemónicas es mayor, en el sentido de la hipótesis, la diferencia de medias es significativa apuntando en el mismo sentido. Sin embargo, de la distribución también observamos que hay varios puntos de traslape de ambas distribuciones y de los datos observamos que no todas las encuestas se equivocaron en todas las elecciones en entidades hegemónicas, por lo que no puede ser un efecto de elección si sólo algunas encuestas están sesgadas en cada elección.

Otra forma de aproximar un contexto potencialmente intimidante para el entrevistado es la inseguridad. Nótese, sin embargo, que argumentar que la inseguridad intimidó a los entrevistados a responder sinceramente implica que la subpoblación en zonas inseguras se distribuye sistemáticamente de forma distinta en su preferencia electoral que la población que habita en zonas más seguras, generando de esta forma el sesgo en la estimación de la encuesta respecto al resultado de la elección. Si este supuesto es falso, entonces este argumento también lo es.

Dado lo difícil que resulta reflejar el fenómeno de la inseguridad en términos de intimidación al entrevistado para expresar su preferencia sincera y la ausencia de un único indicador que refleje el "clima de inseguridad", aproximo este fenómeno a partir de dos variables: por la tasa de delitos del fuero común y por el número de ejecutados por entidad, ambos estimados por cada 100 000 habitantes.

En las gráficas 3 y 4 se observa que no existe una relación positiva sistemática entre la diferencia promedio por entidad y estas dos variables con las que aproximo el clima de inseguridad. De hecho, la relación de las diferencias de la encuesta con la elección y el número de delitos del fuero común es negativa, lo que es contrario a la hipótesis de que a mayor inseguridad corresponde mayor diferencia entre la encuesta y la elección. La correlación de Spearman entre el número de delitos del fuero común y la suma de diferencias entre el número efectivo de partidos es de -0.54, significativa al nivel de 0.07.¹⁵

El número de ejecutados por entidad tiene una relación nula con la suma de las diferencias entre el número efectivo de partidos, según se aprecia en la gráfica 4; la correlación de Spearman con el promedio de las diferencias entre el número efectivo de partidos es de -0.01 y es no significativa aniveles menores a 0.10.¹⁶

 

Alianzas electorales

El último caso de efectos de elección que aquí exploro es el de la presencia de alianzas electorales. La hipótesis establece que la diferencia entre el resultado de la encuesta y el de la elección fue mayor en elecciones en donde participaban alianzas electorales del PAN y el PRD comparado con elecciones en donde participaban de forma separada. Nótese que para que esto califique como un efecto de elección es necesario que el error sea común a todas las empresas que realizaron encuestas en una misma elección con alianzas; de otra forma, se trataría de un efecto de casa encuestadora.

Para verificar esta hipótesis realizo una prueba de diferencia de medias entre los promedios de diferencias del subgrupo de entidades con alianzas y del subgrupo sin alianzas. La media de las diferencias entre el número efectivo de partidos para entidades con alianza es de 7.0 por ciento (n = 34), mientras que para entidades sin alianza es de 6.1 por ciento (n = 23), la diferencia es no significativa para niveles menores a 0.10. Así, no hay evidencia estadística de que las diferencias entre encuestas y elecciones sean mayores en donde se presentaron alianzas PAN-PRD.

 

Efectos de casa encuestadora

El efecto de casa encuestadora se refiere a sesgos sistemáticos que presentan las estimaciones de una encuestadora que subrepresentan o sobrerrepresentan la proporción de voto por un partido político; es decir, sus estimaciones difieren del resultado electoral más allá del margen de error muestral. Si bien el término de efecto de casa se utiliza comúnmente para señalar que una encuestadora presenta un sesgo en sus estimaciones de algún o algunos partidos políticos en distintas elecciones a lo largo del tiempo, en el contexto del caso de estudio de esta nota implicaría que observáramos sesgos sistemáticos de una misma casa encuestadora en varias elecciones para gobernador.

Para verificar sesgos sistemáticos por casa encuestadora, el cuadro 3 presenta las proporciones del total de encuestas realizadas por las cuatro empresas que más estudios publicaron —GCE, Consulta-Mitofsky, El Universal y Reforma— en que sobreestimaron o subestimaron a los principales partidos o alianzas más allá de la mediana del margen de error muestral.

De esta información observamos dos efectos muy marcados en tres de las empresas analizadas. Consulta-Mitofsky, GCE y Reforma sistemáticamente sobreestimaron las preferencias por el PRI y subestimaron las preferencias por los competidores de este partido. Las encuestas de El Universal muestran un mejor récord relativo, pero aun así presentan sesgos en el mismo sentido en varias entidades. Cabe mencionar que estos efectos no son comunes a todas las casas encuestadoras —además de las cuatro empresas presentadas en el —, por lo que no podemos catalogarlos como efectos de elección; es decir, como cuestiones contextúales, sino más bien son efectos atribuibles a casas encuestadoras en particular. La única excepción de las entidades en donde se publicó al menos una encuesta distinta a las de Consulta-Mitofsky y de GCE es Sinaloa, en donde todas las encuestas estuvieron fuera de la mediana del margen de error muestral.

Si bien los datos muestran efectos de casa, no es posible en estos momentos ir más allá en el análisis de los determinantes de estos efectos porque no existen datos públicos suficientes para hacerlo. Ahora bien, lo que sí podemos hacer es delinear una agenda de investigación que nos permita indagar más a fondo en los determinantes de las diferencias en el futuro. Para esto, en la siguiente sección detallo las fuentes probables de efectos de casa y los datos que necesitaríamos para verificarlas.

 

Agenda de investigación

Como ya mencioné, hay varias fuentes de diferencias entre la encuesta y la elección que no pueden verificarse debido a la ausencia de datos públicos. En los párrafos siguientes esbozo las hipótesis asociadas a cuatro potenciales determinantes de diferencias: diseño del cuestionario, modelos de votantes probables, muestreo y trabajo de campo.

 

Diseño del cuestionario

Diversos aspectos del diseño del cuestionario pueden ser fuentes de sesgo significativo en las encuestas. Primero, la ubicación de la pregunta electoral en el cuestionario. En principio es posible hipotetizar sesgos generados por distintas ubicaciones en el cuestionario. Por un lado, si la pregunta está ubicada al inicio del cuestionario, es posible suponer que esto simula un escenario alejado de la realidad, ya que el entrevistado no razona su voto usando información política, la cual suponemos sí utiliza cuando acude a votar a la urna. Por otro lado, si la pregunta está localizada en el cuerpo del cuestionario o incluso al final, es posible que la respuesta del entrevistado se contaminaron otros temas que potencialmente sesguen su respuesta, suponiendo que dichos temas no son los mismos que el entrevistado tendrá en mente cuando acuda a votar. La verificación de estos argumentos encontrados es básicamente empírica.

La segunda fuente potencial de sesgo en los cuestionarios es el formato de la pregunta electoral. Una variación importante es si la respuesta del entrevistado será secreta o no.¹⁷ Si es secreta, algunos encuestadores utilizan un símil que replica lo más posible la boleta electoral; otros usan tarjetas que no replican la boleta electoral. Si no es secreta, entonces hay variaciones en el fraseo específico que utilizan distintas casas encuestadoras. La secrecía de la pregunta electoral parte de la hipótesis de que esto reduce la potencial inhibición del entrevistado a manifestar sinceramente su preferencia electoral.

Para verificar estas potenciales fuentes de sesgo, es necesario conocer los cuestionarios y los procedimientos de entrevista de las casas encuestadoras.

 

Modelos de votantes probables

Una segunda variable que potencialmente explicaría diferencias entre el grado de acierto de las casas encuestadoras son los modelos de votantes probables utilizados. Un modelo de votantes probables busca determinar qué segmentos son los más probables de asistir a votar el día de la elección y la preferencia electoral de esta submuestra. Los determinantes pueden ser sociodemográficos, de comportamiento pasado y futuro, o de posiciones u opiniones respecto a determinados temas. Nótese que cualquier pronóstico de voto constituye un "modelo de votantes probables" en el sentido de que el encuestador presenta sus datos con base en ciertos supuestos explícitos o implícitos sobre la población objetivo de su estudio. Incluso en el caso de que el encuestador presente la estimación que obtuvo de su levantamiento sin ninguna transformación, el supuesto implícito en este caso es que la subpoblación que acudirá a votar distribuye sus preferencias de forma idéntica al de la población estudiada.

Para poder relacionar la varianza de los modelos de votantes probables con las diferencias de las encuestas y la elección, se requiere conocer el detalle del modelo del cual resultan las estimaciones que publican las encuestadoras. En estos momentos muy pocas casas encuestadoras lo reportan; en muchas ocasiones ni siquiera reportan si el dato electoral que presentan proviene de un modelo explícito de votantes probables o no.

 

Muestreo

El método de muestreo potencialmente genera diferencias entre las estimaciones de las casas encuestadoras. De acuerdo con lo que reportan las casas encuestadoras, el muestreo comúnmente se realiza por etapas. Éste no se realiza sobre individuos, sino sobre puntos muéstrales en una etapa inicial, generalmente secciones electorales; dentro de cada sección electoral se seleccionan viviendas y finalmente individuos. En todas estas etapas probablemente hay variación en el método de las distintas casas encuestadoras; por ejemplo, si hay algún tipo de estratificación, cuántos puntos muéstrales seleccionan, cuántos entrevistados seleccionan dentro de cada punto muestral, cómo seleccionan viviendas en el área del punto muestral y, finalmente, cómo seleccionan al entrevistado en la vivienda.

Respecto a estos datos generalmente hay más información disponible por medio de las fichas metodológicas que publican las casas encuestadoras y de los reportes que presentan a los institutos electorales, pero es insuficiente en uno u otro rubro para este análisis.

 

Trabajo de campo

Una de las fuentes potencialmente más importantes de diferencias entre las encuestas y la elección es un deficiente trabajo de campo. Las potenciales causas van, por ejemplo, desde inseguridad pública —que desincentiva a que los entrevistadores lleguen a todos los puntos muéstrales—, exceso de trabajo —que lleva a las empresas de campo a contratar personal sin filtros ni capacitación suficiente— o insuficiente supervisión. Estas causas no son mutuamente excluyentes ni son exhaustivas.

La verificación de estas fuentes de sesgo requiere información que, en parte, la empresa encuestadora puede proporcionar y otra que no. Para verificar estos determinantes de diferencias necesitamos conocer qué empresa o empresas en específico realizaron el trabajo de campo, dado que es muy común que las casas encuestadoras subcontraten el trabajo de campo y una misma empresa de campo trabaje para varias casas encuestadoras. También es común que una casa encuestadora contrate varias empresas de campo para levantar una encuesta. Asimismo, debemos conocer el protocolo detallado de la ejecución y supervisión del trabajo de campo.¹⁸

 

Conclusiones

La investigación de la opinión pública presenta un asimétrico desarrollo en cuanto a la industria de casas encuestadoras respecto a su complemento en la academia; mientras que la primera ha avanzado a paso muy rápido desde su aparición a finales de los ochenta, la segunda apenas logra existir de forma estructurada. Esta nota de investigación pretende contribuir a formar una agenda sistemática de investigación sobre el desempeño de las encuestas preelectorales en México. El punto no es solamente hacer un juicio retrospectivo del desempeño de las encuestas en 2010, sino sentarlas bases para que esta evaluación se realice en el futuro de forma comparada, elección tras elección, con bases estrictamente técnicas y tengamos un mejor registro del desempeño de las encuestas como instrumento de medición de preferencias en sus distintas variantes metodológicas.

En términos del mercado de casas encuestadoras, el que no existan evaluaciones sistemáticas del desempeño de las casas encuestadoras —y peor aún que las casas encuestadoras nieguen la posibilidad de evaluación externa— genera que no existan premios para las empresas que aciertan en el resultado de la elección ni castigos para las que fallan. En uno de los peores escenarios, esto equivale a dar licencia para que empresas deshonestas publiquen datos falsos para satisfacer a sus clientes durante el proceso electoral, a sabiendas de que no serán juzgadas por sus consumidores después de la elección. Claramente, esto no es deseable.

Los determinantes de las diferencias entre la encuesta y la elección explorados en esta nota no muestran evidencia sistemática de efectos de elección. Así, no existen diferencias significativas respecto a los distintos subgrupos de estados que contienen factores contextúales que pudieron modificar las preferencias o la manifestación de las mismas en la entrevista. Más aún, al interior de cada entidad, hay mucha varianza en la precisión de las encuestas respecto al resultado de la elección.

Por otro lado, los datos muestran claros casos de efectos de casa encuestadora para la ronda de elecciones para gobernador de 2010. Algunas empresas, pero no todas, sistemáticamente sobrerrepresentaron las preferencias por el PRI y subrepresentaron las preferencias por los opositores a este partido, ya sea PAN o PRD por separado o como miembros de una misma alianza.

El paso siguiente de esta agenda de investigación —para elecciones futuras y para comprender las anteriores— es explicar la varianza en los efectos de casa encuestadora, que es donde menos información pública existe. Los determinantes de las diferencias necesariamente se encuentran en los diseños y métodos de las casas encuestadoras. Verificarlos requiere que las casas encuestadoras abran sus procesos para la consulta pública; en particular, datos sobre sus procedimientos muéstrales en gabinete y en campo, su diseño del cuestionario, sus modelos de votantes probables (si existen) e, idealmente, las bases de datos.¹⁹ Depositar en bancos de datos públicos esta información ayudaría mucho al desarrollo de la investigación académica, de la misma industria de casas encuestadoras y, como consecuencia, a mejorar el desarrollo democrático del país, dada la importancia de las encuestas en la vida pública.

 

Referencias bibliográficas

Ai Camp, Roderic (1997), "Introducción: Las encuestas, la opinión pública y la sociedad mexicana", en Roderic Ai Camp (comp.), Encuestas y democracia: Opinión pública y apertura política en México, México, Siglo XXI Editores, pp. 11-26.         [ Links ]

Alduncin, Enrique (2006), "Elección presidencial 2006: Evaluación de las encuestas publicadas en el último mes", Este País, 185, agosto, pp. 40-43.         [ Links ]

Basáñez, Miguel (1997), "Encuestas y resultados de la elección de 1994", en Roderic Ai Camp (comp.), Encuestas y democracia: Opinión pública y apertura política en México, México, Siglo XXI Editores, pp. 171-191.         [ Links ]

Beltrán, Ulises (2000a), "¿Por qué fallaron las encuestas?", Nexos, 111, agosto, pp. 46-49.         [ Links ]

----------, (2000b), "¿Fallaron las encuestas?", en El papel de las encuestas en las elecciones federales, México, Instituto Federal Electoral, pp. 12-24.         [ Links ]

Callegaro, Mario y Giancarlo Gasperoni (2010), "Accuracy of Pre-Election Polls for the 2006 Italian Parliamentary Election: Too Close to Call", International Journal of Public Opinion Research, 20 (2), pp. 148-170.         [ Links ]

Duran-Martínez, Angélica, Gayle Hazard y Viridiana Ríos (2010), "2010 Mid-Year Report on Drug Violence in Mexico", Trans-Border Institute, Joan B. Kroc School of Peace Studies, University of San Diego, en http://www.justiceinmexico.org/resources/pdf/drug_violence_aug_2010.pdf [fecha de consulta: 20 de agosto de 2010]         [ Links ].

Durand, Claire (2008), "The Polls of the 2007 French Presidential Campaign: Were Lessons Learned from the 2002 Catastrophe?", International Journal of Public Opinion Research, 20 (3), pp. 275-298.         [ Links ]

Durand, Claire et al. (2004), "The Polls in the 2002 French Presidential Election: An Autopsy", Public Opinion Quarterly, 68 (4), invierno, pp. 602-622.         [ Links ]

Erikson, Robert S., Costas Panagopoulos y Christopher Wlezien (2004), "Likely (and Unlikely) Voters and the Assessment of Campaign Dynamics", Public Opinion Quarterly, 68 (4), pp. 588-601.         [ Links ]

Estévez, Federico (2010), "¿Las encuestas en decadencia?", Este País, 233, septiembre, pp. 40-42.         [ Links ]

Gabinete de Comunicación Estratégica (2010), "Análisis de regresión, elecciones del 2010", en http://www.gabinetece.com.mx/_nota_10/reporte_290710.zip [fecha de consulta: 10 de septiembre de 2010]         [ Links ].

Gelman, Andrew y Gary King (1993), "Why Are American Presidential Election Campaign Polls so Variable When Votes Are so Predictable", British Journal of Political Science, 23 (4), octubre, pp. 409-451.         [ Links ]

Giménez, Rafael y Vidal Romero (2000), "Evaluación de las encuestas en la elección presidencial del 2000", Este País, 114, septiembre, pp. 30-31.         [ Links ]

Grupo Reforma (2010), Reforma en línea, en http://gruporeforma.reforma.com/infograficas/enfbque/encuestas_4julio.pdf [fecha de consulta: 23 de julio de 2010]         [ Links ].

Instituto Federal Electoral (2001), El papel de las encuestas en las elecciones federales, México, Instituto Federal Electoral.         [ Links ]

Kuschick, Murilo (2002), "México: Elecciones y el uso de las encuestas prefectorales", Revista Mexicana de Sociología y Ciencias Políticas y Sociales, XLV (184), enero-abril, pp. 103-127.         [ Links ]

Martín, Elizabeth et al. (2005), "A Review and Proposal for a New Measure of Poll Accuracy", Public Opinion Quarterly, 69 (3), pp. 342-369.         [ Links ]

Mitofsky, Warren J. (1998), "Was 1996 a Worse Year for Polls than 1948?", Public Opinion Quarterly, 62 (2), pp. 230-249.         [ Links ]

Moreno, Alejandro (2010), "Las fallas de las encuestas", Reforma, sección Enfoque, pp. 10-12, 25 de julio.         [ Links ]

Mosteller, Frederick et al. (1949), The Pre-Election Polls of 1948, Nueva York, Social Science Research Council.         [ Links ]

Noelle-Neumann, Elisabeth (1974), "The Spiral of Silence: A Theory of Public Opinion", Journal of Communication, 24 (2), pp. 43-51.         [ Links ]

Silver, Nate, "Pollster Ratings v4.0: Methodology", FiveThirtyEight:Politics Done Right, en http://www.fivethirtyeight.com/2010/06/pollster-ratings-v40-methodology.html [fecha de consulta: 10 de agosto de 2010]         [ Links ].

Traugott, Michael W (2005), "The Accuracy of the National Preelection Polls in the 2004 Presidential Election", Public Opinion Quarterly, 69 (5), edición especial, pp. 642-654.         [ Links ]

Várela, Carlo (2010), "Factores muéstrales y no muéstrales que alteran el margen de error de una encuesta electoral en su pronóstico: Una primera aproximación vía empírica", ensayo de titulación, México, Instituto Tecnológico Autónomo de México.         [ Links ]

Voss, Stephen D. et al. (1995), "The Polls: A Review. Preelection Survey Methodology: Details from Eight Polling Organizations, 1988 and 1992", Public Opinion Quarterly, 59 (98), pp. 98-132.         [ Links ]

 

NOTAS

Agradezco los siempre generosos comentarios de Federico Estévez y las valiosas observaciones de dos revisores anónimos. Agradezco también la ayuda de Cario Várela, Eric Magar, Lorena Becerra, Adrián Vallejo, la asistencia de investigación de Lucía Gamboa Sorensen, así como el apoyo de la Asociación Mexicana de Cultura A.C. y del Sistema Nacional de Investigadores del Conacyt para este proyecto.

¹ Por "fallaron" entiéndase que las estimaciones de las encuestas discreparon del resultado de la elección por un margen mayor al del error muestral.

² Para ahondar en el tema, véanse Ai Camp (1997) y Kuschick (2002).

³ Sobresalen Beltrán (2000b) y Várela (2010).

⁴ Véase Estévez (2010) para una buena crítica al desempeño del gremio de encuestadores en la ronda de elecciones para gobernador de 2010.

⁵ Los datos completos a partir de los cuales se generan las diferencias no se presentan en esta ocasión por razones de espacio. Dicha información fue publicada por Reforma en línea, http://grupore-forma.reforma.com/infograficas/enfoque/encuestas_4julio.pdf (consultado el 23 de julio de 2010). También está disponible en: http://www.analyticamx.com/encuestas.pdf.

⁶ En efecto, cada estimación por candidato tiene asignado un margen de error muestral diferenciado, pero para estimarlo requerimos información sobre la distribución muestral de estos datos, la cual no está disponible al público.

⁷ Existen otros métodos más sofisticados, aunque no por ello más válidos ni tan difundidos, para medir la precisión de las encuestas. Véase, por ejemplo, Martin et al. (2005), quienes proponen una medida basada en el logaritmo natural de la razón de momios, o el método de rankeo de casas encuestadoras de Nate Silver, en http://vww.fivethirtyeightcom/2010/06/pollster-ratings-v40-methodology.html.

⁸ Para ilustrar la dificultad, la especificación de un modelo de mínimos cuadrados ordinarios requeriría controlar la no independencia de observaciones por estado y por casa encuestadora; esto implica, por ejemplo, agrupar los datos por dusters de estados y tener efectos fijos por casa encuestadora. Con sólo 45 casos válidos esto genera problemas de multicolinealidad perfecta entre algunas de las variables y, además, prácticamente agota los grados de libertad de la estimación. Incluso si desagregáramos la variable dependiente por candidato en el primero y segundo lugar, el total de datos no llegaría a cien observaciones.

⁹ En el caso de Quintana Roo el candidato del PRD fue aprehendido en pleno proceso electoral, pero esto sucedió 39 días antes de las elecciones, antes de la publicación de las encuestas de GCE y de El Universal que contiene la muestra que analizo en este ensayo.

¹⁰ Aunque cabe mencionar que Estévez plantea que los ataques en medios a candidatos priístas en los días previos a la elección —una vez que ya se habían levantado todas las encuestas publicadas— quedaron sin respuesta por las reglas electorales existentes, lo que pudo haber provocado la sistemática sobrerrepresentación del PRI. Verificar esto requiere indagar en los monitoreos de medios de comunicación en el ámbito nacional y estado por estado y establecer que efectivamente existieron sesgos en medios contra el PRI y que éstos tienen relación con la estimación de las encuestas, queda esto para una futura investigación.

¹¹ Propuesta originalmente por Noelle-Neumann (1974). Moreno (2010) explora esta hipótesis, pero la encuentra poco plausible en principio.

¹² Especialmente, Gabinete de Comunicación Estratégica sostiene esta tesis para estas elecciones, pero su prueba es muy deficiente; intenta sostener su hipótesis con base en tendencias lineales y polinómicas que se construyen a partir de sólo cuatro observaciones, lo que implica un nivel de incertidumbre tan grande que no es posible generar inferencias válidas. Reporte consultado en línea el 10 de septiembre de 2010 (http://www.gabinetece.com.mx/_nota_10/reporte_290710.zip).

¹³ Ciertamente diseños particulares de encuestas pueden inducir tasas relativamente mayores de no respuestas, sin embargo, esto no se cataloga como un efecto de espiral del silencio, que es contextual, sino un efecto de casa encuestadora; aunque sería posible observar ambos efectos simultáneamente. Varias de las empresas encuestadoras utilizan boleta y urna para la pregunta electoral, lo que debería reducir un posible efecto de espiral del silencio, y de hecho sabemos que ha funcionado de ese modo desde mediados de los años noventa; no es obvio por qué de repente no funcionó en 2010.

¹⁴ La correlación de Spearman es de -0.38 para estas dos variables y de -0.61 para la relación de la tasa de no respuesta con el promedio de las diferencias absolutas de primero y segundo lugar, ambas son significativas a niveles mayores de 0.10.

¹⁵ Si usamos como proxy para la precisión de las encuestas el promedio de diferencias absolutas para primero y segundo lugar, la correlación de Spearman es de -0.03 y es no significativa.

¹⁶ Para el caso de los delitos del fuero común por entidad relacionados con el promedio de las diferencias absolutas de primero y segundo lugar, la correlación de Spearman es de 0.36 y es no significativa.

¹⁷ Secreta en el sentido de que el entrevistado no manifiesta su preferencia directamente al entrevistador en el momento de la entrevista.

¹⁸ Una última hipótesis importante de mencionar —aunque poco probable— es que las diferencias más allá del margen de error podrían deberse a una epidemia de errores muéstrales por elección. Si nos concentramos en el proceso de selección de muestra, por el mismo método probabilístico por el que se generan las muestras, éstas tienen un nivel de confianza estadística, generalmente de 95 por ciento. Suponiendo este nivel de confianza, una de cada 20 muestras estará fuera de los rangos de error en sus estimaciones. Estrictamente hablando del procedimiento de selección de la muestra, suponiendo procedimientos de selección comparables entre casas encuestadoras, y dado que estamos hablando de eventos independientes (ya que son muéstreos realizados por distintas casas encuestadoras), la probabilidad de que dos encuestas estén equivocadas por mala suerte al seleccionar la muestra para una misma elección es de 0.25 por ciento (5 por ciento al cuadrado); es decir, deberíamos observar esta combinación de eventos una vez en cada 400 elecciones; el que tres encuestas estén equivocadas por esta misma razón es de 0.0125 por ciento (5 por ciento al cubo), deberíamos observar esta combinación de eventos en una de cada 8 000 elecciones. Por lo tanto, es muy poco probable que el error de las casas encuestadoras haya sido por razones puramente del método de generación de muestras, aun si relajamos los supuestos arriba establecidos.

¹⁹ Un buen ejemplo de recopilación de esta información es Voss et al. (1995).