Encuestas y elecciones 2015: Una lectura autocrítica

Encuestas y elecciones 2015: Una lectura autocrítica

En las elecciones de octubre del 2015, los resultados de nuestras encuestas difirieron del resultado final en cuatro ciudades. En particular, el caso de Medellín presentó las mayores divergencias. Esto motivó una profunda autocrítica de nuestro equipo, la cual nos llevó a explorar varias hipótesis sobre lo sucedido con un doble propósito: continuar mejorando nuestros procesos y contribuir al debate público sobre la calidad de las encuestas así como su aporte a la construcción de la democracia colombiana.

Consideramos relevante reconocer nuestros errores, analizarlos y corregirlos; así sucedió durante las elecciones presidenciales de 2014[1], donde reconocimos los desatinos de la primera vuelta, corregimos y ajustamos nuestro trabajo para la segunda vuelta. Una referencia internacional similar es FiveThirtyEight que en el artículo “What we got wrong in our 2015 U.K. General Election Model” plantean los errores, los aprendizajes y las proyecciones de mejores metodologías[2].

Durante el pasado proceso electoral, Cifras & Conceptos realizó mediciones en 35 territorios; en 28 el resultado de nuestras encuestas se encuentra dentro del margen de error admisible para este tipo de mediciones. No obstante, este documento se concentra sólo en las 17 encuestas publicadas: 7 Departamentales y 10 municipales, y por lo tanto, pueden ser objeto de una evaluación pública[3].

Este texto presenta los resultados de nuestras reflexiones en cuatro secciones: en la primera, se exponen las posibles razones por las cuales se dieron diferencias en la medición; en la segunda, los elementos metodológicos que están bajo nuestro control y los cuales intentaremos optimizar; la tercera sección señala características del sistema electoral colombiano que afectan la forma cómo se utilizan y evalúan las encuestas, y sobre los cuales, como empresa, no tenemos gobernabilidad. Finalmente, en la cuarta sección, se reflexiona sobre cómo el trabajo de las firmas encuestadoras aporta a la construcción del sistema democrático colombiano.

 Las razones de las diferencias

Quiero iniciar con una reflexión sobre las posibilidades de “pronóstico” de los seres humanos y la forma cómo, desde la estadística, se lidia con la incertidumbre. No es posible pronosticar el futuro, lo máximo que podemos intentar hacer es disminuir algunos elementos de incertidumbre para hacer un pronóstico, aun cuando nadie sabe qué va a pasar mañana. Por ello, la estadística habla de probabilidades, no de certezas.

Al lanzar un par de dados, sabemos que la probabilidad de que salga 7 es mayor a la de cualquier otro número, mas no podemos decir que la próxima ocasión será siete.

¿En qué tipo de fenómenos puede la estadística estimar mejor las probabilidades de un resultado? Cuando se trata de fenómenos bajo control y cuyas circunstancias de repetición no cambian mucho; cuando en el resultado intervienen pocas variables y ningún actor con voluntad propia; cuando las reglas acordadas son transparentes y acatadas íntegramente por todos los actores; cuando no hay fenómenos no previstos que afecten el comportamiento de alguna variable relevante. Ninguna de estas características se cumple en la estimación del comportamiento electoral[4].

Una encuesta de intención de voto en Colombia intenta hacer varias cosas:

  • Estimar el universo a ser representado. Eso implica preguntarse si el censo electoral de 34 millones de votantes potenciales es correcto.
  • Cuantificar el volumen de personas que un domingo se levantarán e irán hasta un puesto de votación a ejercer su derecho a elegir. Como lo ha señalado el Pew Research Center, ese es uno de los desafíos más grandes de las encuestas[5].
  • Incluir en sus cálculos la existencia de un número importante de votos nulos o no marcados.
  • Estimar la intención de voto de los ciudadanos para todas las opciones existentes que van desde dos, cuando se trata de un solo candidato, hasta nueve como en el caso de Bogotá en la última elección, pues el voto en blanco es una opción válida.
  • Si se trata de varias mediciones en el tiempo, debe poder capturar los cambios temporales en la intención de voto. La American Association for Public Opinion Research, AAPOR, argumenta que otro objetivo es estudiar el comportamiento político de las personas y los factores determinantes a la hora de decidir un voto, yendo más allá del simple resultado de las elecciones.

A pesar de lo difícil de estos cinco retos, es posible afirmar que las encuestas logran estimar las probabilidades, no las certezas, del comportamiento electoral de los ciudadanos.

Ahora bien, en el contexto de una contienda electoral ¿Qué significa acertar?, ¿se trata de estimar quién será el primero, el segundo, o el orden de todos los candidatos? O además del orden ¿se trata de acercarse a la distancia entre todas las opciones? O también ¿se trata de ver la tendencia de los distintos candidatos?

En medio del proceso electoral del 2015, el portal La Silla Vacía realizó un balance de cómo les fue a las firmas encuestadoras en el 2011 y en el 2015[6]. En ambos casos asumen que una firma para acertar debe estimar correctamente el orden y la distancia porcentual entre el primero y el segundo candidato, un criterio bastante exigente.

En el caso de las 17 encuestas de Cifras & Conceptos analizadas en este documento se estimó correctamente el ganador y su distancia con el segundo en 12 casos, es decir el 71%. Pero si se evalúa el desempeño de los 63 candidatos, medidos en nuestras encuestas que tienen un margen de error de aproximadamente 5%, podemos decir que se acercó al resultado en 50 casos, es decir el 79%.

En todas las estimaciones departamentales los resultados fueron cercanos a la realidad del día de las elecciones. En los municipios, en la mitad de los casos no fue así: Medellín, Cali, Bucaramanga, Ibagué y Manizales. En este último, la medición fue realizada un mes antes de la jornada electoral y quien finalmente resultó electo como alcalde se encontraba en empate técnico con un candidato que a la postre ocupó el tercer lugar[7]. En nuestro análisis, el caso de mayor preocupación es el de Medellín pues la encuesta presentó un escenario que no se acercó en casi nada a la realidad. Dimos una distancia de 41 puntos entre el primero y el segundo, además quien ganó estaba de tercero obteniendo el triunfo con una distancia de 19 puntos.

A continuación presento algunas de las razones por las cuales creemos que las estimaciones en los cuatro casos concretos se alejaron de la realidad electoral:

Primero, asumimos que la abstención, una de las fuentes de incertidumbre en las elecciones, sería similar al comportamiento histórico promedio de las votaciones en Colombia, es decir que tendríamos una votación cercana a los 17 millones. El 25 de octubre, votaron para Gobernaciones ese número de ciudadanos, pero en el caso de alcaldías fueron 20 millones, ubicando la abstención en tan sólo el 40%. Como nuestro método hace una priorización en los votantes activos (aquellos que han participado en una elección en los últimos 5 años) ello generó la existencia de 3 millones de electores más que nuestro método no contempló. De ellos, 1.2 millones estuvieron en los 5 municipios donde nuestra estimación se alejó del resultado final de las elección[8].

Ciudad Porcentajes votantes presidencia primera vuelta 2010 Porcentajes votantes presidencia segunda vuelta 2010 Porcentajes votantes Alcaldía 2011 Porcentaje votantes presidencia primera vuelta 2011 Porcentaje votantes presidencia segunda vuelta 2011 Porcentaje votantesAlcaldía 2015
Bogotá 59.7% 50.5% 47.4% 48.2% 50.6% 51.6%
Medellín 58.2% 52.2% 50.7% 49.6% 52.3% 49.5%
Bucaramanga 54.7% 45.7% 53.2% 44.5% 50.6% 57.1%
Barranquilla 30.6% 24.9% 47.4% 22.6% 37.7% 54.4%
Cali 46.9% 42.5% 42.8% 35.4% 40.3% 45.3%

La excepción es Medellín, donde la abstención fue la más alta de las últimas 6 elecciones. Como veremos más adelante, los votantes de clase media e ingresos altos, tienden a tener un mayor peso porcentual cuando la abstención es muy alta.

Segundo, le dimos un peso muy alto a la votación de las personas en estrato tres. Dado el método que utilizamos para recoger nuestras encuestas, cara a cara en hogares, hemos encontrado que ello implica obtener un mayor volumen de respuestas de personas en casas y, por el contrario, un volumen inferior de habitantes en edificios y conjuntos residenciales; el acceso que tenemos a estos últimos es más restringido y si bien lo hemos podido lograr, la tasa de rechazo que tenemos allí es superior a la obtenida en barrios de estrato tres. En el caso de Medellín el 67%[9] de los hogares viven en edificios lo cual implica enormes retos para la recolección de encuestas cara a cara.

Tabla 1 Medellín: Estructura de la población y la muestra por nivel socioeconómico 2014[10]

Nivel socioeconómico 1 2 3 4 5 6
Población* 12.8 36.9 29.9 9.7 6.8 3.9
Muestra ponderada 13.3 34.5 27.9 12.6 7.3 4.4
Muestra sin ponderar 8.6 27.0 41.7 10.3 5.0 7.4

Nuestra muestra sin ponderar para estrato 3 fue de 41.7% cuando la población en dicho segmento es de 28.9% del total de la ciudad. Esto me lleva a reconocer una sobre representación de los votantes de estratos tres.

Tercero, en las grandes ciudades existe una vida metropolitana que en elecciones municipales tiene efectos muy importantes. Hay personas cuya vida económica, política y social sucede en un municipio pero pasan la noche y los fines de semana en otro. Ello implica que algunas personas que votan en Bogotá, por ejemplo, tienen su residencia en Soacha, La Calera, Cajicá o Chía. En el caso de la capital, los 11 municipios que comparten con la ciudad una vida metropolitana representan el 13% de la población. En contraste, en el caso de Medellín los 9 municipios representan el 53% del total de la población[11].

Este fenómeno no parece tener efectos sensibles en el caso de los departamentos, donde nos acercamos en el 100%, o en contiendas de carácter nacional. Pero para el caso de municipios sí tiene un efecto desestabilizador, muy grande, de las estimaciones.

Cuarto, la muestra que utilizamos tuvo un alto nivel de concentración. Como estamos intentando representar a los votantes activos y hemos encontrado que ellos están concentrados cerca de los puestos de votación, la muestra se diseña teniendo en cuenta esto. Por esta razón la primera fase de la selección aleatoria es un número fijo de puntos muéstrales. La Registraduría Nacional los ha organizado de acuerdo a la concentración poblacional y hemos encontrado que el 88% de los votantes activos viven a una distancia máxima de 20 cuadras de donde votan, esto nos ha permitido hacer estimaciones muy eficientes para el universo de personas que usualmente votan. No obstante, en un proceso electoral donde realizamos 8 mediciones para las cinco grandes ciudades notamos el agotamiento de nuestros puntos de selección aleatoria, por lo cual varios de ellos se repitieron en más de una ocasión.

Número de puestos seleccionados por ciudad y fecha
Municipio ago-15 sep-15 oct-15 nov-15 ene-16
Barranquilla 43 36 94 46 26
Bogotá D.C 97 99 485 98 70
Bucaramanga 43 48 60 36 26
Cali 61 64 156 63 43
Medellín 64 64 114 72 43
Total 308 311 909 314 208

Finalmente, identificamos como una de las razones, el momento en el cual los ciudadanos deciden su voto. Al finalizar la contienda electoral realizamos una encuesta de evaluación y allí incluimos una pregunta sobre el momento en que se decidió por quien votar: el 18% de las personas lo hicieron en los últimos 5 días, lo cual agrega un elemento adicional de incertidumbre que las encuestas cara a cara deben lidiar[12].

 Las cosas que podemos mejorar

 En Cifras & Conceptos intentamos aprender de cada proceso para ir generando una memoria institucional sobre las cosas que hacemos bien y, por supuesto, sobre las que no salieron como hubiéramos deseado. Por ello, durante el primer trimestre del 2016, hemos tomado la decisión de realizar una serie de transformaciones en Polimétrica entre las cuales resaltamos:

Primero, ampliar los puntos de muestreo. Hasta las elecciones de 2015 nuestro marco muestral estaba constituido por 41.664 puntos, uno por cada esquina de los 10.416[13]  puestos de votación del país. Para mejorar la dispersión y cobertura de este marco, a partir de 2016 dividiremos el área del puesto de votación en al menos 10 puntos muestrales, lo cual nos permitirá para la primera etapa hacer la selección sobre cerca de 104.160 “áreas de muestreo diferentes”. Esto mejoraría la rotación de los puntos muestrales y ampliaría el cubrimiento geográfico de la muestra. A partir de allí mantendremos las siguientes etapas de selección: manzanas, viviendas, hogares y finalmente la persona a ser entrevistada.

Segundo, seguiremos insistiendo en recolectar la información con entrevistas cara a cara pero somos conscientes de la necesidad de buscar nuevas formas de contactar a las personas pues la realidad creciente de edificios y conjuntos cerrados hace más difícil nuestro acceso. Por ello haremos pruebas con varios métodos en los que las formas de abordar a las personas no contemplen sólo los hogares. Esto significa un reto estadístico que buscar preservar los principios de selección aleatoria y mantener la solidez estadística de nuestros resultados.

Tercero, desde el 2011 hemos dedicado grandes esfuerzos para entender y documentar un grupo particular de ciudadanos: los votantes activos. Para ello hemos construido, apoyados en la información pública existente, una base de datos sobre las personas que efectivamente votan al nivel de puestos de votación. Eso nos permite tener, para las últimas 5 elecciones, no sólo la información agregada del potencial de votos de cada uno de los 10.416 puestos de votación, sino también variables demográficos como sexo y rangos de edad de quienes efectivamente lo hacen. Además, tenemos el récord de la forma cómo los ciudadanos han votado en esos puestos. Continuaremos con dicho esfuerzo y haremos análisis más detallados del comportamiento de los ciudadanos agregados en los puestos de votación.

No obstante, reconocemos que hay un volumen no despreciable de primivotantes y de ciudadanos que de forma esporádica participan en las elecciones, razones por las cuales incluiremos en nuestra metodología una nueva categoría de “Votantes no usuales”, en particular, cuando nos acerquemos a jornadas de votación. Esto nos permitirá hacer una mejor estimación sobre la tasa de participación (y no depender solo del promedio histórico) incluyendo a los votantes actuales y los no usuales para construir un mejor modelo del conjunto de votantes para cada elección, mejorando así uno de los principales aspectos de un pronóstico electoral preciso.

Cuarto, nos proponemos generar nuevas mediciones y estimaciones que den cuenta del fenómeno de las áreas metropolitanas de algunas ciudades colombianas. Ello será vital para el nuevo ciclo de elecciones locales que tendrá lugar en 2019. Para eso, desde el 2016 incluiremos mediciones en municipios que integran las áreas metropolitanas, que puedan estimar comportamientos sociales, económicos y políticos de un grupo especial de ciudadanos: quienes tienen su vivienda en un municipio pero desarrollan el grueso de sus actividades laborales y sociales en otro cercano. Esto nos permitirá entender de mejor manera las dinámicas particulares en cuanto al comportamiento y la participación electoral de cada municipio de interés.

Elementos del sistema sobre los cuales no podemos actuar

Con este análisis autocrítico de lo sucedido con el trabajo de nuestra firma en las pasadas elecciones asumimos nuestra responsabilidad frente a la opinión pública, los medios y los actores de la arena electoral. Hay variables que están en nuestras manos para mejorar el trabajo que realizamos pero además creemos oportuno señalar algunos temas por fuera de nuestra “gobernabilidad” y que de forma clara afectan nuestra tarea, así como la de otras firmas encuestadoras. Son parte de la realidad a la que nos enfrentamos, su recurrencia aumenta la incertidumbre de los resultados electorales y, por lo mismo, de nuestro trabajo.

La persistencia del trasteo de votos es un fenómeno notorio en las elecciones locales. En el 2015 vimos como el CNE intentó anular la inscripción de 1.5 millones de cédulas. Este fenómeno genera variación en los resultados electorales y ninguna encuesta puede estimar, pues por su naturaleza es un acto ilegal y la gente no contesta fácilmente sobre él.

En medio del debate electoral, recibimos múltiples comentarios críticos sobre nuestra labor. El grueso de ellos provenientes de candidatos cuyo favoritismo en nuestras encuestas no resultaba tan alto como ellos esperaban. Dada la cobertura de los medios y la forma cómo un número importante de ciudadanos discuten sobre nuestros datos, se ha dicho que las encuestas condicionan los resultados electorales. Los casos de Bucaramanga y Medellín, donde ninguna de las firmas encuestadoras con presencia nacional previeron el ganador, muestran que a pesar de ello los ciudadanos deciden con independencia y en dinámicas que no siempre logramos prever.

Al participar en múltiples foros post electorales en los que líderes de todos los partidos realizaron sus críticas frente a las encuestas fue mencionado el efecto negativo sobre las posibilidades de los candidatos para recaudar más recursos por parte de los donantes. Las encuestas pueden no ser tan determinantes en la decisión de los ciudadanos pero sí en la de quienes financian las campañas y realizan sus apuestas económicas a ciertos candidatos. El grueso de estas transacciones puede no realizarse de forma transparente y los registros de donantes sólo recogen una mínima parte de quienes lo hacen, esto representa un gran riesgo para la democracia y es una de las mayores fuentes de incertidumbre de las contiendas electorales[14].

Las encuestas y el sistema democrático: moderar las expectativas.

El New York Times, en su página web, ha abierto una sección de discusión bajo el título: “¿Contribuyen realmente las encuestas a nuestra democracia?”, el cual se ha convertido en un interesante foro de debate sobre el tema: ¿Se le puede creer a las encuestas?, ¿por qué las encuestas son tan malas para predecir los resultados?, ¿por qué si su desempeño es tan malo, los medios continúan usándolas? ¿Las encuestas fortalecen o debilitan el funcionamiento democrático? Son el tipo de preguntas que se pueden encontrar en dicho foro.

En el caso de las primarias republicanas de Iowa, todas las firmas encuestadoras mostraban un posible triunfo de Donald Trump y el resultado fue un segundo lugar de este candidato superado por Ted Cruz. En el Reino Unido, en las elecciones de 2015, también sucedió algo similar: las firmas encuestadoras daban un resultado favorable  al partido laborista y al final los conservadores obtuvieron la victoria.

Esto ejemplifica cómo el debate sobre el trabajo, resultados y función de las encuestas y las firmas encuestadoras no es un tema local sino que hace parte de la dinámica propia de los sistemas democráticos.

Hacia delante una de las cosas más importantes que debemos hacer es moderar las expectativas sobre el papel de las encuestas como predictor de los resultados electorales. Los resultados de una contienda electoral son afectados por muchos elementos tales como el papel de los medios, las formas y fuentes de financiación, la estructura política de los partidos, el desempeño de los candidatos y, por supuesto, la decisión final de los ciudadanos al momento de depositar su voto. Por lo tanto, un buen sistema de pronóstico usa las encuestas como insumo pero no agota sus recursos de información en ellas ya que al utilizar diferentes fuentes y tipos de información se mejora la capacidad del sistema para incorporar varias dimensiones en el pronóstico electoral.

No obstante, para mí sí es claro el aporte de las encuestas a la discusión democrática. Su publicación es un elemento que contribuye al dialogo de los distintos actores y en muchos casos son tomadas como insumos para corregir el rumbo de las campañas. En Colombia existe una veda de una semana para publicar encuestas en las campañas nacionales. Eso no impide que algunos de los candidatos cuenten con dos o tres en la última semana, pero no se hacen públicas, por lo cual campañas con pocos recursos, que solo usan las encuestas públicas, se encuentran en abismal desventaja frente a sus competidores: esto es profundamente antidemocrático.

En Cifras & Conceptos intentamos hacer un trabajo riguroso y abierto al escrutinio. Hemos tenido aciertos y nos sentimos orgullosos de eso. También hemos tenido desaciertos, los cuales reconocemos, analizamos y corregimos. Lo hacemos constantemente por el respeto al trabajo de todos los involucrados en una encuesta, particularmente a nuestros encuestadores, quienes, tomando prestada unas frases de Roy Campos, director de Consulta Mitofsky:

Son unos verdaderos “héroes” de nuestra labor: personas que realizan casi todo su trabajo en la calle, soportando las variaciones del clima: las lluvias y el calor. Para lograr una encuesta, se enfrentan al  rechazo de muchos ciudadanos y, pese a esto, persisten con su mejor actitud. Luego, cuando finalmente logran establecer el contacto con alguien, desarrollan una conversación estructurada alrededor de nuestros formularios, dándoles todo el sentido de importancia y respeto por sus opiniones.

Como agradecimiento por el trabajo de nuestros encuestadores redoblaremos nuestros esfuerzos para facilitar su labor.

NOTAS

[1] http://www.eltiempo.com/politica/partidos-politicos/analisis-de-los-resultados-de-la-primera-vuelta-presidencial-/14044435

[2] http://fivethirtyeight.com/datalab/what-we-got-wrong-in-our-2015-uk-general-election-model/

[3] Boyacá, Cundinamarca, Atlántico, Guajira, Risaralda, Antioquia, Caldas, Barranquilla, Bogotá, Medellín, Cali, Bucaramanga, Pereira, Girón, Ibagué, Itagüí y Manizales.

[4]Algunas de las cosas que hoy sé sobre los modelos de predicción, se las debo a la lectura del libro de Nate Silver “The noise and the signal: Why so many predictions fail-but some don’t.” (2012).

[5]Pew Research Center, “Can Likely Voter Models Be Improved? Evidence from the 2014 U.S. House elections.” (2016).

[6] http://lasillavacia.com/historia/el-pasado-de-las-encuestadoras-52069

[7] Vannesa Sánchez (2015). Encuesta agita el panorama político en Caldas: www.lapatria.com/politica-manizales-caldas/encuesta-agita-el-panorama-politico-en-caldas-223840.

[8] Consultado en: http://www.registraduria.gov.co/-Historico-de-Resultados-.html.

[9] Dato proveniente de la Gran encuesta integrada de hogares 2015, en: http://formularios.dane.gov.co/Anda_4_1/index.php/catalog/356

[10] *Datos ENCV Medellín 2014. Otros, cálculos Propios

[11] La población de las áreas metropolitanas se estimó a partir de las Proyecciones de población del DANE, para 2015. En http://www.dane.gov.co/index.php/poblacion-y-demografia/proyecciones-de-poblacion

[12] http://cifrasyconceptos.com/wp-content/uploads/2015/12/Polim%C3%A9trica-Diciembre_v5.pdf?8ab3a8

[13] Incluye población en zona rural y urbana.

[14] Estudio de Cifras & Conceptos para el PNUD, desarrollado en  2014 y titulado “Evaluación de campañas al Senado de la República 2014” alude y analiza esta situación.

Escriba un comentario