Los resultados del plebiscito en Colombia y las elecciones de mayo de 2015 en Gran Bretaña constituyeron quizá el golpe más duro para el conjunto de los expertos en pronósticos electorales. En Colombia habían coincidido todas las encuestas en que el “sí” iba a ganar y, en Gran Bretaña, los candidatos laborista y conservador estaban técnicamente empatados y los diarios, con la seriedad que corresponde a la publicación de un acontecimiento
científico, lo venían anunciando. Las noticias, en la misma noche de la elección, abochornaron a los sondeadores de opinión y desconcertaron al público. Nada pudo haber sido más diferente de un empate: los conservadores habían ganado por muerte.
Claro que no fue la primera vez que los pronósticos se daban de bruces contra lo que los votantes decidían, pero fue seguramente una de las peores divergencias entre la realidad y ese entretenimiento mundano alimentado por las encuestas (tampoco fue la última vez: unos meses después, siempre en 2015, las encuestas sobre el “sí” en Grecia o las de jefe de Gobierno de Buenos Aires son otros ejemplos que siguieron con igual éxito a la de Gran Bretaña). Convengamos en que los pronósticos casi nunca coinciden con lo que realmente termina pasando. Algunas veces, como la mencionada de Gran Bretaña, las elecciones españolas de 1993 y la de 1996 (que hicieron que los periodistas calificaran a los votantes de mentirosos), las de 2002 en Francia que pronosticaban una segunda vuelta entre el candidato de centroderecha, Jaques Chirac, y el de izquierda, Lionel Jospin, y que terminó siendo entre Chirac y el de la extrema derecha, Jean-Marie Le Pen, o, también, la que llevó a la presidencia a Fujimori en Perú (elección en la que hasta último momento ese candidato aparecía en la categoría “otros” con el 5% que le otorgaban las encuestas) hacen sonar la alarma pero concitan la atención por poco tiempo. Dan tal sacudida al acuerdo entre lo que anuncian los sondeos y lo que termina pasando, que en situaciones electorales en las que la diferencia entre lo pronosticado y los resultados no difiere numéricamente tanto, dan lugar a que se ofrezcan, con gran seriedad, razones que parecen científicas para explicar esas diferencias.
Enumeración. Una rápida enumeración de los factores posibles aducidos para justificar el fracaso de esos pronósticos podría ser la siguiente:
(1) la muestra de población sobre la que se realizó la encuesta no era una buena representación de la población completa de votantes;
(2) muchos de los encuestados cambiaron de opinión entre el momento de la encuesta y el del voto;
(3) las razones 1 y 2 sumadas;
(4) muchos de los encuestados mintieron respecto de sus preferencias;
(5) muchos de los encuestados estaban indecisos cuando fueron encuestados y se decidieron en el momento preciso de votar;
(6) las razones 1, 2, 3, 4 y 5 sumadas;
(7) no existe una buena justificación lógica del procedimiento que se utiliza para llegar a este tipo de predicciones.
Los factores numerados del (1) al (5) resultan hipótesis imposibles de verificar o rechazar empíricamente, de modo que trataremos de analizar aquí la enunciada en (7).
Commençons par le commencement: los pronunciamientos sobre la capacidad de predicción de una encuesta de lo que se encontrará en el universo del que se predice algo, reside en una definición basada en la relación probabilística entre un universo y las muestras representativas de ese universo que se pueden extraer de él. Esta relación no es hipotética, surge de una definición analítica que establece una igualdad entre el universo y una parte de éste siempre que los casos que componen esta última hayan sido elegidos de una cierta manera (al azar). Por lo tanto, la prueba empírica sobre la relación entre los resultados obtenidos en la muestra y los del universo no es necesaria, ya que, por definición (como los resultados de una suma o de una resta o de cualquier ecuación algebraica o, en general, lógica) no residen en la verdad o falsedad de una hipótesis. Así las cosas, un analista no necesita comprobar si lo que ha encontrado en una muestra concuerda con lo que se da en el universo del que se opina, ya que, como dijimos, por definición, si eligió bien a los sujetos de la muestra, los del universo deberían ser una imagen especular aumentada de ellos. Es por esta razón que se realizan sobre la base de muestras probabilísticas los estudios de mercado o cualesquiera otros en los que se predice sobre un universo cuyos datos es difícil llegar a conocer y, además, no parece necesario porque se distribuirían, por definición, como los que aparecen en la muestra.
Aquí es donde entran como estrellas en el firmamento los pronósticos realizados sobre muestras de población en el caso privilegiado de las elecciones: estos son los únicos en los cuales se puede comprobar la correlación entre lo pronosticado en las muestras y lo que realmente ocurrió en el universo. Es decir, es casi la única vez en que se sabrá, sin que nadie tenga que ponerse a averiguarlo, lo que hizo o hará el total de aquellos que fueron representados en la muestra. Porque la relación entre una muestra y el universo de la que se la extrae es tal, según lo que se establece por definición, que en todas las predicciones sobre el comportamiento del total de casos se descansará cómodamente en la seguridad de que, si la muestra fue correctamente elegida al azar, los datos en el universo se comportarán como los encontrados en la muestra.
Ahora bien, el mundo se desmorona para un encuestólogo cuando los votantes cumplen con su deber republicano y emiten su voto y el resultado de la votación no coincide con lo que se esperaba. Si la relación de igualdad establecida entre la muestra y el universo fuese hipotética y estuviésemos en presencia de una instancia natural de una ciencia empírica, el hecho de que las muestras de población tomadas al azar de un universo no tengan las mismas características que ese universo, serían una falsificación de esa hipótesis. A esta altura de los acontecimientos, con tantas veces en que esa relación hipotética ha sido falseada, nadie seguiría sosteniendo que una muestra al azar es una representación del universo del que procede.
Pero el caso es que se sigue sosteniendo, con el aval de los expertos en probabilidad, que elegidos los casos al azar en un universo, y contemplando que el número de casos sea razonable y se calculen cuantos vicios pudieran sumarse a la tarea de la elección, una muestra al azar es, por definición, una representación del universo de donde proviene. ¿Por qué entonces, con mayores o menores diferencias, el universo casi nunca se comporta como lo predicen las muestras? De manera dramática, como el caso reciente en Gran Bretaña, y menos dramáticamente, se podría decir, casi siempre. Es excepcional que lo pronosticado y lo que ocurre coincidan. ¿A qué recurre el responsable de los pronósticos para explicar las diferencias? En el caso de Gran Bretaña, a pedir públicamente disculpas.
En casi todos los otros a explicaciones ex post de las que ya hablamos más arriba: los indecisos se decidieron por algo diferente de lo que habían declarado al encuestador, o los encuestados mintieron deliberadamente, o algo que pasó en el último minuto hizo que el mundo se reordenara, o cualquier otra razón imposible de comprobar.
Más allá del análisis. Pues en esta etapa se pasa de lo definido en una disciplina analítica a la pura empiria. Se razona como si la relación entre la muestra y el universo no fuera una definición sino una hipótesis. O sea que se pasa, sin ninguna explicación, de la relación analítica de una muestra con el universo a una relación hipotética que necesita de la prueba empírica para ser corroborada. Volvamos atrás: si la relación entre una muestra y el universo al que representa es analítica, como una suma o una multiplicación, entonces no tiene sentido que encuestas hechas sobre muestras del mismo
universo por diferentes investigadores, den resultados diferentes. Si diferentes personas suman dos elementos a otros dos elementos, las sumas no pueden ser, por definición, sino cuatro. Si cada vez que se lleva a cabo la adición se llega a cifras diferentes de cuatro (4,5; 5,2 o 9) las conclusiones pueden ser dos: (1) el que suma no sabe sumar, o (2) no se especificó claramente qué clase de elementos se estaba sumando y la naturaleza de esos elementos era tal que al realizarse la suma se habían multiplicado, subdividido, muerto, o habían sufrido algo que en el momento de la suma, por más rápido que se la hubiese hecho, ya habían cambiado. Una relación analítica es tal que al ponerla a prueba empíricamente no puede dar un resultado diferente del determinado. Si dos más dos da cinco eso no puede significar ninguna otra cosa más que lo que sumamos no fue dos más dos.
Ahora volvamos a las numerosas encuestas que se presentan, por ejemplo, antes de cualquier tipo de elecciones. Ofrecen tantas variaciones de pronósticos como encuestas se dan a conocer. ¿Cómo se justifica que den resultados diferentes si todas se proclaman “científicas”, es decir elaboradas en el mismo lapso sobre la base de una precisa elección de los sujetos de la muestra según lo prescribe un axioma estadístico? Las respuestas de los responsables es que aquellos de sus colegas que obtienen datos diferentes de los propios no son serios, no son científicos, hicieron las cosas mal.
El problema se vuelve aún más complicado cuando llega la comparación de los datos de los distintos pronósticos con el resultado de la elección. “Gana” el menos diferente, ya que igual o casi igual no pronosticó, casi nunca, ninguno. Muchas más veces de las aceptables no sólo no dan “casi igual” sino “totalmente diferente” (Gran Bretaña 2015 a la cabeza). Y las reputaciones de seriedad entre encuestólogos surgen de la cantidad de veces que cada uno pronosticó “más parecido”.
Lo cierto es que, en realidad, en época de elecciones, las conclusiones sobre la relación entre los datos surgidos de una muestra y los que ofrece el universo se parecen más a los que puede ofrecer una ciencia como la astronomía que a los de las que estudian las características de las sociedades humanas. Algo en algún lado está mal definido. O algo en algún lado está mal entendido, o mal interpretado, o mal hecho. Es difícil decidir qué.
No es nuestra intención aquí recomendar cómo hacer las cosas. Cuando se conoce cómo se estableció la elección de los casos en algunas encuestas, es decir, sobre qué base se introdujo el azar, la conclusión más obvia es que no era lo que se deduce del axioma probabilístico. Un ejemplo son las muestras que se eligen “al azar” en el universo de teléfonos de línea que trae la guía correspondiente. Si antes había que recordarles a quienes construían sus muestras que no todos los votantes tenían teléfono en sus domicilios, hoy es aún más complicado porque una enorme cantidad de gente sólo tiene teléfonos celulares, para los cuales es difícil encontrar “guías”. De todas maneras, no todos los ciudadanos poseen esos aparatos tampoco y los universos de los que tienen teléfono de línea y los que tienen celulares no sólo son distintos sino que además, no son pocas personas las que forman parte de los dos, algunas sólo de uno y otras de ninguno. Construir una muestra al azar de las opiniones de los votantes de un país es sumamente trabajoso. Requiere datos que no son fáciles de conseguir en poco tiempo y sería muy costosa.
Queda por decidir, por último, si el universo de opiniones del que se extraen muestras en el caso de las elecciones, es un universo en el que se puede aplicar el axioma probabilístico en el que se basa la teoría de las muestras. Sería necesario revisar qué características debe presentar un universo para que dicha teoría pueda ser aplicable y saber, entonces, si el mundo de las opiniones admite una muestra al azar para representar un universo más allá del momento mismo en el que las opiniones se emiten.
*Investigadora emérita del Conicet; doctora en Antropología por la Universidad de Oxford. Fue directora de la carrera de Sociología de la UBA. Extraído de su libro Clases sociales y otras confusiones en la investigación social (Eudeba).
