Los errores de las encuestas

Las encuestas profesionales permiten estimar márgenes de error. Pero los errores, en sí mismos, son inevitables. Si las encuestas se hacen siguiendo reglas precisas, entonces podemos anticipar el tamaño de sus errores. El modelo más simple es: primero, tenemos una lista completa de todos los posibles votantes en la elección (como una guía telefónica completa de todos los habilitados, incluyendo sus direcciones), lo que los estadísticos suelen llamar “el universo”. Segundo, los encuestados (la “muestra”) son elegidos de esa lista estrictamente al azar; cada uno de ellos tiene la misma probabilidad de ser encuestado. En esas condiciones los estadísticos estiman los márgenes de error reportados por las encuestadoras (por ejemplo: “en el 95% de los casos la diferencia entre el resultado de la encuesta y el valor real será tres puntos porcentuales en más o en menos”, o +/- 3 pp.).

Estos errores sistemáticos son consecuencia de distintos procesos de mediano y largo plazo que llevan a un alejamiento cada vez mayor de las “reglas precisas del modelo más simple”. Al no cumplirse los requisitos básicos, aparecen nuevos tipos de errores. Por ejemplo: un problema que siempre ha estado presente, pero que probablemente se ha vuelto más difícil con el paso del tiempo, es el de saber con alguna precisión quiénes votarán y quiénes no lo harán. Cuando el voto no es obligatorio (como en las elecciones de la semana pasada en España y el referéndum en el Reino Unido, o como en las elecciones internas uruguayas) el problema es evidente: la experiencia enseña que las preferencias de los que efectivamente votan no coinciden con las de los que dicen que votarán (pero no lo hacen). Entonces, si el encuestador estima mal el tamaño de los dos grupos, sus resultados estarán desviados sistemáticamente. Este factor puede ser importante incluso en las elecciones con voto obligatorio, donde se sabe que los que realmente votan son menos numerosos que los registrados por las encuestas.

Al comienzo del desarrollo de las encuestas electorales en los países ricos, antes de la II Guerra, no era tan difícil encontrar en la práctica algo parecido a una enumeración total del “universo” (del conjunto de todos los votantes habilitados), y eligiendo muestras al azar los requisitos del modelo simple resultaban aproximadamente satisfechos. Pero esto resultó cada vez más caro. Entonces, siempre en los países ricos, con penetración relativamente amplia de los teléfonos (de línea fija), las encuestas fueron cada vez más telefónicas (y cada vez menos cara a cara, en los hogares de los encuestados). Pero aun en los países ricos no todo el mundo tenía teléfono, los que no lo tenían eran diferentes a los que sí lo tenían, y en este marco aparecían nuevos problemas: ¿se podía pronosticar el voto nacional partiendo de las intenciones de voto de los que efectivamente tenían teléfono?

Algunas décadas después se generalizó el uso de los teléfonos celulares. Los que usaban principal o exclusivamente teléfonos celulares no eran como los usuarios de las líneas fijas tradicionales o como los que no tenían teléfono, y sus preferencias electorales eran distintas. Problemas similares a los anteriores (pero nuevos) reaparecían, ampliados. Si se trataba de enfrentar estos problemas combinando encuestas a teléfonos fijos y a celulares, por ejemplo, si la “combinación” no era la adecuada, entonces aparecían nuevas fuentes sistemáticas de error.

En esas etapas del desarrollo de las encuestas variaban las maneras de definir universos y de seleccionar muestras, pero en todas había una conversación entre un encuestador (una persona) y un encuestado. En los países ricos esta es la frontera actual de las técnicas: sigue habiendo encuestas, pero no siempre hay “conversaciones” entre encuestadores y encuestados, porque el encuestador humano desaparece. Esto puede ocurrir de dos maneras: por un lado, se siguen usando encuestas telefónicas de distintos tipos, pero el encuestador es un robot, no una persona. Aquí aparece un conjunto de problemas enteramente nuevo.

Por otro lado, la difusión masiva de las redes sociales (como Facebook, por ejemplo), permite hacer encuestas dentro de esas redes. Sus miembros son invitados a responder una encuesta, y si lo hacen, lo hacen solos: no hay ningún encuestador u operador que los guíe. Por esta vía, paradójicamente, se vuelve a problemas ya conocidos desde las primeras etapas del desarrollo de las encuestas, hace aproximadamente ochenta años. En esa época algunas revistas de gran circulación incluían encuestas entre sus páginas. Como ahora en Facebook, invitaban a sus lectores a contestarlas, y responder también era gratis (el cuestionario se devolvía por correo prepago). En algunos casos, con revistas muy populares, se obtenían miles de respuestas. Pero el problema que esto planteaba era lo que ahora llamamos la “autoselección” de los encuestados: solo podían responder los lectores de esas revistas (ahora, siguiendo el ejemplo anterior, solo los usuarios de Facebook), y entre ellos solo la pequeña minoría que se sentía inclinada a responder. Pero esta minoría que finalmente responde puede tener preferencias distintas, o muy distintas, que las del conjunto del electorado, y por lo tanto sus resultados pueden conducir a errores sistemáticos.

Este es un resumen apretado de los errores de las encuestas llamados “de muestreo” (hay otros errores, que no son los que preocupan a los medios). En las democracias ricas esta historia ya tiene ocho décadas; en los países ni ricos ni pobres, como Uruguay, aproximadamente la mitad de ese tiempo. Pero avanzó más rápidamente (y por eso entre nosotros se usan encuestas en Facebook). Las “familias de errores” más importantes suelen venir en olas asociadas a los cambios de técnicas, cambios usualmente resultantes de la necesidad de bajar costos (temas más económicos que técnicos). Hasta hoy las encuestas han logrado corregir aceptablemente esas “familias de errores”. Pero, se sabe, la performance pasada no pronostica los resultados futuros.