jueves, 14 de junio de 2012

jueves de las encuestas y el sesgo de confirmación

el día de ayer fueron anunciados los resultados de la encuesta que el Observatorio Electoral Universitario le encargaron a Berumen. el manejo de los datos fue todo obra del OEU y sus académicos, lo que hizo Berumen fue la recolección de los datos y queda pendiente su presentación de resulados. 

la información que reveló el Observatorio la verdad me parece muy breve y muy poco clara en su metodología -me parece que no han dicho nada sobre el tratamiento de los datos. es importante esto porque la encuesta nace como una queja en contra de los medios manipulados y las encuestas cucharadas. esta es la tesis central de esta entrada. lo más famoso es la imagen que ha circulado:

la imagen se presta tanto a interpretaciones y a manipulaciones que incluso Proceso saltó a dar una conclusión equivocada: el encabezado de la liga es Precisa Berumen: EPN 6.1 arriba de AMLO porque Proceso se adelantó a decir que la encuesta decía que AMLO está un punto arriba de EPN. cada quien ve lo que quiere ver -y hablando de eso, Milenio y El Universal prácticamente no mencionan la encuesta, pero para La Jornada y Aristegui noticias fue una de las notas del día. Aristegui incluso le dedicó una nota sobre los mitos que rompe esta encuesta entre los que destaco "Más Precisión", "Independencia" y la frase “Lo que queremos es ayudar a diseñar un estudio académico para entender realmente qué está pasando y no tener una encuesta todos los días que nos dice poco y falta decir mucho”, dijo Ackerman.

esta última es importante porque, me parece, esta otra también falta decir mucho. aquí lo que arrojaron de la metodología -que es de Berumen- aquí y la escueta presentación de resultados del Obserbatorio. escueta porque, para ser el estudio académico que nos dice todo le hace falta decir mucho.

se declara empate técnico porque el intervalo de estimación de AMLO se cruza con uno de los de EPN, incluso si es por menos de un punto. Julio explica en una de sus columnas no sólo mucha de la motivación para la encuesta sino también cómo debería realizarse una, haciendo énfasis en que no debe presentarse un punto sino un intervalo. 

en resumen, que nadie entiende nada y que todo mundo ve lo que quiere ver.

hay dos cosas que pueden saltar a la vista si te le quedas viendo un rato a la gráfica que presentan: (1) los números de la gráfica no parecen estar donde deberían estar y (2) los intervalos son distintos para los tres candidatos. 

empiezo con (1):

el punto medio del intervalo entre 25 y 30 es 27.5 marcado con la línea que habilmente dibujé en paint. sin embargo, podemos ver cómo el número 27.3 que es el resultado de AMLO está claramente a la derecha de este número, indicando que 27.3 es mayor que 27.5, que casi nunca es cierto. para llamar la atención a ese evento, paint nos permite dibujar circulitos. Ricardo de la O me llamo la atención a cómo no es el único número que parece fuera de lugar, también el 31.8 de AMLO parece estar más a la izquierda de lo que debería. 


EDIT: la imagen ya cambió en el documento de presentación, tanto en la liga que yo tengo como en la de scribd que tiene Aristegui noticias. subo una impresión de pantalla del sitio sólo para que quede constancia de que no es un dibujo mío.


me da pena la música que estoy escuchando



¿es que no pueden equivocarse? NO. ellos no. una encuesta que nace, de manera independiente, como queja ante la manipulación de la información no puede cometer un error así: la imagen da la impresión de que AMLO está mucho más cerca de EPN de lo que realmente está. esta misma estrategía es utilizada por -chan chan chan- las televisoras:



¿algo raro con la primera imagen? debería, el último número está muchísimo más arriba de lo que debería: es el punto más bajo del desempleo en todo el año pero la tele no quiere que veas eso.

sobre (2) hemos discutido mucho sin llegar verdaderamente a una conclusión. la situación es la siguiente: para cada uno de los tres candidatos aparecen tres números: el central sería el estimador puntual más cercano -el número que mejor aproximaría el resultado- y los otros dos puntos marcados -uno a la derecha y uno a la izquierda- es el intervalo que se obtiene de este estimador puntual más menos el error. lo que sucede es que el error es distinto para cada candidato:

para JMV (+2.8, -2.6), para AMLO (+4.5, -4.5), para EPN (+2.5, -2.5). el error es más o menos el mismo para JMV y para EPN pero no así para AMLO que es muchísimo más grande: está más cerca de ser el doble del de EPN que ser igual. Julio Boltvinik -que formó parte del equipo que analizó los resultados, explica por qué sucede esto:
La magnitud de cada uno de los intervalos de confianza presentados no es la misma, lo que indica que la estimación del rango de preferencias de cada candidato cuenta con un margen de error distinto.
Esto sucede, según explicó Boltvinik, porque las preferencias registradas por cada candidato en las diversas secciones electorales no tienen la misma uniformidad.
“Las preferencias por Peña Nieto son más uniformes entre secciones; Andrés Manuel puede obtener el 95% en unas y 5%, o cero en otras… Entonces la variación es brutal.
 y agrega:
“Más bien, están equivocados quienes presentan el mismo margen de error para cada estimación”, señaló el académico del Colmex.
eso, tristemente, incluye a la encuesta de Reforma con la que estaban de acuerdo para empezar. además de que 4.5 es un error más grande al que marca cualquiera de las casas encuestadoras -y el de 2.5 es menor a cualquier otro. es decir: sí es la más precisa para un lado, pero no para el otro.


¿es posible que Andres Manuel obtenga el 95% en una y el 5% en otra sin que esto afecte las preferencias por los otros dos candidatos? está un poco cabrón, ¿no les parece?

sin bien han resumido el resultado como EPN arriba de AMLO por 6 puntos o, mucho más frecuente, Empate Técnico entre EPN y AMLO, no me parece que ese sea el resultado correcto de este estudio. ¿por qué? porque era un estudio científico que nace para ver si las encuestas que han salido a la luz son o no son posibles -no son propaganda política, no tienen la finalidad de mostrar si tal o cual candidato va arriba sino mostrar la verosimilitud de las encuestas recientes. así pues, saltar a esa conclusión me parece poco profesional:

sus resultados dicen que, si bien es imposible afirmar que EPN vaya arriba en las preferencias electorales, es igualmente imposible afirmar que AMLO no va 13 puntos abajo de EPN. ¿escuchan eso? ¡13 puntos abajo! eso permite decir no sólo que la de Reforma está dentro de margen sino que encuestas como la de El Universal o la de UNO tv están completamente dentro de rango, incluso otras tan criticadas como Parametría/OEM y por muy poquito la de Milenio/GEA/ISA; Consulta Mitofsky marca una diferencia de 13.8 puntos ¡está increíblemente cerca! puedes consultar el histórico acá.

lo que está viendo el Observatorio es el rango de error superior de AMLO con el inferior de EPN para afirmar el empate técnico, ¿por qué nunca ve el inferior de AMLO con el superior de EPN? ¿es esa postura científica e insesgada? si este hubiera sido un estudio de interés puramente académico, si su postura fuera realmente imparcial, si de verdad quisieran ayudar a que México no tenga otra elección sin certeza, entonces debieron haber empezado a calmar las aguas, debieron haber concluido que la mayoría de las encuestas están dentro del rango que ellos mismos encuentran, debieron haber hecho público que el escenario más plausible es que EPN gane la elección; en lugar de eso, decidieron dar una conclusión sesgada, decidieron manipular la información que ellos mismos obtuvieron, decidieron encontrar en sus datos la respuesta que ellos buscaban y ser una encuestadora dudosa más.

la conclusión a la que debieron haber saltado los académicos del Observatorio Universitario Electoral es que los resultados de casi todas las encuestas que han salido a la luz pública están dentro del rango que ellos mismos encontraron y, por lo tanto, deberían considerarse aceptables porque esa era la intención de su estudio. por qué no hicieron eso es algo que no entiendo.


Licencia de Creative Commons
escribesaurio by Uge Saurio is licensed under a Creative Commons Reconocimiento-NoComercial-SinObraDerivada 3.0 Unported License. Creado a partir de la obra en escribesaurio.blogspot.com. Permissions beyond the scope of this license may be available at escribesaurio.blogspot.com.