Introducción

En un mundo donde los datos se han convertido en el motor de decisiones cruciales en todos los ámbitos, desde la política hasta la ciencia, es imperativo desarrollar una mirada crítica que permita desentrañar la verdad oculta detrás de cifras aparentemente irrefutables.

11. Análisis Crítico de Datos y Estadísticas

El análisis crítico de datos y estadísticas es una habilidad fundamental para interpretar correctamente la información presentada en diversos contextos, desde investigaciones académicas hasta informes mediáticos. Esta capacidad implica no solo comprender los números y gráficos, sino también identificar posibles sesgos, errores metodológicos o manipulaciones intencionadas que puedan distorsionar la realidad.

11.1. Falacias lógicas en la presentación de datos

Como mencionó Gómez (2022) en presencia de datos subyacentes exactos, la manera de seleccionarlos, agruparlos o describirlos puede dar lugar a falacias lógicas que distorsionen la realidad. Entre las falacias más populares están las siguientes:

• Falacia de la Evidencia Anecdótica — "Sesgo de Disponibilidad": El uso de una anécdota personal para rechazar estadísticas: se puede utilizar uno o unos pocos ejemplos personales, o de hecho algunos casos aislados, para descartar las estadísticas apropiadas para la población en general.
  • Ejemplo: Ante cifras que indican un notable descenso del desempleo en general, alguien afirma que las estadísticas son falsas porque "conozco a algunas personas que aún están desempleadas." La experiencia del individuo, aunque verdadera, no niega la media estadística.
• Falacia de Promedios Engañosos: Cuando se utiliza una media (media / mediana / moda) que, aunque correcta matemáticamente, no es representativa del conjunto de datos o se utiliza para cubrir la distribución o dispersión de datos.
  • Ejemplo: Comunicar solo el ingreso promedio en una región o país con una desigualdad de ingresos conspicua. Algunas personas con ingresos muy altos pueden llevar el promedio a tal punto que parece como si el ingreso ordinario fuera mayor de lo que experimenta la gran mayoría de la población (donde la mediana o la moda corresponderían más exactamente).
• Falacia de Causa Falsa (Post hoc ergo propter hoc): Suponer que debido a que un evento está a continuación del otro, el primer evento debe ser la causa del segundo. Este es el punto clave de la confusión entre correlación y causalidad.
  • Ejemplo: Mostrar el gráfico de ventas que aumentó después de una costosa campaña publicitaria en redes sociales, y luego sin considerar ninguna otra causa posible como la estacionalidad, la actividad de la competencia, las condiciones macroeconómicas, concluyen automáticamente "Bueno, claramente ese gasto en marketing tuvo un fuerte retorno de inversión."
• Falacia del "Cherry Picking" (Selección de la Evidencia): La falacia de la selección sesgada es aceptar la evidencia solo cuando es favorable.
  • Ejemplo: Una empresa de productos para bajar de peso selecciona un ejemplo de alguien que perdió una gran cantidad de peso en el primer mes e ignora al resto que no lo hizo.

En la Figura 1 se encuentra un resumen de las falacias lógica.

En este contexto, resulta relevante explorar cómo algunas estrategias de manipulación no solo distorsionan la interpretación de datos, sino que también pueden subvertir el proceso mismo del análisis científico. Algunos de estas estrategias incluyen lo siguiente:

• Muestreo sesgado: Elegir o seleccionar de un grupo de tal manera que no todos los miembros del grupo tengan la misma probabilidad de ser incluidos en la muestra (el sesgo de selección es una forma de muestreo sesgado, pero no siempre es intencional, mientras que el muestreo sesgado puede ser por diseño).
  • Ejemplo moderno: Encuesta de satisfacción del cliente solo por teléfono en horario laboral que excluye específicamente a los trabajadores, pero sesga masivamente la encuesta a favor de aquellos que están en casa (por ejemplo, jubilados, desempleados).
• P-hacking o Data Dredging: Realizar múltiples pruebas estadísticas en los mismos datos hasta que uno de los resultados ocurra al menos tan extremo como p < 0.05 por casualidad y luego solo reportar esa prueba como si fuera la hipótesis inicial (Wasserstein & Lazar, 2016).
  • Ejemplo: Un grupo de investigadores investiga la asociación entre el consumo de múltiples alimentos y el riesgo de enfermedades. Encuentran una asociación estadísticamente significativa entre comer col y enfrentar un menor riesgo (tal vez por casualidad). Solo redactan estos hallazgos y sugieren una fuerte relación causal, sin mencionar las otras 99 correlaciones que probaron que no resultaron significativas.
• Manipulación de las escalas de las variables: Modificar la escala en un gráfico de líneas o barras (por ejemplo, aumentando o disminuyendo las divisiones de la unidad en un eje) o categorizando para magnificar o minimizar el orden de magnitud.
  • Ejemplo moderno: Anuncias un "aumento" del 2% en una tasa; en lugar de presentarlo en términos de aumento porcentual real, lo presentas en céntimos absolutos y lo haces parecer insignificante, o presentas la tasa como un porcentaje y haces que un cambio absoluto modesto parezca descomunal.
• Informe selectivo de resultados (sesgo de publicación): Solo publicar los estudios o análisis que obtuvieron resultados en un sentido "positivo" (por ejemplo, efecto significativo de un tratamiento) pero ocultar los estudios que no encontraron efecto o que encontraron resultados opuestos (López-Gil, 2021). Esto distorsiona la imagen de la evidencia disponible.
  • Ejemplo: Se publican solo los estudios que muestran que una dieta mejora el rendimiento cognitivo, mientras que otros estudios con resultados nulos o negativos quedan archivados sin publicar, dando una visión sesgada del verdadero efecto.

En la Figura 2 se encuentra un resumen de las técnicas de manipulación estadística.

12.1. Evaluación de gráficos y visualizaciones

Los gráficos y las tablas son bien conocidos por ser una buena manera de comunicar estadísticas, pero también por ser un terreno fértil para el engaño (Gómez, 2022). Una revisión crítica y un examen detallado de la visualización de datos deben considerar los siguientes criterios:

• Eje Y recortado: El eje Y no está basado en cero, por lo que los tamaños de efecto entre grupos o puntos de tiempo parecen ser más grandes de lo que realmente son.
  • Ejemplo: Un gráfico de columnas que muestra un ligero incremento en la cuota de mercado de una empresa (digamos de un 20% a un 22%) con el eje Y comenzando en 18%. No somos muy buenos haciendo comparaciones visuales, así que el 22% parece al menos dos veces más grande que el 20% y, a menos que represente una tasa de crecimiento totalmente asombrosa, no es una gran mejora en absoluto.
• Escalas irregulares o roturas de ejes: Dentro de uno o ambos ejes, la distancia entre valores no es igual, haciendo que los datos parezcan inflados.
  • Ejemplo: Un gráfico de líneas que muestra una tendencia al alza, que elimina períodos de tiempo del eje temporal para que no haya caídas ni estancamientos, para enfatizar que la línea está subiendo de manera consistente.
• Selección inadecuada de gráficos para el tipo de datos: El abuso de malas visualizaciones (ej. gráficos de sectores en 3D, donde la precisión para comparar proporciones visuales se hace difícil, o gráficos de áreas con muchas series de tiempo, donde el tejido de cada serie individual no se puede captar).
• Mal uso de iconos o imágenes confusas: Utilizar iconos de tamaño variable donde el área del icono (no solo la altura o el ancho) se escala proporcionalmente a los datos, creando una impresión exagerada de la diferencia (ej. un icono que representa el doble de cantidad tiene el doble de alto pero cuatro veces el área).
• Selección sesgada de intervalos de tiempo: Al elegir determinado período (un período en el que un pico o un valle está oculto o en el que se cambian las tendencias a largo plazo) para contar, no una historia medida, sino una historia selectiva.

Si los ejes, las escalas, los títulos y las etiquetas no tienen sentido, es oportuno preguntarse si la visualización es una representación precisa de los datos que supuestamente ilustra.

En la Figura 3 se identifica un resumen de los criterios que se debn considerar al momento de evaluar gráficos y visualizaciones.

La interpretación de los resultados estadísticos distingue entre significancia "estadística" e importancia práctica (o clínica, o sustantiva).

• Significancia Estadística: Se refiere a la probabilidad de obtener un resultado observado (o uno más extremo) si no existiera un efecto real en la población (bajo la hipótesis nula). Se evalúa comúnmente a través del valor p (p-value). Si p < α (nivel de significancia, típicamente 0.05), el resultado se considera estadísticamente significativo, lo que sugiere que es poco probable que el resultado se deba únicamente al azar (Wasserstein & Lazar, 2016).

En la Figura 4 se identifica el alcance del término significancia desde la perspectiva estadística.

• Relevancia: Se refiere a si la magnitud o el tamaño del efecto observado es lo suficientemente grande como para ser importante, significativo o útil en el mundo real (López-Gil, 2021). Un efecto puede ser estadísticamente significativo (es decir, improbable que sea debido al azar) pero tan pequeño que no tenga ninguna aplicación práctica o implicación real.
  • Ejemplo: Un estudio de alta calidad con miles de participantes es capaz de mostrar que un nuevo medicamento reduce la presión arterial en 0.5 mmHg en promedio, p=0.001. Este hallazgo es estadísticamente significativo (probablemente no debido al azar). Pero una caída de 0.5 mmHg en términos clínicos no hace efectivamente ninguna diferencia en la salud del paciente.

En la Figura 5 se identifica el concepto de relevancia.

13.1. Evaluación: Análisis crítico de un artículo científico

Todas estas actividades conducen a la capacidad de analizar un artículo científico, especialmente en las secciones de Métodos y Resultados. Cuando el investigador o estudiante está leyendo un artículo, debe preguntarse (López-Gil, 2021):

• Metodología: ¿Cómo se formó la muestra?, ¿Podrían estar presentes sesgos de selección?, ¿Fueron válidos y confiables los resultados?, ¿El estudio recogió y analizó los datos apropiadamente para la pregunta de investigación?
• Resultados: ¿Son los valores p lo único en consideración, o se reportan también los tamaños del efecto y/o los intervalos de confianza?, considerando la población del estudio y su diseño, ¿son creíbles los resultados reportados?, ¿Es probable que los resultados en el texto, las tablas y las figuras concuerden?
• Visualización: ¿Representan los gráficos y tablas fielmente los datos, o intentan apelar a trucos visuales y técnicas de manipulación visual?
• Interpretación: ¿Confunden los autores correlación con causalidad?, ¿Sobrevaloran la significancia estadística y descartan resultados prácticamente relevantes?, ¿Discuten las limitaciones del estudio (por ejemplo, tamaño de muestra, posibles sesgos, generalizabilidad)? ¿Y esto es realmente lo que sugiere la evidencia, o hay algún sesgo de confirmación en juego?
• Fuentes: ¿Es la revista revisada por pares y reconocida?, ¿Existen intereses en competencia de los autores o del organismo financiador?

Se espera que, al realizar una revisión sistemática, el estudiante universitario esté capacitado para ir más allá de aceptar acríticamente lo que se imprime, formar un juicio informado sobre la calidad y fiabilidad de la evidencia, y luego atender el peso que se le otorga en su propio trabajo académico.

En la Figura 6 se consolidad las 5 fases para realizar el análisis de un artículo científico.