En primer lugar, empecemos indicando que es estadística: Existen múltiples definiciones de la estadística, posiblemente una por cada autor, a continuación, veremos algunas de las mejores definiciones:

• La estadística es la ciencia que estudia cómo debe emplearse la información y cómo dar una guía de acción en situaciones prácticas que entrañan incertidumbre., la cual implica su recolección, clasificación, síntesis, organización, análisis e interpretación, para la toma de decisiones frente a la incertidumbre. Gutiérrez 1998
• La estadística es la rama del conocimiento humano que tiene como objeto el estudio de ciertos métodos inductivos aplicables a fenómenos susceptibles de expresión cuantitativa. (López, 2020)

De estas definiciones podemos extraer los siguientes detalles:

De acuerdo con Gutierrez, (2007), debemos notar que hace referencia a la “incertidumbre”. Esto es correcto, aunque, contrario a lo que se piensa, la estadística no es una ciencia matemática cuyos resultados sean siempre exactos. En realidad, las operaciones estadísticas nos muestran valores dentro de un rango. No podemos asegurar cuál es el valor real, pero sabemos que estará dentro de un intervalo determinado.

Notaremos que la estadística abarca desde funciones que tiene que ver con la recolección de la información, su tratamiento y análisis de lo que nos está mostrando.

Por último, de acuerdo con López (2020), la estadística es una ciencia de carácter inductivo, lo que significa que se basa en los datos para tomar decisiones, a diferencia de los estudios deductivos, en los cuales se conoce de antemano lo que se intenta demostrar.

Existen tres ramas (o si se quiere tres etapas) de la estadística, cada una comprende una serie de técnicas y funciones que permiten contestar las siguientes preguntas:

¿Qué pasó? ¿Qué está pasando?

¿Qué pasará si seguimos de la misma manera en el futuro?

¿Qué podría pasar si se alteran las condiciones del negocio?

En esta clase, trataremos de responder la primera pregunta. El conjunto de métodos y procedimientos que nos ayudan a contestarla se denomina estadística descriptiva.

Estadística Descriptiva: Es la rama de las matemáticas que recolecta, presenta y caracteriza un conjunto de datos (por ejemplo, edad de una población, altura de los estudiantes de una escuela, temperatura en los meses de verano, etc.) con el fin de describir apropiadamente las diversas características de ese conjunto. Por lo tanto, la estadística descriptiva se apoya o trabaja en base a variables que describen un proceso, evento, negocio, una enfermedad, etc.

Puede haber múltiples variables en un caso de estudio y estas variables pueden ser de distinta naturaleza. De la misma manera que el éxito de una aplicación es haber realizado un correcto análisis de las propiedades de los objetos y clases, el éxito de la estadística es haber recolectado todos los factores que afectan al proceso, evento, negocio, etc.

Tipos de Datos

Para iniciar con la estadística descriptiva, es importante mencionar que existen varios tipos de datos. Comúnmente, asociamos la palabra "dato" con una variable numérica, pero esto no siempre es el caso. Existen diversos tipos de datos dentro del análisis estadístico.

Empezaremos por catalogar dos grandes grupos de tipos de datos:

• Variables cuantitativas: Las observaciones se expresan numéricamente. Dentro de esta categoría podemos ubicar algunas variantes:
  • Variables continuas: Son aquellas que pueden tomar cualquier valor, con cualquier cantidad de decimales, en algunos casos podrían estar acotadas o dentro de un rango. Ejemplo: π = 3.14159.
  • Variables discretas: Pueden tomar determinados valores numéricos únicamente, por ejemplo, la edad de una persona. Un caso particular de esta es la data binaria que solo puede tomar dos valores: Verdadero/Falso.
  • Series de Tiempo: Es una subclase de cuantitativa representada por listas o vectores que representan el valor de la variable a través del tiempo, por ejemplo, temperatura de la ciudad durante el año.
  • Ratio o Razón: Relación entre dos variables numéricas y generalmente se expresa en términos de porcentajes, por ejemplo, tasa de cambio de una moneda.
  • Intervalo: Variables que se hallan dentro de un rango. Esto es muy utilizado por ejemplo en secuencias en R o rangos en Python, ejemplo: secuencia de conteo del 1 al 10, en R representado por la función seq (1::10).
• Variables cualitativas: A este grupo pertenecen las variables que describen características que pueden presentarse en los elementos que conforman el conjunto de datos. En R también se les conoce como variables tipo factor. En esta categoría podemos ubicar los siguientes casos:
  • Variables categóricas: Son variables que se consideran clasificadoras o calificadoras, ya que catalogan los elementos en grupos, conjuntos o categorías. Se conocen como dicotómicas aquellas que solo pueden adoptar dos valores diferentes, y como politómicas las que poseen un número de valores mayor a dos.
  • Variables nominales: Nombres o clasificaciones que se utilizan para datos en categorías, por ejemplo, país, género, color, que por su naturaleza no pueden ser ordenadas.
  • Variables ordinales: Datos que si bien no son numéricos, sí nos dan un sentido de prioridad. Por ejemplo: pequeño, mediano, grande; variables que pueden ser ordenadas.

La siguiente figura explica la clasificación:

Como mencionamos anteriormente, el propósito de la estadística descriptiva es describir los datos. Existen múltiples herramientas para ello. A continuación, exploraremos algunas de las más comunes.

1.1.1 Promedio

Promedio: Es el valor central de un conjunto de datos y nos indica cuál es el valor esperado para una variable aleatoria, considerando todas las posibilidades. En R, la función utilizada para calcularlo es mean(), cuya sintaxis y fórmula se describen en la siguiente figura.

La función acepta los siguientes argumentos:

• x: representa el vector que contiene los datos.
• trim: Es la fracción (0 a 0.5) de observaciones que se deben recortar de cada extremo de x antes de calcular la media. . Los valores de recorte que se encuentren fuera de ese rango se toman como el punto final más cercano y es útil en caso de que el dataset tenga valores atípicos.
• na.rm: Un valor lógico que indica si los valores NA deben eliminarse antes del cálculo. En R cuando un valor de una variable figura como NA indica que no se ha ingresado dicho valor y es diferente al caso de asumir que su valor es cero o nulo. La importancia de este argumento radica en que cualquier operación que se realiza sobre un vector que contiene al menos un valor NA dará como resultado NA.

Si analizamos la fórmula de la función mean(), veremos que todos los valores tienen un peso igual. Esto podría no ser apropiado en algunos casos. Para esto utilizamos la media ponderada:

Media ponderada:

La media aritmética ponderada es similar a una media aritmética, excepto que en lugar de que cada una de las observaciones contribuyan igualmente al promedio final, algunas contribuyen más que otras. Podemos obtener la media ponderada usando el paquete DescTools. La función y formula se muestran en la figura 3..

Note que la función es Mean con mayúscula, en R mayúsculas no son igual que minúsculas. Los argumentos son similares a la función mean, excepto que se introduce el argumento weights, que representa los pesos de cada una de la observaciones

• weights: representa los pesos de cada una de las observaciones.

Media geométrica

Esta es un tipo de media que se usa generalmente en ambientes financieros debido a que su resultado es un poco más conservador. Su valor se obtiene mediante la raíz n de la multiplicación de los valores de las observaciones. Existen muchos paquetes que proveen esta funcionalidad, en nuestra clase utilizaremos la función gm() del paquete rob.compositions . Debido a que la multiplicación de los valores de las observaciones puede arrojar valores muy grandes alternativamente se puede calcular como la constante de Euler (e=2.7182) elevado a la potencia de la media de los logaritmos neperianos de la data, de esta forma garantizamos que no se producirá un “overflow” en su cálculo. Su función y fórmula se muestran en la figura 4..

1.1.2 Moda

Moda: Esta función permite calcular el o los valores más repetidos dentro de un conjunto de datos. En lenguaje R, el paquete modeest ofrece diversas funciones para estimar la moda, destacándose entre ellas la función mlv(), la cual retorna un vector numérico con el valor o los valores más frecuentes. Esta función admite varios métodos de estimación, lo que proporciona flexibilidad según las características de los datos analizados. La sintaxis correspondiente se muestra en la Figura 5.

mlv es una función genérica para estimar la moda de una distribución univariante. Se proporcionan diferentes métodos, el más común es “mfv” que significa el valor más frecuente.

Se llama dispersión de los datos a la variabilidad que existe entre ellos. Cuando tenemos un set de datos de una variable aleatoria, se podría pensar que estos podrían asumir cualquier valor. Sin embargo, en la realidad, cuando se analiza un fenómeno, los datos tienden a estar más o menos agrupados alrededor de la media. Existen varias funciones que nos permiten cuantificar esta dispersión.

1.2.1 Percentiles

Cuantiles: Los cuantiles nos dan una primera idea de la distribución de los valores. Un cuantil o percentil indica qué porcentaje de los datos se encuentra por debajo de un cierto valor de la variable bajo análisis. Por ejemplo, el cuantil del 50 por ciento es lo mismo que la mediana. R tiene algunas funciones convenientes para ayudar a observar los cuantiles.

La función quantile() puede proporcionarle cualquier cuantil que desee. Para ello, se utiliza el argumento probs como un número fraccionario. Por ejemplo, para obtener el cuantil del 20%, se utilizará 0.20 como valor de este argumento. Este argumento también puede recibir un vector como valor, por lo que es posible obtener los cuantiles de 5% y 95% simultáneamente.

Es importante mencionar que existen distintos algoritmos para el caso de variables discretas y continuas, y que no todas las herramientas informáticas utilizan el mismo algoritmo. Esto puede ser relevante e incluso desconcertante si se está trabajando con diferentes herramientas a la vez, ya que podrían proporcionar resultados distintos.

Los algoritmos se numeran del 1 al 3 para variables discretas, como fechas o factores ordenados, y del 4 al 9 para variables continuas. El algoritmo se define mediante el argumento type, siendo 7 el valor por defecto.

La figura 6 muestra la sintaxis de la función quantile(), así como las fórmulas aplicables a los distintos métodos.

1.2.2 Varianza

Varianza: Es una medida de dispersión que representa la variabilidad de una serie de datos respecto a su media. Una serie de datos podría tomar un número infinito de valores, pero en la práctica, cuando se analiza un parámetro de interés, los datos tienden a estar dentro de un rango más o menos disperso. La varianza indica la medida de esta dispersión.

1.2.3 Desviación

Desviación estándar: Representa la raíz cuadrada de la varianza. El símbolo σ (sigma) se utiliza frecuentemente para representar la desviación estándar de una población, mientras que s se utiliza para representar la desviación estándar de una muestra.

1.2.4 Cómo visualizar la dispersión de los datos

ggplot2 es un paquete de visualización de datos para el lenguaje R. Es un esquema general para la visualización de datos que divide los gráficos en componentes semánticos en una modalidad de capas. ggplot2 es un paquete mejorado de los gráficos base en R (plot).

Forma parte del paquete Tidyverse, un sistema para la manipulación, exploración y visualización de datos que comparten una filosofía de diseño común. Los paquetes del Tidyverse están destinados a ser usados por estadísticos y científicos de datos. Básicamente, tidyverse trata sobre las conexiones entre las herramientas que hacen posible el flujo de trabajo.

ggplot2 permite generar una gran cantidad de tipos de gráficos. Las gráficas de dispersión son más útiles para mostrar la relación entre dos variables continuas, o cuando una entidad está compuesta por dos valores. Para visualizar la dispersión utilizaremos la función geom_point, cuya sintaxis se muestra en la figura 9.

Información adicional sobre ggplot2, el siguiente enlace describe la operación básica del paquete (enlace).

Donde el argumento mapping permite indicar qué variables del dataset son asignadas a cada eje. El argumento data, por supuesto, corresponde al dataframe que contiene los datos. El argumento position permite alterar la posición de las observaciones en situaciones de sobre-trazado, con el fin de mejorar la visualización.

Una vez que hemos entendido la relación entre dos variables, nos interesa cuantificar qué tan fuerte es dicha relación; para esto, existen distintos métodos para cuantificarla. Estos métodos podemos distinguirlos en dos clases.

PRUEBAS PARAMÉTRICAS Y NO PARAMÉTRICAS

La diferencia principal entre estos dos tipos es su base matemática para el cálculo. Las pruebas paramétricas se basan en el entendimiento de la distribución de las variables. Este concepto lo veremos más adelante en el curso. Por el momento, diremos que las pruebas paramétricas asumen una cierta distribución.

Ventajas de las Pruebas Paramétricas

• Tienen más poder de eficiencia.
• Más sensibles a los rasgos de los datos recolectados.
• Menos posibilidad de errores.
• Dan estimaciones probabilísticas bastante exactas.

2.1.1 Correlación

Para el cálculo de la correlación tenemos las siguientes pruebas:

Correlación de Pearson: mide una dependencia lineal entre dos variables (X, Y). Es una prueba de tipo paramétrica. Se puede usar solo cuando X e Y son de distribución normal (esto lo veremos más adelante).

Donde:

• ̄X y ̄Y representan la media del vector X y Y respectivamente.
• S_x y S_y representan las desviaciones estándar de X y Y respectivamente.
• n es la cantidad de observaciones.

Correlación de Kendall y Spearman, son coeficientes de correlación basados en rangos (no paramétricos): Las pruebas no paramétricas son aquellas que se encargan de analizar datos que no tienen una distribución particular y se basan en hipótesis, pero los datos no están organizados de forma normal. Aunque tienen algunas limitaciones, cuentan con resultados estadísticos ordenados que facilita su comprensión.

Para el cálculo de la correlación usaremos la función cor() cuya sintaxis se muestra en la siguiente figura.

Retorna el coeficiente de correlación.

Es importante mencionar que cor() puede tomar 2 vectores (X y Y) o un dataframe completo que puede tener múltiples columnas, por lo tanto, si la data es muy extensa su resultado será una matriz de correlaciones entre todos los vectores del data.frame.

Esta matriz tiene las siguientes características:

• La matriz es simétrica, la correlación entre a y b es la misma que entre b y a.
• Los valores de la correlación varían entre -1 y 1; el signo indica si la relación es monotónica negativa o positiva, y el valor absoluto indica qué tan fuerte es la relación.
• La diagonal es siempre 1 (una variable siempre se correlaciona consigo misma).

Es recomendable limitar las columnas que intervienen mediante “subsetting”, es decir, seleccionando un subconjunto de columnas de interés.

Cuando la matriz es pequeña como en la tabla anterior, analizar las relaciones es simple, pero cuando se tiene decenas o centenas de variables se torna difícil. En este caso recurrimos a la visualización.

Por ejemplo, utilizando el dataset economics, este contiene las siguientes columnas:

• Pce: Gastos de consumo personal
• Pop: Población total, en miles
• Psavert: Tasa de ahorro personal
• Uempmed: Duración media del desempleo, en semanas
• Unemploy: Número de desempleados en miles

Utilizando ggplot, podemos crear un mosaico cuyos colores representan la fuerza de la correlación. Colores fuertes representan una correlación alta, y colores neutros como el blanco indican una correlación nula. Estos gráficos son conocidos como correlogramas.

Existen muchas formas de crear estos correlogramas. El siguiente enlace cubre algunas posibilidades.

2.1.2 Covarianza

Hemos visto que la correlación indica la relación que existe entre dos variables; es decir, si una de ellas (la variable predictora) cambia, la variable de respuesta también cambiará, ya sea hacia arriba o hacia abajo.

Por otro lado, la covarianza es un valor que indica el grado de variación conjunta de dos variables aleatorias respecto a sus medias. Es el dato básico para determinar si existe una dependencia entre ambas variables y es esencial para estimar otros parámetros fundamentales, como el coeficiente de correlación lineal o la recta de regresión. También ayuda a entender si estas dos variables están relacionadas de alguna forma.

Retorna un valor que puede ser positivo (si se mueven juntas), negativo (si se mueven en direcciones opuestas), o nulo (si no se mueven juntas de manera apreciable). Existen varios métodos (algoritmos) para su cálculo.

En otras palabras, la covarianza trata de encontrar la relación entre dos variables predictoras. Se asume que hay una variable predictora que provoca cambios entre las variables de respuesta. Queremos encontrar la relación entre estas dos variables predictoras.

La función para determinar la covarianza y su fórmula de cálculo se puede ver en la siguiente gráfica:

2.1.3 Correlación con variables categóricas

Hasta el momento, hemos visto cómo cuantificar la relación entre variables cuantitativas numéricas, pero, como mencionamos antes, estas no son el único tipo de variables que la estadística puede procesar. Otro caso importante es el de las variables nominales. Para este tipo de datos, utilizamos tablas de contingencia.

De acuerdo con Agresti A. (2013), el análisis de datos categóricos se basa típicamente en tablas de contingencia de dos o más dimensiones, tabulando la frecuencia de ocurrencia de niveles de datos nominales y/o ordinales. Una tabla de contingencia es una herramienta que permite organizar datos categóricos en filas y columnas, mostrando la frecuencia de ocurrencia de cada combinación de valores. Esta tabla nos permite medir la interacción entre dos variables y obtener información valiosa para comprender mejor los resultados de una investigación.

Por ejemplo, trabajando con el dataset Oncho, este dataset describe la cantidad de personas encuestadas para saber si padecen de esta enfermedad (onchocercosis). Tenemos una variable que indica si está infectada la persona, pero también contiene otras variables como el área (Savannah o Rainforest), sex (el género masculino o femenino) y grupo de edad (0-20, 20-39, 40+). Todas estas variables son tipo categórico.

En R, estas variables pueden ser convertidas al tipo factor. Un factor no es nada más que una variable categórica que permite agrupación y las distintas opciones de cada variable toman el nombre de niveles del factor. Por ejemplo, para el factor “área” hay 2 niveles: Savannah o Rainforest.

Con estos datos podemos crear una tabla de contingencia que nos permita medir la relación entre estas variables en términos de frecuencia de ocurrencia en el dataset, por ejemplo, no infectados en la Savannah tenemos 267 personas mientras que infectadas en la misma área 281.

Debemos notar que la cantidad de observaciones de un nivel nominal no va a ser necesariamente la misma de otro nivel. Por ejemplo, la cantidad de encuestados hombres (Male) no es igual a las mujeres (Female).

En algunos campos de investigación como la bioestadística se estila crear la tabla con nombres genéricos como Exposure y Outcome, donde las filas (Exp+ y Exp-) indican haber estado sujeto a un “tratamiento” y las columnas conocidas como Out+ y Out- haber desarrollado un efecto o no. En nuestro dataset Oncho, el área sería el “tratamiento” y mf el “efecto”.

Los datos de frecuencia de la tabla por sí solos no indican mayor cosa, por lo tanto, la tabla debe ser procesada a fin de obtener algunos estadísticos que nos indiquen si existe una relación entre un par de variables. El proceso de análisis va a ser diferente si la tabla es de 2x2 (dos filas y dos columnas) o de más filas, como por ejemplo si analizamos la variable “agegrp”.

Para el caso de variables dicotómicas (esto es, variables que solo tienen dos posibles niveles) la función epi.2by2() nos ayuda a obtener los estadísticos necesarios, pero para tablas más grandes la función chisq.test() sería la apropiada. Analizaremos estas funciones más adelante en el curso.

Tratamiento de tablas de contingencia
Describe distintas funciones utilizadas en el análisis enlace

Las medidas de correlación y covarianza nos indican cómo cambia una variable cuando la otra variable cambia. Es decir, solo nos indican cómo se mueven las variables en el dataset, pero no necesariamente nos indican que una variable causa a la otra variable.

Ejemplo: Usted dispone de un dataset que contiene población de una ciudad, el consumo de carne y el consumo de pescado en la ciudad. Existe una correlación directa entre las dos últimas variables y la población. Esto es correcto porque se asume que mientras más grande es la población de una ciudad, hay más consumo.

Pero, si se efectúa una correlación entre consumo de pescado y consumo de carne también encontrará correlación directa. ¿Significa esto que el consumo de carne hace que se consuma más pescado? Por supuesto que no. En este caso existe correlación, pero no existe causación, es decir, el consumo de carne no produce que se consuma más pescado. Por lo tanto, diremos que la causación implica correlación, pero la correlación no implica causación.

Análisis de Correlación
Describe varias funciones para análisis de correlación y causación

2.2.1 Diseño de Experimentos

De acuerdo con Mendiburu F, Yaseen M. (2020), el propósito del diseño de experimentos (DoE) es poder obtener en forma segura la relación causa-efecto entre dos variables. Por ejemplo: saber si un cierto medicamento ayudó (o no) en la recuperación del paciente. Para aseverar que lo anterior es verdadero ciertas consideraciones deben cumplirse.

Asociación

El primer criterio para establecer un efecto causal es una asociación observada entre la variable predictora y de respuesta. Generalmente esto se logra mediante un análisis de correlación. Por otro lado, debemos garantizar que existe la relación tiene un ordenamiento en el tiempo. Se debe asegurar que la variación de la variable predictora se produjo antes del tiempo de la variación de la variable de respuesta.

Detección de asociaciones espurias

El segundo criterio es que esta relación no sea espuria, definimos como espuria a una relación que es ficticia o fraudulenta. Muchas veces nos topamos con la existencia de una tercera variable que en realidad afecta a las dos primeras. Este tipo de variable se las conoce como “confounding” (que produce confusión).

La siguiente figura ilustra la relación entre la edad del paciente y el riesgo de enfermedad coronaria. En principio parecería que la edad es un factor, pero la variable confounding sería el ejercicio.

Para garantizar que la relación no sea espuria debemos cumplir las siguientes condiciones:

• Dos grupos de comparación (en el caso más simple, un grupo experimental y un grupo de control), para establecer asociación.
• Variación en la variable independiente se produce antes del cambio en la variable dependiente, para establecer el orden temporal.
• Asignación aleatoria a los dos (o más) grupos de comparación, para establecer que la relación no es espuria.