Diagrama de temas
-
ESTADÍSTICA APLICADA V - P1078-TEÓRICO-PRACTICO-N0173-05-N01
PRIMER NIVEL
CARLOS JULIO MAYORGA ARIAS
—
CARLOS JULIO MAYORGA ARIAS
—
-
Pruebas de hipótesis
-
Prueba de hipótesis9.1 Estimación para muestras independientes
Analizar información contextual sobre hábitat, infraestructura y movilidad, mediante técnicas estadísticas descriptivas e inferenciales, para la adecuada toma de decisiones
Reto # 4
9. Pruebas de hipótesis
Una hipótesis es una conjetura sobre la forma en que funciona un proceso. Es una explicación tentativa de algún proceso. Antes de estudiar y medir a los individuos en una muestra, un investigador formula hipótesis que predicen cómo deberían verse los datos. En general, una hipótesis predice que los datos no mostrarán nada nuevo o interesante. La llamada hipótesis nula (abreviada H0) sostiene que, si los datos se desvían de la conjetura de alguna manera, esa desviación se debe estrictamente al azar.
De acuerdo con Schmuller (2022) “La otra hipótesis, la hipótesis alternativa (abreviada H1 o Ha), explica las cosas de manera diferente. Según la hipótesis alternativa, los datos muestran algo diferente”.
Para hacer una prueba de hipótesis trabajaremos en base a una o más muestras de las cuales obtendremos las evidencias para indicar si H0 está en lo correcto o no.
Diferencia estadísticamente Insignificante
Es la diferencia entre el valor de la media poblacional bajo hipótesis y el valor de la media muestral que es lo suficientemente pequeña para atribuirla a un error de muestreo, y, por lo tanto, no cuenta como evidencia en contra de H0.
9.1 Estimación para muestras independientesHay cinco pasos que debemos completar para probar una hipótesis:
a. Enunciar la hipótesis nula y la hipótesis alternativa.
b. Determinar el nivel de significancia.
c. Calcular el estadístico de la prueba.
d. Determinar el valor o los valores críticos.
e. Enunciar la decisión o el hallazgo.
Hipótesis nula e hipótesis alternativa
Toda prueba de hipótesis debe incluir una hipótesis nula y una hipótesis alternativa. La hipótesis nula, denotada por H0, representa el statu quo e implica afirmar la creencia de que la media de la población es ≤, = o ≥ un valor específico. Se cree que la hipótesis nula es verdadera a menos que exista evidencia abrumadora de lo contrario. La hipótesis nula es la que debe rechazarse o no rechazarse.
La hipótesis alternativa, denotada por H1, representa lo opuesto a la hipótesis nula y es verdadera si se determina que la hipótesis nula es falsa. La hipótesis alternativa siempre establece que la media de la población es <, ≠ o > un valor específico.
Recuerde que el propósito de la prueba de hipótesis es verificar la validez de una afirmación sobre una población, basada en una sola muestra. Como nos basamos en una muestra, nos exponemos al riesgo de que nuestras conclusiones sobre la población puedan ser erróneas debido a un error de muestreo. Aquí se nos pueden presentar dos tipos de errores:
Si rechazamos H0 cuando en realidad es cierto, se conoce como error de tipo I. La probabilidad de cometer un error de tipo I se conoce como α, el nivel de significancia.
Por el contrario, cuando no rechazamos H0 cuando en realidad es falsa, se conoce como error de tipo II. La probabilidad de cometer un error de tipo II se conoce como β.
Calcular el estadístico de la pruebaLa fórmula para la prueba de hipótesis está muy relacionada con el estadístico t. En la medida que el valor t calculado aumente, mayor será la evidencia en contra de H0. Sin embargo, si el valor t es menor que el valor del intervalo de confianza utilizado solo indicará que no hay evidencias en contra de H0 no necesariamente que H0 está en lo correcto.
Figura 1Fórmula para la prueba de hipótesis
Calcular el valor crítico
Nombre_de_la_figura El valor crítico divide el área bajo la curva de distribución normal en dos regiones: el área donde no rechazamos H0 y el área o áreas donde rechazamos H0. Obtenemos el valor crítico mediante la función qt(), y esta va a diferir si estamos haciendo una prueba de dos colas o de una cola.
Prueba de dos colasUtilizaremos esta prueba cuando queremos saber si nuestra muestra proviene de una población en particular dado por una media μ y desviación σ.
Por ejemplo, tengo una muestra y asumo que esta viene de una población con media de 7,5. Se desea saber si es verdad o no.
Asumimos que si X̅ (la media de la muestra) se halla dentro del 95% (1 - α), HO es verdadero, porque solo hay un 2.5% que puede ser atribuido a diferencia insignificante. Por lo tanto, si el estadístico calculado se halla dentro del intervalo de -1.96 y +1.96, HO sigue manteniéndose. Caso contrario, si el estadístico es mayor que 1.96 o menor que -1.96, parece poco probable que la media esté centrada en el valor µ establecido. Por tanto, H1 podría ser verdadero.
Figura 2Áreas de rechazo para prueba de dos colas
Creación del autor: Alfonso Prado
Nombre_de_la_figura Es importante mencionar que si el estadístico calculado se hallara dentro de la región de no rechazo, debe interpretarse como que no existe evidencia (datos) que confirmen que H0 está equivocado; es decir, podría ser que otra muestra presente un resultado distinto.
Veamos un ejemplo:
#Usted está interesado en cambiar su carro, y considera que el cambio le costará unos 25.000 US$, realiza una pequeña investigación de mercado en 40 distribuidores y obtiene una media de 27312, con una desviación de 8012 US$. A un nivel de significancia del 10% pruebe si su hipótesis es verdadera.
Figura 3
Gráfico obtenido del problema
Creación de autor Alfonso Prado
En este caso rechazamos la hipótesis H0 debido a que el Z calculado se halla más distante que el Zcritico
Prueba de una colaNo siempre el problema trata de encontrar si el estadístico está entre las dos colas. Hay veces que el enunciado indica interés en validar solo uno de los lados. Por ejemplo, una empresa puede estar interesada en validar si sus ventas pueden caer por debajo de cierto valor; en otras palabras, las ventas altas no son de interés.
Si tenemos una prueba de una cola, tendremos solo un área de rechazo, no dos. Si es una prueba de cola derecha, entonces el área de rechazo estará en la cola derecha; y si tenemos una prueba de cola izquierda, el área de rechazo estará en la cola izquierda. Veamos cómo obtener el valor crítico para cada una:
Si elegimos α = 0,01 y utilizamos una prueba de cola derecha, entonces necesitaremos determinar el valor Z crítico correspondiente. Debido a que se trata de una prueba de una cola, toda esta área debe estar en una región de rechazo en el lado derecho de la distribución.
Veamos un ejemplo:
Descripción del Problema
El gerente del hotel Embassy Suites Atlanta reportó que el número promedio de habitaciones alquiladas por noche es de por lo menos 212. Es decir, \( \mu \geq 212 \). Sin embargo, se cree que esta cifra puede estar algo sobrestimada. Una muestra de 150 noches produce una media de 201.3 habitaciones y una desviación estándar de 45.5 habitaciones. Se desea comprobar, al 1% de significancia, si la hipótesis es correcta.
Datos
- \( \mu = 212 \)
- \( n = 150 \)
- \( \bar{x} = 201.3 \)
- \( \alpha = 0.01 \)
- \( sd = 45.5 \)
Cálculo del Estadístico Z
\( Z_{\text{calc}} = \frac{\bar{x} - \mu}{\frac{sd}{\sqrt{n}}} \)
Fórmula para calcular el estadístico Z usando media muestral, media poblacional, desviación estándar y tamaño de muestra. Valor Crítico Z
\( Z_{\text{crítico}} = qnorm(0.01) \)
Valor crítico para una cola izquierda con \(\alpha = 0.01\). Visualización en R
serie4 <- rnorm(1000, mean=0, sd=1) df4 <- data.frame(X=serie4, Y=dnorm(serie4, mean=0, sd=1)) ggplot(data=df4, aes(x=X, y=Y)) + geom_line() + geom_vline(xintercept=Zcalc, color="BLUE") + geom_ribbon(data=subset(df4, X > -3 & X < Zcritico), aes(ymax=Y), ymin=0, fill="RED")Código en R para visualizar el valor Z obtenido respecto al valor crítico en una curva normal estándar. Como muestra la siguiente figura, necesitamos encontrar el valor Z que corresponde al área 1 – α.
figura 4Solución al problema
Con un 99% de confianza podemos estar seguros de que la estimación esta sobrestimada
Creación de autor Alfonso Prado
Nombre_de_la_figura Por otro lado, si el enunciado del problema mencionara que es una prueba de cola derecha, el área de rechazo estará a la derecha y el valor crítico será 2,33 en lugar de -2,33.
Funciones Programáticas t.test
La solución de las pruebas de hipótesis vistas anteriormente podríamos considerarlas como soluciones analíticas; es decir, el analista debe calcular correctamente los valores críticos y tomar una decisión. Las funciones programáticas nos permiten hacer básicamente lo mismo, aunque con ciertas particularidades.
Existen 3 diferentes casos de uso de la función t.test.
Caso 1: Cuando queremos saber si nuestra muestra proviene de una población en particular. En este caso, indicaremos el vector x que será comparado contra el valor mu.
Caso 2: Un dataset con datos dependientes. Por ejemplo, cuando tengo un dataset con valores antes y después de un tratamiento. Requiere el argumento “paired= TRUE”
Caso 3: Dos dataset con datos independientes. Por ejemplo, tengo grupos de hombres y mujeres y queremos determinar si provienen de la misma población. Requiere el argumento “paired= FALSE”
La función t.test devuelve un objeto con 2 propiedades: t-value y p-value. Tvalue es la medida de la evidencia en contra de H0, mientras más grande es el valor desecharemos la hipótesis H0. P-value es simplemente una medida de la probabilidad de que los datos hayan ocurrido por casualidad, suponiendo que la hipótesis H0 sea cierta. Su cálculo depende del escenario planteado. Para el caso de que H0 haya sido rechazado, 1-pvalue será la probabilidad que la hipótesis H1 sea cierta.
Figura 5Sintaxis de la función t.test
Nombre_de_la_figura Donde:
x, y son las muestras que considerar
mu es la media poblacional estimada
alternative indica cuál es la hipótesis alternativa
conf.level indica el intervalo de confianza para el cálculo
Función t.test
Describe en detalle el uso de t.test ¡Accede aquí!
Para que t.test funcione correctamente, es necesario que se cumplan 2 condiciones: La distribución debe ser normal y la varianza en el caso de comparación de 2 dataset debe ser similar. Validación de estas premisas veremos en la siguiente clase
9.3 Estimación de la potencia de la pruebaHay cinco pasos que debemos completar para probar una hipótesis:
a. Enunciar la hipótesis nula y la hipótesis alternativa.
b. Determinar el nivel de significancia.
c. Calcular el estadístico de la prueba.
d. Determinar el valor o los valores críticos.
e. Enunciar la decisión o el hallazgo.
Hipótesis nula e hipótesis alternativa
Toda prueba de hipótesis debe incluir una hipótesis nula y una hipótesis alternativa. La hipótesis nula, denotada por H0, representa el statu quo e implica afirmar la creencia de que la media de la población es ≤, = o ≥ un valor específico. Se cree que la hipótesis nula es verdadera a menos que exista evidencia abrumadora de lo contrario. La hipótesis nula es la que debe rechazarse o no rechazarse.
La hipótesis alternativa, denotada por H1, representa lo opuesto a la hipótesis nula y es verdadera si se determina que la hipótesis nula es falsa. La hipótesis alternativa siempre establece que la media de la población es <, ≠ o > un valor específico.
Recuerde que el propósito de la prueba de hipótesis es verificar la validez de una afirmación sobre una población, basada en una sola muestra. Como nos basamos en una muestra, nos exponemos al riesgo de que nuestras conclusiones sobre la población puedan ser erróneas debido a un error de muestreo. Aquí se nos pueden presentar dos tipos de errores:
Si rechazamos H0 cuando en realidad es cierto, se conoce como error de tipo I. La probabilidad de cometer un error de tipo I se conoce como α, el nivel de significancia.
Por el contrario, cuando no rechazamos H0 cuando en realidad es falsa, se conoce como error de tipo II. La probabilidad de cometer un error de tipo II se conoce como β.
Calcular el estadístico de la pruebaLa fórmula para la prueba de hipótesis está muy relacionada con el estadístico t. En la medida que el valor t calculado aumente, mayor será la evidencia en contra de H0. Sin embargo, si el valor t es menor que el valor del intervalo de confianza utilizado solo indicará que no hay evidencias en contra de H0 no necesariamente que H0 está en lo correcto.
Figura 1Fórmula para la prueba de hipótesis
Calcular el valor crítico
Nombre_de_la_figura El valor crítico divide el área bajo la curva de distribución normal en dos regiones: el área donde no rechazamos H0 y el área o áreas donde rechazamos H0. Obtenemos el valor crítico mediante la función qt(), y esta va a diferir si estamos haciendo una prueba de dos colas o de una cola.
Prueba de dos colasUtilizaremos esta prueba cuando queremos saber si nuestra muestra proviene de una población en particular dado por una media μ y desviación σ.
Por ejemplo, tengo una muestra y asumo que esta viene de una población con media de 7,5. Se desea saber si es verdad o no.
Asumimos que si X̅ (la media de la muestra) se halla dentro del 95% (1 - α), HO es verdadero, porque solo hay un 2.5% que puede ser atribuido a diferencia insignificante. Por lo tanto, si el estadístico calculado se halla dentro del intervalo de -1.96 y +1.96, HO sigue manteniéndose. Caso contrario, si el estadístico es mayor que 1.96 o menor que -1.96, parece poco probable que la media esté centrada en el valor µ establecido. Por tanto, H1 podría ser verdadero.
Figura 2Áreas de rechazo para prueba de dos colas
Creación del autor: Alfonso Prado
Nombre_de_la_figura Es importante mencionar que si el estadístico calculado se hallara dentro de la región de no rechazo, debe interpretarse como que no existe evidencia (datos) que confirmen que H0 está equivocado; es decir, podría ser que otra muestra presente un resultado distinto.
Veamos un ejemplo:
#Usted está interesado en cambiar su carro, y considera que el cambio le costará unos 25.000 US$, realiza una pequeña investigación de mercado en 40 distribuidores y obtiene una media de 27312, con una desviación de 8012 US$. A un nivel de significancia del 10% pruebe si su hipótesis es verdadera.
Figura 3
Gráfico obtenido del problema
Creación de autor Alfonso Prado
En este caso rechazamos la hipótesis H0 debido a que el Z calculado se halla más distante que el Zcritico
Prueba de una colaNo siempre el problema trata de encontrar si el estadístico está entre las dos colas. Hay veces que el enunciado indica interés en validar solo uno de los lados. Por ejemplo, una empresa puede estar interesada en validar si sus ventas pueden caer por debajo de cierto valor; en otras palabras, las ventas altas no son de interés.
Si tenemos una prueba de una cola, tendremos solo un área de rechazo, no dos. Si es una prueba de cola derecha, entonces el área de rechazo estará en la cola derecha; y si tenemos una prueba de cola izquierda, el área de rechazo estará en la cola izquierda. Veamos cómo obtener el valor crítico para cada una:
Si elegimos α = 0,01 y utilizamos una prueba de cola derecha, entonces necesitaremos determinar el valor Z crítico correspondiente. Debido a que se trata de una prueba de una cola, toda esta área debe estar en una región de rechazo en el lado derecho de la distribución.
Veamos un ejemplo:
Descripción del Problema
El gerente del hotel Embassy Suites Atlanta reportó que el número promedio de habitaciones alquiladas por noche es de por lo menos 212. Es decir, \( \mu \geq 212 \). Sin embargo, se cree que esta cifra puede estar algo sobrestimada. Una muestra de 150 noches produce una media de 201.3 habitaciones y una desviación estándar de 45.5 habitaciones. Se desea comprobar, al 1% de significancia, si la hipótesis es correcta.
Datos
- \( \mu = 212 \)
- \( n = 150 \)
- \( \bar{x} = 201.3 \)
- \( \alpha = 0.01 \)
- \( sd = 45.5 \)
Cálculo del Estadístico Z
\( Z_{\text{calc}} = \frac{\bar{x} - \mu}{\frac{sd}{\sqrt{n}}} \)
Fórmula para calcular el estadístico Z usando media muestral, media poblacional, desviación estándar y tamaño de muestra. Valor Crítico Z
\( Z_{\text{crítico}} = qnorm(0.01) \)
Valor crítico para una cola izquierda con \(\alpha = 0.01\). Visualización en R
serie4 <- rnorm(1000, mean=0, sd=1) df4 <- data.frame(X=serie4, Y=dnorm(serie4, mean=0, sd=1)) ggplot(data=df4, aes(x=X, y=Y)) + geom_line() + geom_vline(xintercept=Zcalc, color="BLUE") + geom_ribbon(data=subset(df4, X > -3 & X < Zcritico), aes(ymax=Y), ymin=0, fill="RED")Código en R para visualizar el valor Z obtenido respecto al valor crítico en una curva normal estándar. Como muestra la siguiente figura, necesitamos encontrar el valor Z que corresponde al área 1 – α.
figura 4Solución al problema
Con un 99% de confianza podemos estar seguros de que la estimación esta sobrestimada
Creación de autor Alfonso Prado
Nombre_de_la_figura Por otro lado, si el enunciado del problema mencionara que es una prueba de cola derecha, el área de rechazo estará a la derecha y el valor crítico será 2,33 en lugar de -2,33.
Funciones Programáticas t.test
La solución de las pruebas de hipótesis vistas anteriormente podríamos considerarlas como soluciones analíticas; es decir, el analista debe calcular correctamente los valores críticos y tomar una decisión. Las funciones programáticas nos permiten hacer básicamente lo mismo, aunque con ciertas particularidades.
Existen 3 diferentes casos de uso de la función t.test.
Caso 1: Cuando queremos saber si nuestra muestra proviene de una población en particular. En este caso, indicaremos el vector x que será comparado contra el valor mu.
Caso 2: Un dataset con datos dependientes. Por ejemplo, cuando tengo un dataset con valores antes y después de un tratamiento. Requiere el argumento “paired= TRUE”
Caso 3: Dos dataset con datos independientes. Por ejemplo, tengo grupos de hombres y mujeres y queremos determinar si provienen de la misma población. Requiere el argumento “paired= FALSE”
La función t.test devuelve un objeto con 2 propiedades: t-value y p-value. Tvalue es la medida de la evidencia en contra de H0, mientras más grande es el valor desecharemos la hipótesis H0. P-value es simplemente una medida de la probabilidad de que los datos hayan ocurrido por casualidad, suponiendo que la hipótesis H0 sea cierta. Su cálculo depende del escenario planteado. Para el caso de que H0 haya sido rechazado, 1-pvalue será la probabilidad que la hipótesis H1 sea cierta.
Figura 5Sintaxis de la función t.test
Nombre_de_la_figura Donde:
x, y son las muestras que considerar
mu es la media poblacional estimada
alternative indica cuál es la hipótesis alternativa
conf.level indica el intervalo de confianza para el cálculo
Función t.test
Describe en detalle el uso de t.test ¡Accede aquí!
Para que t.test funcione correctamente, es necesario que se cumplan 2 condiciones: La distribución debe ser normal y la varianza en el caso de comparación de 2 dataset debe ser similar. Validación de estas premisas veremos en la siguiente clase
Una vez realizado el experimento recuperamos la data y empezamos a inferir si existen diferencias entre los grupos. Sin embargo, vamos a entender que no todas las pruebas tienen igual potencia para inferir los resultados. Más aún, determinados tipos de experimentos van a requerir que se vea una clara distinción sobre la afectación del tratamiento lo cual podría requerir un mayor número de observaciones para lograr el mismo nivel de potencia. Para esto recurrimos a la función de potencia pwr.t.test() del paquete pwr.
La prueba pwr.t.test sirve para establecer los valores de n,d, sig.level, o pwr , esto se obtiene asignando en NULL el argumento que se desea encontrar de acuerdo con los otros argumentos que deben ser no nulos.
Figura 7: Uso de la función pwr.t.test. FFuente: https://www.rdocumentation.org/packages/pwr/versions/1.3-0/topics/pwr.t.test Donde:
n: Número de observaciones (por muestra)
d =Tamaño del efecto (d de Cohen):
sig.level: Nivel de significancia (probabilidad de error tipo l)
power: Potencia de la prueba (1 - probabilidad de error tipo ll)
Type: Tipo de prueba t: una, dos muestras o muestras pareadas
Alternative: una cadena de caracteres que especifica la hipótesis alternativa debe ser una de "mayor" o "menor"
Paquete pwr
Describe en detalle las funciones ¡Accede aquí!
De todos los argumentos, el tamaño del efecto requiere una explicación adicional: El tamaño del efecto puede decirnos qué tan grande es realmente esta diferencia ente los grupos y se calcula mediante la d de Cohen que retorna la diferencia en términos de desviaciones estándar.
De acuerdo con Teck K, (2022), dado que la potencia se define como (1 - probabilidad de error tipo ll) nos indicaría la probabilidad de que la prueba t rechace la hipótesis nula de igualdad de dos medias, asumiendo que la hipótesis nula es falsa y su valor típico es 0.8.
Note que la función no contiene ningún argumento sobre un dataset en especial, la prueba nos da la potencia que se obtendría bajo determinadas condiciones de número de observaciones, tipo de test y tipo de alternativa.
Veamos algunos ejemplos
Potencia para una muestra
Se calcula la potencia de una prueba t para una muestra de 60 observaciones, dos colas, con un tamaño del efecto \( d = 0.2 \) y un nivel de significancia de \( \alpha = 0.10 \).
\( \text{power} = 0.456 \)
Potencia para muestras pareadas
Se calcula la potencia de una prueba t pareada con:
\( d = \frac{8}{16 \cdot \sqrt{2(1 - 0.6)}} \)
Tamaño de muestra \( n = 40 \), \( \alpha = 0.05 \), prueba de dos colas.
\( \text{power} = 0.932 \)
Potencia para muestras independientes
Se calcula la potencia con:
\( d = \frac{2}{2.8} \)
Tamaño de muestra \( n = 30 \), \( \alpha = 0.05 \), prueba de dos colas.
\( \text{power} = 0.567 \)
Tamaño muestral requerido para \( d = 0.3 \)
Para detectar un tamaño del efecto \( d = 0.3 \) con \( \text{power} = 0.75 \) y \( \alpha = 0.05 \) en una prueba de una cola:
\( n = 120 \)
Figura 8Tamaño muestral requerido para \( d = 0.1 \)
Para detectar un tamaño del efecto pequeño \( d = 0.1 \) con \( \text{power} = 0.75 \) y \( \alpha = 0.05 \) en una prueba de una cola:
\( n = 1077 \)
Explica la relación entre la potencia, el tamaño del efecto (d) y el tamaño de la muestra requerida
Figura 8 Explica la relación entre la potencia, el tamaño del efecto (d) y el tamaño de la muestra requerida -
Hacer un envío
-
Hacer intentos: 1
-
Condiciones para pruebas de hipótesis10.1 Prueba de Shapiro-WilkClase 10:
Analizar información contextual sobre hábitat, infraestructura y movilidad, mediante técnicas estadísticas descriptivas e inferenciales, para la adecuada toma de decisiones
Reto # 410. Condiciones para pruebas de hipótesis Para que t.test funcione correctamente, es necesario que se cumplan dos condiciones: la distribución debe ser normal y la varianza, en el caso de comparación de dos datasets, debe ser similar.
10.2 Prueba de Ansari-BradleyLa prueba de normalidad de Shapiro-Wilk es una de las tres pruebas generales de normalidad diseñadas para detectar las desviaciones de la normalidad. El test de Shapiro-Wilk plantea la hipótesis nula de que la muestra proviene de una distribución normal. Para la prueba, elegimos un nivel de significancia; la prueba permite escoger el nivel de significancia deseado, siendo los más comunes 0.05 o 0.01, y tenemos una hipótesis alternativa que sostiene que la distribución no es normal.
H0 = La distribución es normal
H1 = La distribución no es normal
o más formalmente:
Hipótesis
\( H_0: X \sim \mathcal{N}(\mu, \sigma^2) \)
\( H_1: X \not\sim \mathcal{N}(\mu, \sigma^2) \)Hipótesis nula y alternativa para verificar normalidad Esta prueba retorna un p-value. El valor p es el nivel más bajo de significancia al cual se puede rechazar la hipótesis nula; por lo tanto, se garantiza que la distribución es normal si el p-value es mucho mayor que 0.05.
Esta prueba también realiza una prueba no paramétrica medida por el estadístico W. Este debe tener un valor aproximadamente igual a 1 para muestras de distribuciones normales. Los valores grandes indican no normalidad; más específicamente, el valor W debe compararse con un W-crítico, mismo que varía de acuerdo con el tamaño de la muestra y el nivel de confianza. Valores referenciales figuran en la siguiente tabla.
Tabla 1: Valores del W-critico en función de la cantidad de observaciones Para el cálculo del Wcritico, no podemos utilizar las funciones qnorm o qt ,dado que no podemos asegurar su distribución . En su lugar, usaremos una distribución gamma. Esta distribución de la familia de probabilidad continua contiene dos parámetros: parámetro de forma K y de escala θ. El siguiente código ayuda a encontrar el Wcrítico para cualquier combinación de número de observaciones y nivel de confianza.
Distribución gammaCálculo de W crítico usando simulación
Definición de funciones en R:
tmpf <- function(gshape=20, n=50) {<br> shapiro.test(qgamma((1:n)/(n+1), scale=1, shape=gshape))<br> }
find.shape <- function(n, alpha) {<br> uniroot(function(x) tmpf(x, n)$p.value - alpha, interval=c(0.01, 100))$root<br> }
find.W <- function(n, alpha) {<br> s <- find.shape(n, alpha)<br> tmpf(s, n=n)$statistic<br> }
Cálculos realizados:
find.W(14, 0.05)→ 0.8753995find.W(14, 0.01)→ 0.8238614
En resumen, el valor crítico de \( W \) para 14 observaciones y un nivel de significancia \( \alpha = 0.05 \) es:
\[ W_{crítico}(n=14, \alpha=0.05) = 0.8753995 \] Y para \( \alpha = 0.01 \):
\[ W_{crítico}(n=14, \alpha=0.01) = 0.8238614 \]Cálculo del valor crítico de W en la prueba de Shapiro-Wilk mediante simulación de distribuciones gamma. Aprende más
Distribución gamma: Describe el uso de las funciones gamma ¡Accede aquí!
Veamos un ejemplo teórico
Pruebas de normalidad con Shapiro-Wilk
1. Distribución normal simulada:
vnormal <- rnorm(100, mean = 5, sd = 3)
shapiro.test(vnormal)
Resultado:
Shapiro-Wilk normality test
data: rnorm(100, mean = 5, sd = 3)
\( W = 1 \), p-value = 0.2
Dado que el valor p es mayor que 0.05, se concluye que la distribución es normal.
2. Distribución uniforme:
runif <- runif(100, min = 2, max = 4)
shapiro.test(vrunif)
shapiro.test(runif(100, min = 2, max = 4))
Resultado:
Shapiro-Wilk normality test
data: runif(100, min = 2, max = 4)
\( W = 1 \), p-value = 0.0009
Dado que p-value < 0.05, se concluye que no sigue una distribución normal.
3. Distribución t con 20 grados de libertad:
vt <- rt(100, 20)
shapiro.test(vt)
Resultado:
Shapiro-Wilk normality test
data: vt
\( W = 1 \), p-value = 0.04
Como el p-value está por debajo del límite de 0.05, se concluye que no sigue una distribución normal.Evaluación de normalidad para distintas distribuciones mediante la prueba de Shapiro-Wilk. Veamos un ejemplo con el dataset “housing”, queremos entender si la distribución de los pies cuadrados de las construcciones sigue una distribución normal
Análisis de Normalidad del Dataset de Vivienda
read.csv("http://www.jaredlander.com/data/housing.csv", header=TRUE, sep=",")
housing <- na.omit(housing)
Entendamos el dataset:
names(housing)
Nombres largos o con puntos es mejor cambiarlos:
nombres <- names(housing)
names(housing) <- c("sector", "class", "TUnits", "Year", "GSqFt",
"Est_GIncome", "GIncomexSqFt", "Est_Expense",
"ExpSqFt", "NetIncome",
"FullValue", "valxSqFt", "Boro")
Nos interesa saber si, de todo el dataset, el tamaño de las áreas sigue una distribución normal:
shapiro.test(housing$GSqFt)
Shapiro-Wilk normality test
data: housing$GSqFt
W = 0.4567, p-value < 2.2e-16
Con un p-value menor que 0.05 y un W menor que 1, concluimos que no sigue distribución normal.Prueba de normalidad de Shapiro-Wilk aplicada al tamaño de las áreas (GSqFt). Si un conjunto de datos no se distribuye normalmente, podemos realizar una de las siguientes transformaciones para normalizarlo:
- 1. Transformación logarítmica: transforma el vector a log(vector).
- 2. Transformación de raíz cuadrada: transforma el vector y a √vector
Al realizar estas transformaciones, la variable de respuesta suele acercarse a una distribución normal.
10.3 Pruebas de anova de 1 víaEsta prueba se usa para probar la hipótesis nula (H0) de que las varianzas de dos datasets, correspondientes a dos muestras, son idénticas, mientras que la hipótesis alternativa (H1) indica que difieren por dispersión (algunos autores lo llaman escala). La prueba de Ansari también retorna un p-value que debe ser mucho mayor que 0.05 para asegurar que las varianzas son similares.
Figura 1: Función programática Ansari Veamos un ejemplo teórico
Ansari-Bradley Test
1. Generación de vectores:
V1 <- rnorm(100)
V2 <- rnorm(100, 0, 2)
2. Prueba de igualdad de escalas:
ansari.test(V1, V2)
Resultado:
Ansari-Bradley test
data: rnorm(100) and rnorm(100, 0, 2)
AB = 5872, p-value = 5.892e-05
alternative hypothesis: true ratio of scales is not equal to 1
Intervalo de confianza al 95%:
\[ [0.4035154,\ 0.7085887] \]
Estimación de la razón de escalas:
\[ \text{ratio of scales} = 0.5356437 \]
Dado que el valor p es menor que 0.05, se concluye que las varianzas son diferentes.Resultado de la prueba Ansari-Bradley para detectar diferencias en varianza entre dos muestras independientes. De la figura 1 se puede ver claramente que la función solo permite comparar dos datasets; sin embargo, comúnmente nos topamos con situaciones en las cuales tenemos una variable de tipo factor con múltiples niveles. En estos casos, necesitamos garantizar que los valores de cada uno de estos niveles tengan una varianza similar. La pregunta que nos hacemos es: ¿Cómo puedo comparar múltiples datasets? La respuesta es ANOVA.
Estadístico Fratio
Para entender cómo funciona anova, necesitamos conocer previamente sobre la distribución F. De acuerdo con Berman H,() “la distribución F es la distribución de probabilidad asociada con el estadístico F”. De la misma manera que la distribución Student T está relacionada con el estadístico t, la distribución F está asociada con el estadístico F (o Fratio).
El estadístico Fratio sirve para comparar varianzas de dos poblaciones; la comparación se hace en base a la razón (división) de las mismas. Sin embargo, debemos entender que los estadísticos de las poblaciones generalmente no son conocidos. Cuando se comparan las varianzas de dos poblaciones, se toma una muestra de cada población. Las varianzas de la muestra sirven como estimaciones de sus varianzas poblacionales respectivas. Una distribución F se forma por la razón de estas dos varianzas muestrales.
Debemos conocer también que existen 2 tipos de pruebas en las que usamos este estadístico. La prueba conocida como anova de 1 vía (aov), tiene por interés contestar la siguiente pregunta: "¿La varianza entre las medias de dos poblaciones es significativamente diferente?"
Aprende más
Análisis de variaza usando anova: Describe los casos de usos y resultados ¡Accede aquí!
La distribución F tiene la particularidad de que la relación de las varianzas se espera que sea mayor que 1, por lo tanto, al hacer la relación, colocaremos la varianza mayor en el numerador y la varianza menor en el denominador.
Para calcular el estadístico F, seleccionamos una muestra aleatoria de tamaño n1 de la población normal 1 bajo análisis y que tenga una desviación estándar igual a S1.
Luego seleccionamos otra muestra aleatoria independiente de tamaño n2 de otra población normal, que tenga una desviación estándar igual a S2. Quedando su fórmula como se menciona en la siguiente figura
Figura 2 Distribución F
La distribución de todos los valores posibles del estadístico f se denomina distribución F, siendo v1 = n1 - 1 y v2 = n2 – 1 = a grados de libertad de los dos sets bajo comparación.
La curva de la distribución F depende de los grados de libertad, v1 y v2. Al describir una distribución F, el número de grados de libertad asociados con la desviación estándar en el numerador del estadístico f siempre se indica primero. Por lo tanto, f(5, 10) se referiría a una distribución F con v1 = 5 y v2 = 10 grados de libertad; mientras que f(10, 20) se referiría a una distribución F con v1 = 9 y v2 = 5 grados de libertad. Nótese que la curva representada por f(5, 10) sería diferente de la curva representada por f(10, 20).
Figura 3
Dos ejemplos de distribución F el primero con 10 y 20 grados de libertad y el segundo con 5 y 10 grados de libertad
Figura 3: Dos ejemplos de distribución F el primero con 10 y 20 grados de libertad y el segundo con 5 y 10 grados de libertad Creación de autor: Alfonso Prado Al igual que cuando hacemos una prueba de hipótesis tenemos una área de rechazo de H0 y un área de aceptación de H0, en la distribución F vamos a tener una área de rechazo y una de no rechazo. Sin embargo, debido a que la razón F está restringida para exceder siempre de 1 , resulta que solo tienen una zona de rechazo en la cola derecha. Por lo tanto, únicamente la mitad del área bajo la distribución es accesible como zona de rechazo y es necesario dividir entre 2 el valor de α seleccionado e identificar una zona de rechazo única en la cola derecha.
La delimitación de estas áreas estará dada por el intervalo de confianza con el que se desea trabajar, así por los grados de libertad del numerador y denominador de los sets bajo comparación. Para encontrar este valor, se utiliza la función qf() cuya sintaxis se muestra en la figura xx
En los siguientes ejemplos, puede observarse cómo el valor correspondiente a alfa 0.05 y 0.01 varía con respecto a los grados de libertad del numerador y denominador.
Valores críticos de la distribución F
Los siguientes resultados corresponden a los valores críticos de la distribución F para distintos grados de libertad y niveles de significancia.
qf(0.95, 5, 10)
\[ F_{0.95,\ 5,\ 10} = 3.33 \]
qf(0.95, 10, 5)
\[ F_{0.95,\ 10,\ 5} = 4.74 \]
qf(0.99, 5, 10)
\[ F_{0.99,\ 5,\ 10} = 5.64 \]
qf(0.99, 10, 5)
\[ F_{0.99,\ 10,\ 5} = 10.1 \]Valores críticos obtenidos con la función qf()para la distribución F de Fisher-Snedecor.Figura 4
Figura 4: Sintaxis de la función qf El valor retornado por la función qf() limitaría las zonas de rechazo como se muestra a continuación.
Figura 5
Figura 5: Zona de rechazo de una distribución F Creación de autor Alfonso Prado Funcionamiento de aov
La técnica de análisis de varianza (aov), también conocida como análisis factorial, constituye la herramienta básica para el estudio del efecto de uno o más factores (cada uno con dos o más niveles) sobre la media de una variable continua. Es, por lo tanto, la prueba estadística adecuada cuando se desea comparar las medias de dos o más grupos. Esta técnica también puede generalizarse para estudiar los posibles efectos de los factores sobre la varianza de una variable.
aov tiene las siguientes hipótesis y supuestos:
- • H0: La media de todos los grupos considerados son iguales.
- • H1: La media de todos los grupos no son todas iguales.
- • En realidad, no indica cuál(es) son diferentes o cuál(es) son iguales, lo único que indica es que no son todos iguales.
- • Pruebas adicionales son necesarias para establecer cuáles son iguales o no.
- • Asume que los dataset son distribuidos normalmente y que sus desviaciones estándar son la similares.
- • Los datos atípicamente extremos pueden invalidar por completo las conclusiones de un ANOVA. Si se observan residuos extremos hay que estudiar con detalle a que observaciones pertenecen, siendo aconsejable recalcular el ANOVA sin ellas y comparar los resultados obtenidos.
Como indicamos anteriormente, existen 2 funciones ANOVA que sirven para propósitos diferentes:
- • aov es una variante donde los grupos se hallan en un mismo dataset . A veces llamado “1-way-ANOVA” los grupos se forman por los niveles de una variable tipo factor
- • anova es similar, pero está diseñada para permitir comparar la varianza de dos modelos predictivos (Veremos esto en la próxima clase)
Figura 6
Figura 6: Sintaxis de la función aov De acuerdo con Rodrigo (2017) “El estadístico estudiado en el ANOVA, conocido como ??????, es la ratio entre la varianza de las medias de los grupos y el promedio de la varianza dentro de los grupos”. Sin embargo, como en todas las pruebas, los estadísticos per-se no indica mayor cosa, los estadísticos deben ser comparados con un valor crítico que marca la frontera entre zonas de rechazo y zona de no rechazo de H0.
En el caso de aov() el estadístico F debe ser comparado con un F-critico (obtenido de una distribución F) que depende de algunos parámetros (Intervalo de confianza, grados de libertad del numerador , grados de libertad del denominador).
Ejemplo con el dataset de construcciones
ANOVA: Varianza de precios por tipo de construcción
El dataset contiene una variable categórica llamada
classque define el tipo de construcción. Queremos determinar si la varianza en precios (valxSqFt) es igual para cada tipo de construcción.levels(housing$class)
[1] "R2-CONDOMINIUM" "R4-CONDOMINIUM" "R9-CONDOMINIUM" "RR-CONDOMINIUM"aov_class <- aov(valxSqFt ~ class, data = housing) summary(aov_class)Df Sum Sq Mean Sq F value Pr(>F) class 3 1243078 414359 97.3 <2e-16 *** Residuals 2526 10756882 4258 --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Se obtiene el valor crítico F para los grados de libertad mencionados:
qf(0.95, 3, 2526)
\[ F_{0.95,\ 3,\ 2526} = 2.608426 \]
El estadístico F reportado por ANOVA es muy superior al valor crítico, lo que indica que existen diferencias significativas en las varianzas de los grupos de tipos de construcción.
ANOVA: Varianza de precios por vecindario
Se realiza un segundo análisis respecto a los vecindarios registrados en la variable
Boro.levels(housing$Boro)
[1] "Bronx" "Brooklyn" "Manhattan" "Queens" "Staten Island"aov_boro <- aov(valxSqFt ~ Boro, data = housing) summary(aov_boro)qf(0.95, 4, 2525)
\[ F_{0.95,\ 4,\ 2525} = 2.375452 \]El estadístico F reportado por ANOVA también es muy superior al valor crítico, lo que sugiere que existen diferencias significativas en las varianzas de los precios entre los distintos vecindarios.
Análisis de varianza utilizando el modelo aov()en R. -
Hacer un envío
-
Hacer intentos: 1