Análisis de potencia en estadística: ¿qué es y cómo se lleva a cabo?

La prueba de hipótesis es un aspecto crucial de cualquier análisis estadístico. Sin embargo, hay muchas cosas que deben predefinirse para que la prueba que realicemos sea lo más correcta posible. Aquí es donde entra en juego el concepto de potencia y define la heurística de un Test Estadístico.

Al final de este tutorial, sabrás:

• Heurística de Pruebas Estadísticas
• ¿Qué es el poder de una prueba?
• ¿Cuál es la necesidad de análisis de potencia?
• Cómo realizar análisis de potencia

Heurística de Pruebas Estadísticas

Realización de pruebas estadísticas correctas sobre varias heurísticas que deben preestablecerse antes de realizar la prueba. Es muy importante establecer las heurísticas correctas, ya que no se pueden cambiar una vez que se inicia la prueba. Echemos un vistazo a algunos de estos.

1. Nivel de significación e intervalo de confianza

Antes de comenzar cualquier prueba estadística, se debe establecer un umbral de probabilidad. Este umbral o nivel de significancia se denomina Valor Crítico (alfa). La región completa bajo la curva de probabilidad más allá del valor alfa se llama Región Crítica.

El valor alfa nos dice qué tan lejos debe estar el punto de datos de muestra (o el punto experimental) de la hipótesis nula (punto medio original) antes de concluir que es lo suficientemente inusual como para rechazar la hipótesis nula. Un valor común de alfa que se utiliza es 0,05 o intervalo de confianza del 95 %.

2. Valor P

Para evaluar si los resultados de la prueba que obtuvimos son estadísticamente significativos o no, comparamos el valor crítico (alfa) que habíamos establecido antes de la prueba con el valor P de la prueba. El valor p es la probabilidad de obtener valores tan extremos o incluso más extremos que el valor que estamos probando.

3. Errores de tipo 1 y tipo 2

Las Pruebas Estadísticas nunca pueden ser 100% seguras. Siempre hay margen para el error y dejarse engañar por los resultados. Como se discutió anteriormente, si establecemos un valor alfa de 0.05, hay un intervalo de confianza del 95%. Por lo tanto, hay un 5% de posibilidades de que el resultado obtenido sea incorrecto y engañoso. Estos resultados incorrectos son lo que llamamos errores. Hay 2 tipos de error: Tipo 1 y Tipo 2.

El valor del nivel de significancia de 0.05 significa que su prueba estadística será correcta en un 95 % de las veces. ¡Lo que también significa que hay un 5% de posibilidades de que sea incorrecto! Ese será un caso en el que usted rechace la hipótesis nula cuando era correcta. Este es un ejemplo de un error de tipo 1. Y también podemos decir que alpha( α ) es la probabilidad de cometer un error Tipo 1.

También puede ser un caso cuando concluyes que la hipótesis nula es verdadera o la aceptas cuando es falsa. Técnicamente, nunca podemos aceptar la hipótesis nula. Sólo podemos dejar de rechazarlo. Esto es lo que llamamos un error de tipo 2. De manera similar, la probabilidad de cometer un error de tipo 2 viene dada por Beta — β .

Leer: Analistas de datos: Habilidades y herramientas principales para dominar

¿Cuál es el poder de una prueba estadística?

La potencia de una prueba es la probabilidad de rechazar correctamente la Hipótesis Nula cuando es falsa. O dicho de otro modo, la Potencia es inversamente proporcional a la probabilidad de cometer un error de tipo 2. Por lo tanto, Potencia = 1- β. Por ejemplo, si configuramos la potencia en 80%, queremos decir que el 80% de nuestras pruebas estadísticas son correctas y no las falsas. Por tanto, cuanto mayor sea el valor de la potencia, menor será la probabilidad de cometer un error de tipo 2.

Pero, ¿por qué los resultados pueden ser falsos? Esto se debe a que aquí estamos tratando con muestras aleatorias. Y, a veces, la muestra que se toma está demasiado alejada de la media de la distribución y, por lo tanto, da resultados poco realistas, lo que nos obliga a tomar decisiones incorrectas. Todo el objetivo del análisis de poder es evitar que tomemos estas decisiones incorrectas.

¿Estamos hackeando P?

Tomemos un ejemplo en el que hemos creado una vacuna para COVID-19 y estamos muy seguros de que la vacuna tendrá resultados significativos. Procedemos a realizar una prueba estadística para ver si nuestra creencia también es cierta estadísticamente. Así que establezca el alfa en 0,05 y realice una prueba con 100 muestras.

Después de la prueba, obtenemos un valor P de 0,06. Vemos que está tan cerca de nuestro alfa pero no menos que podemos rechazar con seguridad la hipótesis nula. Se vuelve tentador ver qué sucede si aumentamos las muestras y rehacemos la prueba.

Así que agregamos 50 muestras más y vemos que el valor P ahora es 0.045. ¿Acabamos de demostrar que nuestra vacuna es estadísticamente significativa? ¡NO! Simplemente pirateamos a medida que aumentamos la cantidad de muestras después de obtener el primer resultado. Obtenga más información sobre ¿Qué es P-Hacking y cómo evitarlo?

¿Qué es el análisis de potencia?

Como vimos en el ejemplo anterior, encontramos que el tamaño de la muestra era pequeño y lo aumentamos más tarde. Esto está mal y nunca debe hacerse. El valor del tamaño de la muestra debe preestablecerse antes de comenzar la prueba. Pero, ¿qué valor del tamaño de la muestra es adecuado para nosotros?

Consideremos un ejemplo en el que llevamos a cabo múltiples pruebas utilizando el tamaño de la muestra como solo 1. Por lo tanto, cuando muestreamos 1 punto de datos al azar de la población, puede estar alrededor de la media que representa correctamente nuestros datos, o también puede ser mucho. lejos de la media y no representa bien los datos.

El problema surge cuando realizamos pruebas estadísticas utilizando estos puntos de datos lejanos. El valor P que obtendremos será incorrecto. Ahora realizamos otra serie de pruebas tomando 2 como tamaño de muestra. Ahora, incluso si un valor está lejos de la media de los datos, el otro valor que está en el otro lado de la distribución llevará el promedio de ellos al centro, reduciendo así el efecto de ese valor lejano. Por lo tanto, con un tamaño de muestra de 2, nuestros resultados serán más ciertos con los valores P correctos.

El análisis de potencia es la técnica utilizada para averiguar la cantidad correcta de tamaño de muestra que se necesita para realizar las pruebas de la mejor manera posible. Cuanto mayor sea el poder que necesitamos más es la cantidad de tamaño de muestra que se requerirá. Por lo tanto, podría pensar que, ¿por qué no simplemente tomar un tamaño de muestra grande? Porque un tamaño de muestra grande significa resultados mejores y más confiables. Esto no es correcto ya que la recopilación de datos es costosa y el conocimiento del tamaño de muestra requerido es esencial.

¿Cómo llevar a cabo el Análisis de Potencia?

El poder de una prueba depende de algunos factores. El primer paso para realizar un análisis de potencia es establecer un valor de potencia. Considere que establece una potencia común de 0,8, lo que significa que desea tener al menos un 80 % de posibilidades de rechazar correctamente la hipótesis nula. Si estamos validando el efecto de la vacuna COVID-19 en un conjunto de personas, queremos probar que la distribución de los puntos de datos de las personas vacunadas es diferente a la de las personas que recibieron un placebo.

1. Cantidad de superposición

Necesitamos considerar la cantidad de superposición entre las dos distribuciones que estamos comparando. Más la superposición, más difícil será para nosotros rechazar con seguridad el nulo y, por lo tanto, necesitaremos más tamaño de muestra. Sin embargo, si la superposición es muy pequeña, entonces podemos rechazar el nulo con bastante facilidad y seguridad. Y necesitaríamos un tamaño de muestra bastante menor. La superposición depende de la distancia entre las medias de las dos distribuciones y sus desviaciones estándar.

2. Tamaño del efecto

El tamaño del efecto es una forma de combinar los efectos de la diferencia entre las medias y las desviaciones estándar de las poblaciones. El tamaño del efecto (d) se calcula como la diferencia estimada entre las medias dividida por las desviaciones estándar estimadas agrupadas. Una de las formas más sencillas de calcular las desviaciones estándar estimadas agrupadas es la raíz cuadrada de la suma al cuadrado de las desviaciones estándar dividida por 2.

Entonces, una vez que tenemos el valor de potencia, el valor alfa y el tamaño del efecto, podemos conectar estos valores a una calculadora de potencia estadística y obtener el valor del tamaño de la muestra. Dicha calculadora de poder estadístico está fácilmente disponible en Internet.

Obtenga la certificación de ciencia de datos de las mejores universidades del mundo. Aprenda los programas Executive PG, los programas de certificación avanzada o los programas de maestría para acelerar su carrera.

Antes de que te vayas

Calculamos el tamaño de la muestra realizando Power Analysis usando Power, alfa y tamaño del efecto. Entonces, si obtuvimos un valor de tamaño de muestra de 7, significará que necesitamos un tamaño de muestra de 7 para tener un 80% de posibilidades de rechazar correctamente la hipótesis nula. Tener la cantidad adecuada de experiencia en el dominio también es crucial para estimar las medias de la población y sus superposiciones y la potencia requerida.

Si tiene curiosidad por aprender sobre ciencia de datos, consulte el Diploma PG en ciencia de datos de IIIT-B y upGrad, creado para profesionales que trabajan y ofrece más de 10 estudios de casos y proyectos, talleres prácticos, tutoría con expertos de la industria, 1- on-1 con mentores de la industria, más de 400 horas de aprendizaje y asistencia laboral con las mejores empresas.