Análise de Poder em Estatística: O que é e como realizar?

O teste de hipóteses é um aspecto crucial de qualquer Análise Estatística. No entanto, há muitas coisas a serem predefinidas para que o teste que realizamos seja o mais correto possível. É aqui que entra em jogo o conceito de poder e define a heurística de um Teste Estatístico.

Ao final deste tutorial, você saberá:

• Heurística de Testes Estatísticos
• Qual é o poder de um teste?
• Qual é a necessidade de Análise de Energia?
• Como fazer Análise de Energia

Heurística de Testes Estatísticos

Realização de testes estatísticos corretos sobre várias heurísticas que precisam ser predefinidas antes de realizar o teste. É muito importante definir as heurísticas corretas, pois elas não podem ser alteradas após o início do teste. Vamos dar uma olhada em alguns deles.

1. Nível de significância e intervalo de confiança

Antes de iniciar qualquer teste estatístico, um limite de probabilidade precisa ser definido. Esse limite ou nível de significância é chamado de Valor Crítico (alfa). A região completa sob a curva de probabilidade além do valor alfa é chamada de Região Crítica.

O valor alfa nos diz a que distância o ponto de dados da amostra (ou o ponto experimental) deve estar da hipótese nula (ponto médio original) antes de concluir que é incomum o suficiente para rejeitar a hipótese nula. Um valor comum de alfa que é usado é o intervalo de confiança de 0,05 ou 95%.

2. Valor P

Para avaliar se os resultados do teste que obtivemos são estatisticamente significativos ou não, comparamos o Valor Crítico (alfa) que estabelecemos antes do teste com o P-Value do teste. O valor-p é a probabilidade de obter valores tão extremos ou ainda mais extremos quanto o valor que estamos testando.

3. Erros Tipo 1 e Tipo 2

Os Testes Estatísticos nunca podem ser 100% certos. Há sempre espaço para erro e ser enganado pelos resultados. Conforme discutido acima, se definirmos um valor alfa de 0,05, há um intervalo de confiança de 95%. Portanto, há 5% de chance de que o resultado obtido seja incorreto e enganoso. Esses resultados incorretos são o que chamamos de erros. Existem 2 tipos de erro – Tipo 1 e Tipo 2.

O valor do nível de significância de 0,05 significa que seu teste estatístico será 95% vezes correto. O que também significa que há 5% de chance de estar incorreto! Esse será o caso de você rejeitar a hipótese nula quando ela estava correta. Este é um exemplo de um erro tipo 1. E também podemos dizer que alfa( α ) é a probabilidade de cometer um erro do Tipo 1.

Também pode ser um caso quando você conclui que a hipótese nula é verdadeira ou a aceita quando é falsa. Tecnicamente, nunca podemos aceitar a hipótese nula. Só podemos deixar de rejeitá-lo. Isso é o que chamamos de erro tipo 2. Da mesma forma, a probabilidade de você cometer um erro do Tipo 2 é dada por Beta — β .

Leia: Analistas de dados: principais habilidades e ferramentas para dominar

Qual é o poder de um teste estatístico?

O poder de um teste é a probabilidade de rejeitar corretamente a hipótese nula quando ela é falsa. Ou em outras palavras, o poder é inversamente proporcional à probabilidade de cometer um erro tipo 2. Portanto, Potência = 1- β. Por exemplo, se definirmos o poder para 80%, queremos dizer que 80% de nossos testes estatísticos estão corretos e não os falsos. Portanto, quanto maior o valor da potência, menor é a probabilidade de cometer um erro tipo 2.

Mas por que os resultados podem ser falsos? Isso ocorre porque estamos lidando com amostras aleatórias aqui. E, às vezes, a amostra coletada está muito longe da média da distribuição e, portanto, fornece resultados irrealistas, forçando-nos a tomar decisões incorretas. Todo o objetivo da Análise de Energia é evitar que tomemos essas decisões incorretas.

Estamos P-Hacking?

Vamos pegar um exemplo em que fizemos uma vacina para o COVID-19 e temos muita certeza de que a vacina terá resultados significativos. Continuamos a realizar um teste estatístico para ver se nossa crença é verdadeira estatisticamente também. Portanto, defina o alfa como 0,05 e faça um teste usando 100 amostras.

Após o teste, obtemos um valor P como 0,06. Vemos que está tão próximo de nosso alfa, mas não menos que ele, de modo que podemos rejeitar com segurança a hipótese nula. Fica tentador ver o que acontece se aumentarmos as amostras e refazermos o teste.

Então adicionamos mais 50 amostras e vemos que o P-Value agora vem como 0,045. Acabamos de provar que nossa vacina é estatisticamente significativa? NÃO! Acabamos de fazer um P-hack enquanto aumentamos o número de amostras depois de obtermos o primeiro resultado. Saiba mais sobre O que é o P-Hacking e como evitá-lo?

O que é Análise de Energia?

Como vimos no exemplo acima, descobrimos que o tamanho da amostra era pequeno e o aumentamos posteriormente. Isso é errado e nunca deve ser feito. O valor do tamanho da amostra deve ser predefinido antes de iniciar o teste em si. Mas qual é o valor do tamanho da amostra certo para nós?

Vamos considerar um exemplo em que realizamos vários testes usando o tamanho da amostra como apenas 1. Portanto, quando amostramos 1 ponto de dados aleatoriamente da população, ele pode estar em torno da média que representa corretamente nossos dados ou também pode ser muito longe da média e não representa bem os dados.

O problema surge quando realizamos testes estatísticos usando esses pontos de dados distantes. O valor P que obteremos será incorreto. Agora realizamos outra série de testes tomando 2 como tamanho da amostra. Agora, mesmo que um valor esteja longe da média dos dados, o outro valor que está do outro lado da distribuição puxará a média deles para o centro, reduzindo assim o efeito desse valor distante. Portanto, com um tamanho de amostra de 2, nossos resultados serão mais verdadeiros com P-Values ​​corretos.

A Análise de Poder é a técnica usada para descobrir a quantidade certa de tamanho de amostra que é necessária para conduzir os testes da melhor forma possível. Maior o poder que precisamos mais é a quantidade de tamanho de amostra que será necessária. Então você pode pensar que por que não apenas pegar um tamanho de amostra grande, porque um tamanho de amostra grande significa resultados melhores e mais confiáveis. Isso não é correto, pois a coleta de dados é cara e o conhecimento do tamanho da amostra necessário é essencial.

Como realizar a Análise de Energia?

O poder de um teste depende de alguns fatores. O primeiro passo para realizar uma análise de potência é definir um valor de potência. Considere que você definiu um poder comum de 0,8, o que significa que você deseja ter pelo menos 80% de chance de rejeitar corretamente a hipótese nula. Se estamos validando o efeito da vacina COVID-19 em um conjunto de pessoas, queremos provar que a distribuição dos pontos de dados das pessoas vacinadas é diferente daquela das pessoas que receberam placebo.

1. Quantidade de sobreposição

Precisamos considerar a quantidade de sobreposição entre as duas distribuições que estamos comparando. Quanto mais a sobreposição, mais difícil será para nós rejeitar com segurança o nulo e, portanto, precisaremos de um tamanho de amostra maior. No entanto, se a sobreposição for muito menor, podemos facilmente rejeitar o nulo com segurança. E precisaríamos de um tamanho de amostra bem menor. A sobreposição depende da distância entre as médias das duas distribuições e seus desvios padrão.

2. Tamanho do efeito

O tamanho do efeito é uma forma de combinar os efeitos da diferença entre as médias e os desvios padrão das populações. O tamanho do efeito (d) é calculado como A diferença estimada entre as médias dividida pelos desvios padrão estimados agrupados. Uma das maneiras mais simples de calcular os desvios padrão estimados agrupados é a raiz quadrada da soma quadrada dos desvios padrão dividido por 2.

Assim, uma vez que tenhamos o valor do poder, o valor alfa e o tamanho do efeito, podemos conectar esses valores a uma calculadora de poder estatístico e obter o valor do tamanho da amostra. Essa calculadora de energia estatística está facilmente disponível na internet.

Obtenha a certificação em ciência de dados das melhores universidades do mundo. Aprenda Programas PG Executivos, Programas de Certificado Avançado ou Programas de Mestrado para acelerar sua carreira.

Antes de você ir

Calculamos o tamanho da amostra realizando Análise de Poder usando Power, alfa e tamanho do efeito. Portanto, se obtivermos um valor de tamanho de amostra de 7, isso significará que precisamos de um tamanho de amostra de 7 para ter 80% de chance de rejeitar corretamente a hipótese nula. Ter a quantidade certa de conhecimento de domínio também é crucial para estimar as médias populacionais e suas sobreposições e o poder necessário.

Se você está curioso para aprender sobre ciência de dados, confira o PG Diploma in Data Science do IIIT-B & upGrad, que é criado para profissionais que trabalham e oferece mais de 10 estudos de caso e projetos, workshops práticos práticos, orientação com especialistas do setor, 1- on-1 com mentores do setor, mais de 400 horas de aprendizado e assistência de trabalho com as principais empresas.