Significância estatística em testes A/B, sem interpretação errada

Em uma comparação frequencista tradicional, começamos com a hipótese nula de que A e B têm a mesma taxa. O p-valor mede quão incompatível o resultado observado é com essa hipótese, considerando o modelo estatístico adotado.

Um p-valor de 0,03 não quer dizer que existe 97% de chance de B ser melhor. Também não quer dizer que apenas 3% do resultado veio do acaso. Ele indica que dados tão extremos quanto os observados seriam pouco comuns se não houvesse diferença real, sob as premissas do teste.

O nível de significância, alfa, limita a taxa planejada de falsos positivos quando o procedimento é repetido sob a hipótese nula. Com alfa de 5%, ainda existe risco de declarar diferença quando ela não existe.

O falso negativo ocorre quando o teste não detecta um efeito real. O poder estatístico é a probabilidade planejada de detectar um efeito do tamanho escolhido. Amostra insuficiente pode produzir um resultado inconclusivo mesmo quando B realmente é melhor.

Esses conceitos funcionam como propriedades do procedimento repetido, não como certificados absolutos de um experimento isolado.

Um único número esconde incerteza. O intervalo de confiança para a diferença mostra uma faixa de efeitos compatíveis com os dados e o método. Um resultado pode ser estatisticamente significativo, mas tão pequeno que não paga a implementação.

O inverso também acontece: a estimativa pontual pode parecer valiosa, mas o intervalo ainda inclui perda e ganho. Nesse caso, o teste não separou com precisão suficiente as possibilidades relevantes.

Leia sempre diferença absoluta e uplift relativo. Sair de 1% para 1,2% representa 0,2 ponto percentual e 20% de uplift. As duas medidas contam partes diferentes da história.

P-valores tradicionais de horizonte fixo pressupõem uma regra de amostra definida antes. Se a equipe abre o relatório repetidamente e encerra na primeira significância, aumenta a chance de capturar uma oscilação passageira.

O trabalho de Johari, Pekelis e Walsh mostra por que a inferência tradicional se torna pouco confiável com monitoramento contínuo e propõe métodos sequenciais sempre válidos. Se sua ferramenta não usa uma correção sequencial explícita, trate a amostra e a data final como compromissos.

Monitorar falhas graves continua correto. A distinção é entre interromper para proteger usuários e declarar vitória estatística antes do plano.

Pergunte primeiro se o experimento é confiável. Depois, observe o tamanho do efeito e sua incerteza. Em seguida, confronte métricas de proteção e custo. Só então use a significância como parte da decisão.

Quando o resultado é inconclusivo, não transforme “não rejeitamos igualdade” em “provamos que é igual”. Talvez o teste só consiga excluir efeitos grandes, enquanto diferenças pequenas permanecem possíveis.