10 erros em testes A/B que criam falsos vencedores

Os primeiros erros acontecem antes de qualquer visitante entrar no teste.

• Testar sem hipótese ou decisão clara.
• Escolher a métrica principal depois de ver qual delas melhorou.
• Mudar audiência, oferta e página ao mesmo tempo sem aceitar que o pacote inteiro é o tratamento.
• Usar uma unidade instável, permitindo que a mesma pessoa veja A e B sem necessidade.

Sample Ratio Mismatch, ou SRM, ocorre quando a proporção observada entre variantes difere de forma improvável da divisão planejada. Ele pode indicar falha de atribuição, perda de dados, bots filtrados de modo desigual ou condições que incluem usuários depois do tratamento.

Pesquisadores da Microsoft mostram que SRM não é detalhe estético. Em um caso real, o filtro de bots removeu mais usuários da variante mais envolvente e inverteu a conclusão inicial. O resultado só fez sentido depois que a causa foi diagnosticada.

• Não validar se o tráfego recebido corresponde à divisão configurada.
• Rastrear conversão de forma diferente entre as versões.
• Contar visualizações repetidas como pessoas independentes.

O erro mais comum é parar no primeiro resultado positivo. Outro é testar muitas métricas, variantes e segmentos e destacar apenas a combinação que ficou significativa.

Quanto mais comparações são feitas, maior a chance de alguma parecer importante por acaso. Correções de múltiplos testes, hipóteses pré-registradas ou uma hierarquia clara de métricas ajudam a controlar o problema.

• Espiar repetidamente um teste de horizonte fixo e encerrar no primeiro p menor que 0,05.
• Confundir ausência de significância com prova de igualdade.
• Ignorar intervalo de confiança e relevância econômica.
• Criar segmentos depois do resultado e tratá-los como confirmação.

Uma variante pode elevar cadastros e reduzir qualificação. Pode aumentar compras e também reembolsos. Pode melhorar conversão e piorar velocidade ou confiança. Por isso a métrica principal precisa conviver com guardrails.

Significância não substitui julgamento econômico. Uma melhora minúscula pode custar mais para manter do que gera em valor. Uma melhora promissora, mas imprecisa, pode justificar outro teste em vez de adoção imediata.

Antes: registre hipótese, público, métrica, MDE, amostra e duração. Durante: monitore integridade e danos graves. Depois: valide SRM, atribuição e incidentes antes de olhar o efeito.

Arquive inclusive resultados negativos. Uma organização aprende mais quando consegue comparar decisões ao longo do tempo do que quando guarda apenas vitórias publicáveis.