Como fazer um teste A/B: do problema à decisão em 10 passos

A pergunta mais útil não é “o que podemos mudar?”, mas “qual decisão ficará diferente se B vencer?”. Essa inversão evita testes cosméticos sem consequência prática.

Para um gestor de tráfego, a decisão pode ser direcionar orçamento para uma promessa. Para uma agência, pode ser recomendar uma arquitetura de página. Para um infoprodutor, pode ser escolher entre duas abordagens de oferta. Em todos os casos, o resultado precisa mudar uma ação.

Use os passos como um protocolo curto. O registro prévio reduz decisões convenientes tomadas depois que os números aparecem.

• Descreva o problema de negócio e a decisão que será tomada.
• Escolha o público elegível e a unidade que será randomizada.
• Formule uma hipótese com mudança, mecanismo esperado e resultado.
• Mantenha um controle estável e produza uma variante coerente.
• Defina uma métrica principal ligada a valor, não apenas a interação.
• Escolha métricas de proteção, como qualidade do lead, reembolso ou velocidade.
• Estime a taxa atual, o efeito mínimo detectável e a amostra necessária.
• Fixe a duração mínima para cobrir ciclos relevantes de tráfego.
• Valide distribuição, instrumentação e ausência de interferências.
• Decida com efeito, incerteza, guardrails e custo de implementação juntos.

Uma hipótese útil conecta a intervenção a um mecanismo. Exemplo: “Para visitantes de campanhas de busca, substituir o título genérico por uma promessa alinhada ao termo pesquisado aumentará pedidos de demonstração, porque reduz a distância entre anúncio e página.”

O texto diz quem será afetado, o que muda, qual métrica deve reagir e por quê. Também permite um resultado negativo: a mensagem mais específica pode excluir pessoas ou prometer algo que a página não sustenta.

Evite hipóteses como “a página B vai converter mais”. Elas descrevem uma torcida, não um raciocínio que possa gerar aprendizado reutilizável.

A métrica principal deve representar o objetivo do teste. Se o negócio vende, clique no CTA pode ser diagnóstico, enquanto compra, receita por visitante ou lead qualificado está mais perto do valor final.

Métricas de proteção evitam vitórias locais. A Microsoft descreve guardrails como medidas que não precisam melhorar, mas não podem piorar de forma relevante, como abandono, falhas ou tempo de carregamento.

Defina as métricas antes de ver o resultado. Procurar dezenas de cortes até achar um número positivo aumenta a chance de celebrar ruído.

Durante a execução, acompanhe falhas graves e qualidade dos dados. Não use um p-valor tradicional visto no meio do caminho como autorização automática para parar. Métodos de horizonte fixo pressupõem que a amostra final foi definida antes.

No encerramento, comece pela integridade: a proporção observada se aproxima da planejada? A conversão foi registrada da mesma forma em A e B? Houve campanha, indisponibilidade ou alteração paralela?

Depois, leia taxa, diferença absoluta, uplift relativo e intervalo de confiança. A decisão final pode ser adotar, rejeitar, iterar ou considerar inconclusivo. “Sem diferença detectável” não significa que as versões são idênticas.