Teste A/B: o que é, como funciona e o que ele realmente prova

Em um teste A/B, a versão A costuma ser a experiência atual, chamada de controle. A versão B contém a mudança que queremos avaliar. Visitantes elegíveis são distribuídos de forma aleatória entre as duas versões e têm seus resultados medidos pela mesma regra.

A randomização é a peça central. Quando os grupos são formados corretamente e o experimento acontece ao mesmo tempo, diferenças de canal, horário, intenção e dispositivo tendem a se distribuir entre A e B. Isso torna mais razoável atribuir a diferença observada à mudança testada, dentro dos limites do experimento.

Por isso um teste A/B é diferente de publicar a página nova hoje e comparar com o mês passado. Nessa comparação histórica, campanha, preço, sazonalidade e qualidade do tráfego podem ter mudado junto com a página.

Um experimento simples pode ser descrito com seis decisões. Se uma delas ficar vaga, a análise final herda essa incerteza.

• Hipótese: qual mudança será feita, para quem e por que ela pode alterar o comportamento.
• Controle: a experiência que representa o ponto de comparação.
• Variante: a experiência que contém o tratamento.
• Unidade de randomização: pessoa, sessão, lead ou outra unidade que permanece no mesmo grupo.
• Métrica principal: o resultado que determina a decisão, como compra ou lead qualificado.
• Critério de parada: amostra, duração e regra estatística definidos antes da leitura do resultado.

Um teste bem executado estima o efeito da variante sobre a população, o período e o contexto realmente observados. Ele não garante que o mesmo resultado aparecerá em outro canal, outra oferta ou seis meses depois.

A pesquisa de experimentação em escala também mostra uma realidade útil: boas equipes erram previsões. Em estudos da plataforma de experimentação da Microsoft, apenas cerca de um terço das ideias testadas melhorou a métrica que pretendia melhorar. Um teste sem ganho não é desperdício quando evita uma mudança ruim ou encerra uma hipótese fraca.

O resultado precisa combinar evidência estatística, tamanho do efeito, custo da implementação e métricas de proteção. Aumentar cliques enquanto piora vendas ou tempo de carregamento não é vitória.

Uma agência acredita que uma proposta de valor mais específica aumentará pedidos de orçamento. A página A mantém o título atual. A página B troca apenas o título e o parágrafo de apoio. O tráfego qualificado é dividido entre as versões e a métrica principal é o envio válido do formulário.

Antes de começar, a equipe registra a taxa atual, o ganho mínimo que justificaria adotar B, a amostra necessária e uma métrica de proteção contra leads de baixa qualidade. Ao final, ela analisa conversões, intervalo de confiança, equilíbrio da distribuição e qualidade dos leads.

Esse desenho responde a uma pergunta clara. Trocar título, imagem, preço e formulário ao mesmo tempo poderia indicar qual página venceu, mas não explicaria qual mudança produziu o efeito.

Teste quando existe tráfego suficiente, uma decisão relevante e duas experiências que podem ser entregues com consistência. Para páginas quase sem visitas, pesquisa qualitativa, entrevistas e correção de problemas óbvios costumam gerar aprendizado mais rápido.

Também vale testar quando pessoas experientes discordam sobre o resultado. Divergência real é um sinal de incerteza valiosa. O experimento serve para substituir a votação pela observação do comportamento.