Escreva a hipótese antes de editar a página

O teste A/B em landing pages começa com uma mudança que a equipe consegue isolar. Imagine uma página de demonstração com seis campos obrigatórios no formulário.
A hipótese é que reduzir para quatro os campos obrigatórios aumentará a proporção de visitantes que enviam um pedido válido. A equipe também acompanhará a qualidade desses pedidos.
Defina o que muda entre as versões
Preserve os seis campos na versão A. Na versão B, dois campos passam a ser opcionais, com a mesma ordem e o mesmo texto da página.
Mantenha a oferta, o botão e as condições de atendimento iguais. Se a equipe também mudar o título, o resultado representará o efeito da combinação das mudanças.
Registre o desenho antes do início:
- Defina os campos que deixam de ser obrigatórios.
- Identifique a versão de controle.
- Escreva qual comportamento deve mudar.
- Escolha um critério para verificar qualidade comercial.
Decida qual ganho justifica a mudança
Uma melhora pequena pode ter valor em uma página com alto volume. Compare o ganho esperado com o esforço de implantação e com o custo de analisar pedidos adicionais.
Confira se vendas usa as informações dos campos que ficarão opcionais. Se forem úteis para triagem, acompanhe o impacto da mudança no tempo de atendimento.
Verifique o envio nas duas versões
Faça pedidos de teste com os campos opcionais em branco e preenchidos. Confirme se o servidor aceita os dois casos e se o CRM recebe os dados esperados.
Teste também erros de validação e reenvios. Um envio que falha no servidor precisa aparecer no diagnóstico antes que a equipe interprete a conversão.
Defina quem entra no sorteio

Selecione a população antes de iniciar o teste. No exemplo, entram visitantes que chegam à página de demonstração durante o período e satisfazem os critérios de elegibilidade.
Exclua tráfego interno ou automatizado conforme regras definidas previamente. Use os mesmos critérios para as duas variantes e registre quantas visitas ficaram de fora.
Escolha a unidade de sorteio
Sortear por visitante ajuda a manter a mesma experiência durante retornos. Sortear por sessão pode fazer a mesma pessoa ver versões diferentes e dificulta interpretar resultados por visitante.
Use o identificador permitido pelo site e documente suas limitações. Se a mesma pessoa usar dispositivos diferentes sem vínculo disponível, a ferramenta pode tratá-los como visitantes distintos.
Confira o funcionamento da distribuição:
- Atribua uma variante antes de exibir o formulário.
- Preserve a variante durante retornos elegíveis.
- Registre a atribuição mesmo sem envio.
- Monitore a proporção de visitantes em cada versão.
Mantenha o denominador coerente
Se a métrica usa visitantes elegíveis, inclua quem recebeu uma variante e saiu sem interagir. A análise precisa capturar a experiência completa desde a atribuição.
Analise a exposição e os erros técnicos separadamente. Excluir visitantes depois de observar que não conseguiram carregar o formulário pode esconder um problema da variante.
Considere jornadas compartilhadas
Em vendas B2B, colegas podem compartilhar o link ou participar da mesma decisão. Avalie se a interação entre visitantes pode interferir no resultado.
Quando a análise exigir sorteio por conta, conte a amostra nesse nível e ajuste o desenho. Uma conta com dez visitantes continua sendo uma unidade sorteada.
Escolha a métrica principal

Meça a proporção de visitantes elegíveis que enviam pelo menos um pedido válido de demonstração dentro da janela definida. Conte cada visitante uma vez.
Use a confirmação do servidor para identificar o envio aceito. Um clique no botão pode ocorrer antes de uma falha de validação ou de rede.
Defina o que conta como pedido válido
Combine critérios objetivos com vendas antes do teste. A equipe pode excluir registros de teste, duplicatas e solicitações que o servidor rejeitou.
Separe a validade do envio da qualificação comercial. Um pedido pode chegar corretamente e ainda depender de uma conversa para confirmar se existe uma oportunidade.
Documente as regras do cálculo:
- Identifique visitantes pela unidade usada no sorteio.
- Conte quem enviou ao menos um pedido válido.
- Inclua todos os visitantes elegíveis que receberam uma variante.
- Aplique a mesma janela de conversão às duas versões.
Valide os eventos antes do lançamento
Envie um pedido de teste em cada variante e confira o identificador, a versão e a confirmação do servidor. Compare os registros com a entrada no CRM.
Repita a jornada com erro de validação e com reenvio. O primeiro cenário deve permanecer fora do numerador, e o segundo deve respeitar a deduplicação.
Aguarde a janela de acompanhamento
Visitantes que entram perto do fim do teste ainda podem converter depois da última atribuição. Dê a eles o mesmo prazo previsto para quem entrou antes.
Na leitura final, informe o período de entrada e o prazo de acompanhamento. Esses dois intervalos ajudam a reproduzir o cálculo.
Proteja a qualidade e a estabilidade

Uma variante pode receber mais formulários e gerar mais trabalho de triagem. Escolha indicadores que permitam detectar esse efeito antes de liberar a mudança.
Acompanhe erros técnicos e pedidos qualificados. Use os mesmos critérios de avaliação nas duas variantes e registre os casos em que a equipe ainda aguarda resposta.
Defina limites de decisão
Estabeleça qual aumento na taxa de erro exige investigar ou suspender a variante. Considere o impacto sobre visitantes e a capacidade da equipe de corrigir o problema.
Para a qualidade comercial, combine um prazo de revisão. Negócios em ciclos longos podem exigir uma leitura posterior à análise de envios válidos.
Monitore os indicadores de proteção:
- Erros de envio por tentativa.
- Pedidos qualificados por visitante elegível.
- Proporção de pedidos válidos que vendas qualifica.
- Tempo de triagem quando a mudança afeta o atendimento.
Interprete as taxas em conjunto
A proporção de pedidos qualificados entre os envios pode cair enquanto o número de qualificados por visitante aumenta. As duas métricas respondem a perguntas diferentes.
Compare os denominadores e o custo operacional. Se vendas precisa revisar muitos pedidos extras, estime esse esforço junto ao potencial ganho comercial.
Mantenha a avaliação consistente
Registre a regra usada por quem qualifica cada pedido. Se a equipe mudar o critério durante o teste, documente a mudança e avalie o impacto no resultado.
Quando possível, oculte a variante de quem avalia os pedidos. Isso ajuda a manter o mesmo padrão de julgamento nas duas versões.
Estime a amostra antes de lançar

Calcule a taxa inicial com dados de uma página comparável. Use a mesma definição de visitante elegível e pedido válido que aparecerá no experimento.
Depois, escolha a menor diferença que justificaria a mudança. Se a taxa inicial é de 4%, um ponto percentual corresponde a passar para 5%.
Defina as premissas do cálculo
Uma comparação de duas proporções depende da taxa inicial, do menor efeito relevante, da divisão entre variantes e dos critérios de erro estatístico.
Com divisão igual, teste bilateral de 5% e poder de 80%, uma aproximação indica cerca de 6.750 visitantes independentes por variante para detectar essa diferença.
Registre as entradas do cálculo:
- Taxa inicial de pedidos válidos.
- Menor efeito que justifica a mudança.
- Proporção de visitantes em cada variante.
- Nível de significância e poder desejado.
- Unidade de sorteio e prazo de acompanhamento.
Compare a amostra com o tráfego que entra
Divida a amostra total pelo volume semanal de visitantes elegíveis para estimar o tempo de recrutamento. Acrescente depois o prazo de acompanhamento das últimas entradas.
Se o calendário ficar impraticável, considere testar uma mudança com potencial de efeito maior. O menor efeito relevante deve continuar ligado a uma necessidade do negócio.
Revise hipóteses de independência
A aproximação supõe observações independentes. Quando o sorteio ocorre por conta e cada conta reúne vários visitantes, estime a amostra considerando essa estrutura.
Registre a ferramenta ou o método usado para o cálculo. Se a taxa inicial for incerta, simule valores plausíveis e compare os efeitos sobre a amostra.
Combine a regra de encerramento

Defina quando termina a entrada de visitantes, quando fecha a observação e em que momento a equipe toma a decisão. São marcos diferentes.
Em um desenho de análise fixa, escolha a amostra e a duração mínima antes de começar. Evite encerrar o teste só porque uma leitura intermediária parece favorável.
Cubra a variação do calendário
Considere diferenças entre dias úteis e fins de semana, campanhas simultâneas e feriados. Uma duração que cobre ciclos completos ajuda a representar a população desejada.
Se a equipe usa duração mínima e amostra-alvo, combine o que acontece quando apenas um dos critérios é alcançado. Defina também um limite máximo de calendário.
Escreva as condições de encerramento:
- Alcance a amostra prevista conforme a regra escolhida.
- Respeite a duração mínima.
- Complete o acompanhamento das últimas entradas.
- Encerre no limite máximo e informe eventual falta de precisão.
Separe monitoramento e decisão
Acompanhe erros de envio, falhas de carregamento e distribuição de visitantes durante a execução. Essas verificações servem para proteger a operação e validar a coleta.
Se houver dano operacional relevante, siga a regra de suspensão combinada. Registre o incidente e evite apresentar a parada por segurança como vitória estatística.
Planeje leituras intermediárias quando necessárias
Se o negócio exige decisões antecipadas, adote um método sequencial adequado antes de iniciar. Documente as datas ou critérios de leitura e os limites de decisão.
Use o método escolhido do início ao fim. Trocar a regra depois de ver os resultados prejudica a interpretação da evidência.
Confira se o sorteio funcionou

Antes de interpretar as taxas, compare quantos visitantes receberam cada variante. Em uma divisão planejada de 50% para cada grupo, pequenas diferenças são esperadas por acaso.
Um desequilíbrio maior que o esperado pode indicar problema de atribuição ou coleta. Verifique a distribuição com um teste apropriado para a proporção planejada.
Compare atribuição e carregamento
Conte visitantes pelo registro de sorteio e confira separadamente quantos carregaram a página. Uma diferença entre essas etapas pode indicar falha concentrada em uma variante.
Se o problema ocorrer no celular, consulte os registros por dispositivo. Use esses recortes para investigar a execução e mantenha a população original na análise principal.
Faça estas verificações antes da análise:
- Compare o volume observado com a divisão prevista.
- Confira se a variante permanece nos retornos.
- Compare registros de sorteio e carregamento.
- Investigue perdas por dispositivo, navegador ou horário.
Teste a persistência da variante
Abra a página, anote a variante e retorne conforme a regra do experimento. Verifique se a pessoa continua vendo a mesma experiência quando o identificador ainda está disponível.
Confira também o comportamento da página em cache. Se o cache entrega a mesma versão a todos, o registro pode indicar divisão equilibrada mesmo quando a exposição real difere.
Documente a correção antes de retomar
Se confirmar uma falha, registre o intervalo afetado, a causa e o impacto na exposição. Preserve os dados para explicar por que a análise final usa outro período.
Ao reiniciar, acompanhe novamente a distribuição e confirme o carregamento nas duas versões. Use o mesmo período de validação para os dois grupos.
Leia o efeito e o intervalo de incerteza

Compare a proporção de visitantes com pedido válido em cada versão. Mostre as contagens junto às taxas para que o leitor consiga conferir os denominadores.
Neste exemplo hipotético, cada variante recebeu 6.750 visitantes. A versão A registrou 270 visitantes com pedido válido, e a versão B registrou 338.
Apresente os dados de cada variante
As taxas arredondadas são 4,0% e 5,0%. A diferença absoluta é de aproximadamente um ponto percentual, e o aumento relativo é de cerca de 25%.
Use o total da tabela para conciliar a coleta e compare as taxas das variantes separadamente.
| Variante | Visitantes elegíveis | Com pedido válido |
|---|---|---|
| A | 6.750 | 270 |
| B | 6.750 | 338 |
| Total | 13.500 | 608 |
Informe os resultados no mesmo quadro:
- Mostre a taxa de cada versão.
- Informe a diferença em pontos percentuais.
- Apresente a variação relativa em relação ao controle.
- Inclua o intervalo para a diferença absoluta.
Compare o intervalo ao ganho mínimo
Com observações independentes e análise fixa, o intervalo aproximado de 95% para a diferença vai de 0,31 a 1,71 ponto percentual.
O exemplo sugere ganho positivo, mas o intervalo inclui efeitos menores que um ponto. A decisão depende de quanto ganho a empresa precisa para justificar a mudança.
Considere os indicadores de proteção
Confira se a variante respeita os limites de erro e de qualidade definidos antes do teste. Aguarde a avaliação comercial dos pedidos quando ela fizer parte da regra de decisão.
Registre o resultado com a amostra, o método e a data da leitura. Assim, outra pessoa consegue distinguir a estimativa do efeito da interpretação para o negócio.
Interprete um resultado inconclusivo

Um intervalo amplo pode incluir perda, estabilidade e ganho. Nesse cenário, a amostra ainda permite interpretações diferentes para a decisão comercial.
Mostre a estimativa e seus limites. Se a equipe esperava ganhar um ponto percentual, indique se o intervalo ainda comporta esse ganho e se também comporta uma perda relevante.
Procure a origem da incerteza
Compare o volume recrutado com o plano. Uma página com menos tráfego que o previsto pode chegar ao limite do calendário com poucos pedidos para estimar a diferença.
Confira também se a taxa inicial usada no cálculo ficou próxima da observada. Uma frequência diferente pode mudar a precisão esperada no planejamento.
Documente o cenário antes de decidir:
- Informe a amostra prevista e a alcançada.
- Mostre o intervalo junto da estimativa.
- Indique os ganhos e perdas ainda compatíveis.
- Registre eventuais falhas de execução.
Evite escolher um segmento depois da leitura
Um recorte por dispositivo pode parecer promissor por acaso. Use esse achado para formular uma hipótese e planejar uma verificação própria.
Se o segmento já fazia parte do plano, reporte o método e os limites daquela comparação. A análise precisa considerar quantas hipóteses a equipe examinou.
Escolha a próxima ação
Manter o controle preserva a experiência conhecida enquanto a equipe investiga. Um novo teste pode avaliar uma mudança mais distinta ou usar um período compatível com o tráfego.
Registre o que faria a decisão mudar. Essa condição ajuda a priorizar o próximo teste em função da incerteza que ainda importa.
Documente a decisão e acompanhe a implantação

A decisão final combina o efeito estimado, sua precisão e os indicadores de proteção. Registre o que o teste permite concluir e os limites que orientam a implantação.
Se a variante B mostrar um ganho aceitável, confirme se os pedidos continuam chegando ao CRM. Vendas também precisa conseguir triar os registros com campos em branco.
Prepare a entrada em produção
Salve a versão do formulário que passou pelo teste, incluindo a configuração dos campos e as regras de validação. Isso facilita reproduzir a mudança aprovada.
Defina quem confere a página após a publicação e quem pode restaurar a versão anterior se aparecer um problema de envio.
Registre os detalhes da implantação:
- Versão do formulário e data de entrada.
- Efeito estimado e intervalo de incerteza.
- Indicadores de proteção e seus limites.
- Responsáveis pelo monitoramento e pela reversão.
Acompanhe a operação após a troca
Compare erros de envio e qualidade dos pedidos com os limites combinados. Mudanças no tráfego após a implantação podem alterar a taxa observada sem repetir as condições do teste.
Verifique se a equipe consegue localizar um pedido desde a confirmação do servidor até o CRM. Essa conferência ajuda a identificar falhas de integração na operação diária.
Preserve o aprendizado para o próximo teste
Guarde a hipótese, o desenho e o resultado no histórico de experimentos. Inclua o que mudou na página e as condições que permaneceram estáveis.
Avalie o efeito das campanhas anteriores ao formulário em um estudo próprio. Este teste sustenta uma decisão sobre a experiência na página.
Conclusão

O primeiro teste pode começar com os campos obrigatórios do formulário de demonstração. Defina a mudança e descreva o efeito que justificaria a implantação.
Registre a população, a unidade de sorteio e a janela de conversão. Esses critérios determinam quem entra no denominador e quais pedidos entram no numerador.
Use os resultados para decidir
Compare os envios válidos de cada variante e confira o intervalo para a diferença. No exemplo, o ganho estimado é de aproximadamente um ponto percentual.
Avalie quanto ganho a empresa precisa e como a mudança afeta o atendimento. Se a qualidade comercial ainda estiver em análise, aguarde o prazo previsto.
Confirme o plano antes de começar:
- Escolha uma mudança que a equipe possa reproduzir.
- Defina a métrica principal e seus indicadores de proteção.
- Estime a amostra e registre a regra de encerramento.
- Valide a distribuição e a confirmação dos pedidos.
- Documente a decisão e confira a página após a implantação.
Preserve o aprendizado quando faltar precisão
Se o intervalo ainda comporta perdas relevantes, descreva a incerteza e a amostra que o teste alcançou. O próximo experimento pode esclarecer o efeito para o recorte escolhido.
Guarde a hipótese e os resultados com a configuração de cada variante. Assim, a equipe pode retomar a pergunta sem repetir verificações que já concluiu.
Relacione a decisão ao restante da jornada
O experimento ajuda a decidir sobre a experiência da página testada. Para estudar como as interações anteriores recebem crédito, consulte o guia de atribuição B2B.
Se a dúvida estiver na entrega do formulário ao CRM, reproduza um envio em cada versão antes de abrir outro experimento.
Perguntas frequentes
Estas respostas ajudam a planejar a distribuição do tráfego e interpretar os resultados de um teste de landing page.
Posso testar mais de uma mudança?
Sim. Nesse caso, interprete o resultado como efeito da combinação. Para identificar o efeito de um campo específico, mantenha o restante da página igual.
Qual é a métrica principal para um formulário?
Uma opção é a proporção de visitantes elegíveis que enviam pelo menos um pedido válido no prazo definido.
Como defino a amostra?
Use a taxa inicial, o menor efeito relevante, a divisão de tráfego, o nível de significância e o poder desejado.
Por quanto tempo o teste precisa rodar?
Considere o volume de visitantes elegíveis, a duração mínima e a janela de acompanhamento das últimas entradas.
Posso encerrar assim que a variante ficar na frente?
Use a regra de encerramento definida antes do início. Para decidir com leituras intermediárias, planeje um método sequencial compatível.
O que indica um desequilíbrio na amostra?
Uma diferença além do esperado na divisão de visitantes pode sinalizar falha de sorteio, exposição ou registro.
Como evito alternar a variante durante o retorno?
Use um identificador permitido pelo site, persista a atribuição conforme a regra e confira o comportamento do cache.
Um resultado inconclusivo prova que as versões são iguais?
Um resultado inconclusivo indica que a evidência ainda admite efeitos diferentes. Confira se o intervalo inclui ganhos ou perdas relevantes.
Qual é a diferença entre ganho absoluto e relativo?
Passar de 4% para 5% equivale a um ponto percentual de ganho absoluto e a 25% de aumento relativo sobre a taxa inicial.
O que confiro depois de implantar?
Confirme o carregamento da página, os erros de formulário, a chegada de pedidos ao CRM e os indicadores de qualidade definidos no plano.











Deixe um comentário