Todos os insights
PT · CRM, Lifecycle & Personalização

Seu teste A/B de CRM encontrou um vencedor. A jornada gerou conversão incremental?

A/B escolhe a melhor experiência entre pessoas tratadas. Um holdout elegível que não entra na jornada responde se a automação acrescentou resultado.

Três caminhos paralelos levam fichas de clientes a bandejas de resultado; dois atravessam portais de mensagem e o terceiro contorna a jornada.
A e B escolhem a melhor experiência; o caminho sem jornada mostra se a intervenção acrescentou resultado. · Generated with OpenAI

Resposta direta: mantenha três grupos atribuídos antes da primeira mensagem. A e B recebem versões diferentes da mesma jornada; o holdout elegível não entra na jornada durante a janela definida. A versus B escolhe o tratamento. A ou B versus holdout estima o efeito da jornada. Se o chamado grupo de controle recebe a versão padrão ou apenas espera até receber a vencedora, ele não responde à segunda pergunta.

A nomenclatura das plataformas pode esconder a diferença. O Customer Insights chama a versão A de controle e documenta que a audiência inicial de teste pode receber a vencedora depois. O Salesforce randomiza caminhos. Já o holdout de jornada documentado pela Adobe exclui pessoas de toda a comunicação e compara resultados; o recurso também tem limites de disponibilidade, tamanho e cruzamento entre jornadas. O desenho deve estar no contrato do experimento, não apenas no botão da ferramenta.

Use a prova de jornada em três vias

  • Elegibilidade congelada — quem poderia entrar, quando, por qual regra, produto, mercado e canal.
  • Atribuição estável — ID de pessoa ou conta, versão do experimento, braço A, B ou holdout e timestamp antes da exposição.
  • Tratamento A — jornada atual, incluindo mensagem, timing, canal, oferta, custo e regras.
  • Tratamento B — mudança delimitada; não altere conteúdo, canal, público e incentivo ao mesmo tempo.
  • Holdout sem jornada — continua recebendo serviço e comunicações transacionais, mas não a intervenção testada.
  • Exposição real — envios, entregas, falhas, sobreposição com outras jornadas, mídia e contato de vendas.
  • Resultado maduro — compra, oportunidade, renovação, receita ou margem com janela, correções e denominador elegível.
  • Decisão — promover A ou B, manter regra atual, redesenhar ou encerrar; registre owner e data.

Atribua por pessoa quando a decisão e a contaminação são individuais. Em ABM, franquias ou compras compartilhadas, considere conta, loja ou território para não colocar membros da mesma unidade em tratamentos conflitantes. Randomização não garante contagens idênticas; NIST e a documentação das plataformas tratam as proporções como resultado probabilístico. Estratifique somente por variáveis definidas antes do teste e reporte desequilíbrios.

Separe quatro perguntas que o dashboard mistura

  • Execução: a jornada entrou, entregou e encerrou como planejado?
  • Otimização: B superou A no resultado escolhido?
  • Incrementalidade: o tratamento superou pessoas elegíveis que não receberam a jornada?
  • Economia: a contribuição incremental pagou mensagem, incentivo, mídia, dados, revisão e operação?

Cliques e aberturas ajudam a depurar, mas o holdout sem mensagem não pode competir em abertura. Use resultado de fundo de funil compatível com o prazo de compra. A meta nativa da jornada é útil para operar, porém pode ter janelas e atribuição próprias. Reconcile o evento com CRM, commerce e, quando a decisão exige, o degrau de receita de https://makinai.co/insights/pt/crm-negocio-ganho-receita-faturada-recebida-ia.

Exemplo hipotético

Uma empresa brasileira tem 30 mil clientes elegíveis para uma jornada de segunda compra. Atribui 12 mil à regra atual, 12 mil à versão com recomendação de IA e 6 mil ao holdout sem jornada. Após a janela de compra e devolução, A converte 5,0%, B 5,4% e o holdout 4,8%. B venceu A em 0,4 ponto percentual, mas sua diferença contra o holdout é 0,6 ponto; A acrescentou 0,2 ponto. Só então a empresa aplica margem, descontos, custo de contato e incerteza. É exemplo didático, não caso de cliente nem promessa.

Se o holdout recebeu uma campanha promocional paralela ou parte de B não recebeu a mensagem, analise por atribuição original e mostre exposição real separadamente. Remover não entregues depois da randomização favorece o tratamento. A análise principal deve conservar todos os elegíveis no braço atribuído; análises por exposição são diagnósticas.

Implemente em seis semanas

  • Semana 1 — escolha uma jornada frequente e reversível; defina unidade, elegibilidade, intervenção, resultado, janela e menor efeito comercialmente útil.
  • Semana 2 — mapeie outras jornadas, vendas, mídia, consentimento, transacionais, exclusões e a fonte autoritativa do resultado.
  • Semana 3 — implemente atribuição persistente, eventos de entrada, exposição, exclusão, resultado e correção; teste duplicidade e reentrada.
  • Semana 4 — rode em sombra: produza a atribuição, mas mantenha a jornada atual; reconcilie contagens e identidades.
  • Semana 5 — libere A, B e holdout em volume aprovado; monitore segurança, pressão de contato, falha e contaminação.
  • Semana 6 — leia somente a primeira janela disponível; não declare vencedor se receita ou devolução ainda não amadureceram; fixe a data final.

Dimensione investimento e trade-offs

Os custos crescem com número de jornadas e canais, identidade entre dispositivos, unidade de randomização, reentrada, duração, metas tardias, compra offline, devoluções, consentimento, dados externos, sobreposição de campanhas, volume mínimo e necessidade de um grupo global. Um holdout por jornada é mais simples e responde a uma intervenção; um holdout persistente entre jornadas estima o portfólio, mas exige orquestração comum e sacrifica mais tratamento.

Não prometa um percentual universal para o holdout. Tamanho e duração dependem de conversão base, variabilidade, efeito mínimo útil, unidade, clusterização, maturação e risco de decisão. Públicos pequenos talvez permitam apenas A versus regra atual, uma sequência de testes ou um desenho quase experimental. Resultado inconclusivo é informação; não autoriza escolher a versão mais bonita.

Defina regras, IA e responsabilidades

Regras controlam elegibilidade, consentimento, atribuição, exclusões, transacionais, frequência, janela e encerramento. IA pode criar variantes, estimar heterogeneidade após o teste, detectar contaminação e sugerir hipóteses. Não deve alterar braços, meta ou janela em curso, excluir casos desfavoráveis nem promover vencedora por clique quando a decisão é receita. Marketing possui hipótese e intervenção; CRM/MarTech, execução; Dados, randomização e análise; Vendas e Serviço, contatos paralelos; Finanças, valor maduro; liderança, custo do holdout e decisão.

Libere valor, não somente uma vencedora

  • Cobertura elegível, atribuição estável, balanço inicial e reentrada indevida.
  • Entrega e contaminação por braço, canal, jornada e contato comercial.
  • Diferença B–A e tratado–holdout com intervalo e tamanho absoluto do efeito.
  • Receita, margem e custo incremental por elegível, com devoluções e maturação.
  • Opt-out, reclamação, pressão de contato, ticket de serviço e efeito por segmento aprovado.
  • Tempo até decisão, custo do experimento e decisões que foram alteradas pela evidência.

Organize o portfólio em https://makinai.co/insights/pt/ia-capacidade-marketing-sistema-experimentos-validos, controle exposições cruzadas em https://makinai.co/insights/pt/ia-pressao-contato-canais-crm-frequencia e reconcilie o resultado financeiro em https://makinai.co/insights/pt/crm-negocio-ganho-receita-faturada-recebida-ia. Se um teste A/B escolhe mensagens, mas a empresa não sabe se a jornada acrescenta venda, leve à MAKINAI em https://makinai.co/services/pt/consultoria-crm-ecommerce-commerce uma jornada, sua regra de entrada, as outras exposições e o evento de receita. Podemos delimitar a atribuição, o holdout e o menor piloto defensável.

Fontes e referências

  1. A/B tests in Customer Insights - Journeys · Microsoft Learn

    Documenta que um teste A/B compara uma experiência padrão com uma variante; a chamada audiência inicial fica retida até a escolha e depois recebe a vencedora, portanto não equivale automaticamente a um grupo sem jornada.

    2026-11-14
  2. Set a business goal and measure progress through a journey · Microsoft Learn

    Mostra que metas de jornada observam ações como compra, cadastro ou renovação e têm janelas e regras de contagem próprias; observar uma meta não demonstra por si só incremento.

    2026-11-14
  3. Define your journey's properties — measure lift with a holdout group · Adobe Experience League

    Define holdout de jornada como parcela excluída de toda comunicação para comparar resultados e medir lift incremental; também documenta limitações de disponibilidade, tamanho e alcance entre jornadas.

    2026-11-14
  4. Path Experiment Element · Salesforce Help

    Documenta randomização de pessoas entre caminhos e que as proporções observadas podem diferir das configuradas, especialmente em públicos pequenos.

    2026-11-14
  5. Completely randomized designs · NIST/SEMATECH e-Handbook of Statistical Methods

    Explica que a alocação aleatória das unidades às condições permite uma comparação defensável do efeito de um fator, dentro das premissas do desenho.

    2026-11-14
Making connections

Continue explorando

CRM, Lifecycle & Personalização

Seu CRM escolhe email, telefone ou WhatsApp por hábito. Qual canal cria conversa?

Ler insight ↗
CRM, Lifecycle & Personalização

O formulário captou o lead. Ele chegou ao CRM? A camada de entrega antes da IA

Ler insight ↗
CRM, Lifecycle & Personalização

Seus melhores leads chegam quando vendas está offline. O que a IA deve fazer até o próximo turno?

Ler insight ↗
Capacidade relacionada

CRM, commerce & novos modelos

Uma estratégia moderna de CRM e commerce conecta identidade, dados, comunicação, experiência, oferta e operação. A MAKINAI ajuda empresas a organizar essa arquitetura e implementar jornadas que aprendem com o comportamento do cliente, coordenam canais e preparam o negócio para agentes e novas interfaces de compra.

Conhecer esta capacidade ↗