Resposta direta: mantenha três grupos atribuídos antes da primeira mensagem. A e B recebem versões diferentes da mesma jornada; o holdout elegível não entra na jornada durante a janela definida. A versus B escolhe o tratamento. A ou B versus holdout estima o efeito da jornada. Se o chamado grupo de controle recebe a versão padrão ou apenas espera até receber a vencedora, ele não responde à segunda pergunta.
A nomenclatura das plataformas pode esconder a diferença. O Customer Insights chama a versão A de controle e documenta que a audiência inicial de teste pode receber a vencedora depois. O Salesforce randomiza caminhos. Já o holdout de jornada documentado pela Adobe exclui pessoas de toda a comunicação e compara resultados; o recurso também tem limites de disponibilidade, tamanho e cruzamento entre jornadas. O desenho deve estar no contrato do experimento, não apenas no botão da ferramenta.
Use a prova de jornada em três vias
- Elegibilidade congelada — quem poderia entrar, quando, por qual regra, produto, mercado e canal.
- Atribuição estável — ID de pessoa ou conta, versão do experimento, braço A, B ou holdout e timestamp antes da exposição.
- Tratamento A — jornada atual, incluindo mensagem, timing, canal, oferta, custo e regras.
- Tratamento B — mudança delimitada; não altere conteúdo, canal, público e incentivo ao mesmo tempo.
- Holdout sem jornada — continua recebendo serviço e comunicações transacionais, mas não a intervenção testada.
- Exposição real — envios, entregas, falhas, sobreposição com outras jornadas, mídia e contato de vendas.
- Resultado maduro — compra, oportunidade, renovação, receita ou margem com janela, correções e denominador elegível.
- Decisão — promover A ou B, manter regra atual, redesenhar ou encerrar; registre owner e data.
Atribua por pessoa quando a decisão e a contaminação são individuais. Em ABM, franquias ou compras compartilhadas, considere conta, loja ou território para não colocar membros da mesma unidade em tratamentos conflitantes. Randomização não garante contagens idênticas; NIST e a documentação das plataformas tratam as proporções como resultado probabilístico. Estratifique somente por variáveis definidas antes do teste e reporte desequilíbrios.
Separe quatro perguntas que o dashboard mistura
- Execução: a jornada entrou, entregou e encerrou como planejado?
- Otimização: B superou A no resultado escolhido?
- Incrementalidade: o tratamento superou pessoas elegíveis que não receberam a jornada?
- Economia: a contribuição incremental pagou mensagem, incentivo, mídia, dados, revisão e operação?
Cliques e aberturas ajudam a depurar, mas o holdout sem mensagem não pode competir em abertura. Use resultado de fundo de funil compatível com o prazo de compra. A meta nativa da jornada é útil para operar, porém pode ter janelas e atribuição próprias. Reconcile o evento com CRM, commerce e, quando a decisão exige, o degrau de receita de https://makinai.co/insights/pt/crm-negocio-ganho-receita-faturada-recebida-ia.
Exemplo hipotético
Uma empresa brasileira tem 30 mil clientes elegíveis para uma jornada de segunda compra. Atribui 12 mil à regra atual, 12 mil à versão com recomendação de IA e 6 mil ao holdout sem jornada. Após a janela de compra e devolução, A converte 5,0%, B 5,4% e o holdout 4,8%. B venceu A em 0,4 ponto percentual, mas sua diferença contra o holdout é 0,6 ponto; A acrescentou 0,2 ponto. Só então a empresa aplica margem, descontos, custo de contato e incerteza. É exemplo didático, não caso de cliente nem promessa.
Se o holdout recebeu uma campanha promocional paralela ou parte de B não recebeu a mensagem, analise por atribuição original e mostre exposição real separadamente. Remover não entregues depois da randomização favorece o tratamento. A análise principal deve conservar todos os elegíveis no braço atribuído; análises por exposição são diagnósticas.
Implemente em seis semanas
- Semana 1 — escolha uma jornada frequente e reversível; defina unidade, elegibilidade, intervenção, resultado, janela e menor efeito comercialmente útil.
- Semana 2 — mapeie outras jornadas, vendas, mídia, consentimento, transacionais, exclusões e a fonte autoritativa do resultado.
- Semana 3 — implemente atribuição persistente, eventos de entrada, exposição, exclusão, resultado e correção; teste duplicidade e reentrada.
- Semana 4 — rode em sombra: produza a atribuição, mas mantenha a jornada atual; reconcilie contagens e identidades.
- Semana 5 — libere A, B e holdout em volume aprovado; monitore segurança, pressão de contato, falha e contaminação.
- Semana 6 — leia somente a primeira janela disponível; não declare vencedor se receita ou devolução ainda não amadureceram; fixe a data final.
Dimensione investimento e trade-offs
Os custos crescem com número de jornadas e canais, identidade entre dispositivos, unidade de randomização, reentrada, duração, metas tardias, compra offline, devoluções, consentimento, dados externos, sobreposição de campanhas, volume mínimo e necessidade de um grupo global. Um holdout por jornada é mais simples e responde a uma intervenção; um holdout persistente entre jornadas estima o portfólio, mas exige orquestração comum e sacrifica mais tratamento.
Não prometa um percentual universal para o holdout. Tamanho e duração dependem de conversão base, variabilidade, efeito mínimo útil, unidade, clusterização, maturação e risco de decisão. Públicos pequenos talvez permitam apenas A versus regra atual, uma sequência de testes ou um desenho quase experimental. Resultado inconclusivo é informação; não autoriza escolher a versão mais bonita.
Defina regras, IA e responsabilidades
Regras controlam elegibilidade, consentimento, atribuição, exclusões, transacionais, frequência, janela e encerramento. IA pode criar variantes, estimar heterogeneidade após o teste, detectar contaminação e sugerir hipóteses. Não deve alterar braços, meta ou janela em curso, excluir casos desfavoráveis nem promover vencedora por clique quando a decisão é receita. Marketing possui hipótese e intervenção; CRM/MarTech, execução; Dados, randomização e análise; Vendas e Serviço, contatos paralelos; Finanças, valor maduro; liderança, custo do holdout e decisão.
Libere valor, não somente uma vencedora
- Cobertura elegível, atribuição estável, balanço inicial e reentrada indevida.
- Entrega e contaminação por braço, canal, jornada e contato comercial.
- Diferença B–A e tratado–holdout com intervalo e tamanho absoluto do efeito.
- Receita, margem e custo incremental por elegível, com devoluções e maturação.
- Opt-out, reclamação, pressão de contato, ticket de serviço e efeito por segmento aprovado.
- Tempo até decisão, custo do experimento e decisões que foram alteradas pela evidência.
Organize o portfólio em https://makinai.co/insights/pt/ia-capacidade-marketing-sistema-experimentos-validos, controle exposições cruzadas em https://makinai.co/insights/pt/ia-pressao-contato-canais-crm-frequencia e reconcilie o resultado financeiro em https://makinai.co/insights/pt/crm-negocio-ganho-receita-faturada-recebida-ia. Se um teste A/B escolhe mensagens, mas a empresa não sabe se a jornada acrescenta venda, leve à MAKINAI em https://makinai.co/services/pt/consultoria-crm-ecommerce-commerce uma jornada, sua regra de entrada, as outras exposições e o evento de receita. Podemos delimitar a atribuição, o holdout e o menor piloto defensável.