Respuesta directa: asigne tres grupos antes del primer mensaje. A y B reciben versiones distintas del mismo journey; el holdout elegible no entra en ese journey durante la ventana definida. A frente a B selecciona el tratamiento. A o B frente al holdout estima el efecto del journey. Si el llamado control recibe la versión predeterminada o solo espera para recibir la ganadora, no responde la segunda pregunta.
El vocabulario de plataforma puede ocultar la diferencia. Customer Insights llama control a la versión A y documenta una audiencia inicial que puede recibir la ganadora después. Salesforce aleatoriza caminos. El holdout de journey documentado por Adobe excluye perfiles de toda comunicación del journey y compara resultados, con límites de disponibilidad, muestra y cruce entre journeys. Ponga el diseño en el contrato del experimento, no solo en un ajuste de la herramienta.
Use una prueba de journey en tres vías
- Elegibilidad congelada — quién podía entrar, cuándo y bajo qué reglas de producto, mercado, canal y exclusión.
- Asignación estable — ID de persona o cuenta, versión, brazo A, B o holdout y timestamp anterior a la exposición.
- Tratamiento A — journey actual, incluido mensaje, timing, canal, oferta, costo y reglas.
- Tratamiento B — un cambio acotado; no cambie contenido, canal, audiencia e incentivo simultáneamente.
- Holdout sin journey — conserva servicio y mensajes transaccionales, pero no recibe la intervención probada.
- Exposición real — envíos, entregas, fallas, otros journeys, medios y contacto comercial.
- Resultado maduro — compra, oportunidad, renovación, ingreso o contribución con ventana, correcciones y denominador elegible.
- Decisión — promover A o B, conservar regla, rediseñar o detener, con responsable y fecha.
Asigne por persona cuando tratamiento y contaminación sean individuales. En ABM, franquicias o compras compartidas, use cuenta, tienda o territorio si personas de la misma unidad no deben recibir tratamientos opuestos. La aleatorización no garantiza conteos idénticos; NIST y las plataformas describen una asignación probabilística. Estratifique solo con variables definidas antes y reporte desequilibrios.
Separe cuatro preguntas que el dashboard mezcla
- Ejecución — ¿el journey entró, entregó y terminó según lo diseñado?
- Optimización — ¿B superó a A en el resultado elegido?
- Incrementalidad — ¿tratamiento superó a elegibles que no recibieron journey?
- Economía — ¿la contribución incremental pagó mensajes, incentivo, medios, datos, revisión y operación?
Clics y aperturas sirven para depurar, pero un holdout sin mensaje no compite en aperturas. Use un resultado de fondo de funnel compatible con el ciclo de compra. La meta nativa es útil para operar, aunque puede tener reglas y ventana propias. Concilie el evento con CRM, commerce y, cuando la decisión lo exige, el peldaño de ingresos de https://makinai.co/insights/es/crm-negocio-ganado-ingreso-facturado-cobrado-ia.
Ejemplo regional ilustrativo
Una empresa regional hipotética tiene 30.000 clientes elegibles para un journey de segunda compra. Asigna 12.000 a la regla actual, 12.000 a una recomendación asistida por IA y 6.000 al holdout. Después de compra y devolución, A convierte 5,0%, B 5,4% y holdout 4,8%. B venció a A por 0,4 punto porcentual, pero su diferencia frente al holdout es 0,6 punto; A añadió 0,2. Solo entonces se aplican contribución, descuentos, contacto e incertidumbre. No es caso de cliente ni benchmark.
Si el holdout recibió otra promoción o parte de B no recibió el mensaje, analice por asignación original y muestre exposición real aparte. Eliminar no entregados después de aleatorizar favorece el tratamiento. El análisis principal conserva todas las unidades elegibles en su brazo; vistas por exposición son diagnósticas.
Implemente en seis semanas
- Semana 1 — elija un journey frecuente y reversible; defina unidad, elegibilidad, intervención, resultado, ventana y menor efecto útil.
- Semana 2 — mapee otros journeys, ventas, medios, consentimiento, transaccionales, exclusiones y fuente autoritativa del resultado.
- Semana 3 — implemente asignación persistente y eventos de entrada, exposición, exclusión, resultado y corrección; pruebe duplicación y reentrada.
- Semana 4 — ejecute asignación en sombra con el journey actual intacto; concilie conteos e identidades.
- Semana 5 — libere A, B y holdout en volumen aprobado; supervise seguridad, presión, falla y contaminación.
- Semana 6 — lea solo la primera ventana disponible; no declare ganadora antes de madurar ingresos o devoluciones; fije lectura final.
Dimensione inversión y trade-offs
El costo crece con journeys y canales, identidad entre dispositivos, unidad de asignación, reentrada, duración, resultados tardíos, compra offline, devoluciones, consentimiento, datos externos, solapamiento, volumen mínimo y necesidad de holdout global. Un holdout por journey es más simple; uno persistente entre journeys estima el portafolio, pero exige orquestación común y retiene más tratamiento.
No prometa un porcentaje universal. Tamaño y duración dependen de conversión base, variabilidad, efecto mínimo útil, unidad, clusters, maduración y costo de una decisión equivocada. Audiencias pequeñas quizá permitan solo A frente a regla actual, una secuencia o un cuasiexperimento. Un resultado inconcluso es evidencia; no autoriza elegir la versión más atractiva.
Defina reglas, IA y responsabilidades
Reglas controlan elegibilidad, consentimiento, asignación, exclusiones, transaccionales, frecuencia, ventanas y parada. IA puede crear variantes, estimar heterogeneidad después, detectar contaminación y proponer hipótesis. No debe cambiar brazos, resultado o ventana durante el test, quitar casos desfavorables ni promover una ganadora por clic si la decisión es ingreso. Marketing posee hipótesis; CRM/MarTech, entrega; Datos, aleatorización; Ventas y Servicio, contactos paralelos; Finanzas, valor maduro; liderazgo, costo y decisión.
Libere valor, no solo una ganadora
- Cobertura elegible, asignación estable, balance inicial y reentrada indebida.
- Entrega y contaminación por brazo, canal, journey y contacto comercial.
- B menos A y tratado menos holdout, con incertidumbre y tamaño absoluto.
- Ingreso, contribución y costo incremental por elegible después de devoluciones.
- Bajas, reclamos, presión de contacto, servicio y efectos por segmentos aprobados.
- Tiempo hasta decisión, costo del experimento y decisiones modificadas por evidencia.
Coordine el portafolio con https://makinai.co/insights/es/ia-capacidad-marketing-sistema-experimentos-validos, concilie exposición cruzada en https://makinai.co/insights/es/ia-presion-contacto-canales-crm-frecuencia y madure el resultado financiero en https://makinai.co/insights/es/crm-negocio-ganado-ingreso-facturado-cobrado-ia. Si A/B selecciona mensajes pero la empresa no sabe si el journey añade ventas, lleve a MAKINAI en https://makinai.co/services/es/consultoria-crm-ecommerce-commerce un journey, su regla de entrada, otras exposiciones y el evento de ingreso. Podemos delimitar asignación, holdout y el menor piloto defendible.