Resposta direta: não treine nem avalie lead scoring apenas com “qualificado versus desqualificado” ou “convertido versus não convertido”. Antes, registre quem era elegível, quem foi priorizado, quem realmente teve oportunidade de atendimento, qual serviço recebeu e quando o resultado amadureceu. Um lead nunca trabalhado não é um caso negativo; é um resultado não observado. Reserve uma coorte controlada de exploração dentro dos limites comerciais para oferecer atendimento consistente fora do topo do score e descobrir o que a política histórica ocultou.
O ciclo pode parecer virtuoso. A IA coloca determinados perfis no topo. Vendas liga primeiro para eles, tenta mais vezes e usa o melhor canal. Eles convertem mais. No retreino, o sistema conclui que esses perfis eram superiores e aumenta ainda mais sua prioridade. Enquanto isso, leads semelhantes fora do topo recebem uma tentativa tardia ou nenhuma; a empresa não observa se teriam comprado com o mesmo serviço. A acurácia pode subir dentro do conjunto atendido enquanto receita potencial fica invisível.
Esse problema é conhecido como rótulo seletivo em pesquisa de decisão: o resultado existe apenas onde uma política anterior permitiu observá-lo. O estudo do NBER trata decisões judiciais, não vendas, portanto seus números não se transferem para marketing. A estrutura, porém, é útil: avaliar uma nova regra com dados produzidos pela regra antiga exige separar potencial do efeito da seleção humana.
Pare de chamar ausência de resultado de “perda”
- Elegível — lead e oferta podiam entrar no processo naquele momento.
- Priorizado — a política decidiu mostrar ou oferecer o lead a um vendedor.
- Aceito — um owner assumiu responsabilidade dentro do prazo.
- Atendido — houve tentativa válida no canal, horário e cadência definidos.
- Observável — a janela e a instrumentação permitem saber o que aconteceu.
- Resultado — conversa, oportunidade, venda, receita ou perda com motivo e maturidade.
“Sem conversão” pode significar quatro coisas diferentes: atendimento correto sem compra, tentativa insuficiente, falha de registro ou nenhum atendimento. Compactar tudo em zero ensina ao modelo a operação atual, não necessariamente a demanda. O https://makinai.co/insights/pt/elegibilidade-oferta-antes-lead-scoring-ia resolve quem pode receber a oferta; o https://makinai.co/insights/pt/orquestracao-fila-leads-score-sla-capacidade-ia organiza quem deve ser atendido em seguida. Este artigo resolve o passo posterior: quais resultados podem virar rótulos confiáveis.
Escreva o Contrato de Exposição Comercial
- Unidade — um lead elegível para uma oferta e uma ação comercial específicas.
- Política — score, fila, território, owner, capacidade e versão que determinaram a prioridade.
- Exposição — quando o lead foi oferecido, aceito e atendido; canal, horário, tentativa e SLA.
- Intensidade — quantidade e qualidade mínima de serviço comparável, sem transformar volume de contato em assédio.
- Observabilidade — campos, integrações e janela necessários para distinguir perda, ausência e desconhecido.
- Resultado — definição versionada, fonte, valor, maturidade e eventual correção.
- Exploração — população segura fora do topo, regra de seleção, capacidade reservada e limites.
- Abstenção — registros sem exposição suficiente não entram como negativos no treinamento principal.
- Auditoria — recomendação, decisão humana, serviço recebido, override e resultado permanecem ligados.
Microsoft documenta modelos de scoring treinados com leads históricos qualificados e desqualificados, com filtros e período definidos. Salesforce documenta padrões aprendidos do histórico de conversão, campos e atividades. São capacidades úteis, mas o estado histórico pode carregar diferenças de território, capacidade, turno, canal, idioma ou preferência do vendedor. A pergunta não é apenas “o modelo usa dados históricos?”, mas “qual política produziu esses históricos?”.
Use métricas que enxerguem o denominador perdido
AUC, F1, recall e matriz de confusão ajudam a avaliar registros com rótulo. Não mostram, sozinhos, como o modelo se comportaria se leads nunca trabalhados recebessem atendimento comparável. Meça cobertura de rótulo sobre todos os elegíveis; taxa de oferta, aceite e atendimento por faixa de score; tentativas válidas; tempo; resultados desconhecidos; conversão condicional ao atendimento; receita madura; e concentração por origem, região, segmento e idioma.
Crie uma Matriz Potencial–Serviço com quatro quadrantes: alto potencial/alto serviço; alto potencial/baixo serviço; baixo potencial/alto serviço; baixo potencial/baixo serviço. Os dois quadrantes de baixo serviço revelam a lacuna, não provam uma conversão perdida. Revisar amostras e criar exposição controlada transforma parte dessa lacuna em evidência.
No Brasil, ligações, WhatsApp, distribuidores e ações do vendedor podem ocorrer fora do CRM. Instrumentar apenas email ou mudança de estágio confunde “sem atividade registrada” com “sem atendimento”. Defina finalidade, minimização, acesso e retenção sob LGPD; não use exploração para contornar consentimento, território, elegibilidade ou pressão de contato.
Piloto de seis semanas em uma oferta
- Semana 1 — extraia oito a doze semanas de todos os leads elegíveis, não apenas fechados; reconstrua prioridade, owner, tentativas e resultado.
- Semana 2 — defina atendimento mínimo comparável, relógio, observabilidade, motivos de ausência e coortes que não podem entrar em exploração.
- Semana 3 — rode o novo contrato em shadow mode e quantifique onde score e serviço estão confundidos.
- Semana 4 — reserve capacidade limitada para uma amostra elegível fora do topo, com o mesmo SLA e controles; não retire serviço dos casos urgentes.
- Semana 5 — revise qualidade de contato, carga, exceções e resultados iniciais; corrija falhas de logging antes de retreinar.
- Semana 6 — compare cobertura, conversão condicional, receita madura e custo; decida manter regras, recalibrar o modelo ou coletar mais evidência.
Os entregáveis são mapa de exposição, dicionário de estados, baseline por coorte, política de exploração, instrumentação, amostra revisada, dashboard, runbook e decisão de retreino. Os maiores custos costumam ser captura de atividade fora do CRM, padronização de motivos, integração de telefonia e mensageria, capacidade reservada, acompanhamento, análise e mudança de incentivo — não a licença do modelo.
Proteja receita e operação ao mesmo tempo
Contramétricas incluem queda do SLA em leads urgentes, overload do vendedor, contato indevido, distribuição desigual de serviço, aumento de descadastros, exploração sem poder estatístico e rótulos alterados depois do fechamento. NIST recomenda documentar seleção, representatividade, limites e avaliação em condições semelhantes ao uso. Preserve revisão humana, mas trate o override como dado: se vendedores sempre ignoram uma faixa, registre o motivo em vez de deixar o silêncio virar verdade.
Veja https://makinai.co/insights/pt/lead-scoring-ia-crm-nativo-modelo-proprio-investimento para escolher entre regras, scoring nativo e modelo próprio, e https://makinai.co/insights/pt/lead-score-ia-drift-modelo-qualidade-pipeline para monitorar drift depois do go-live. Se sua taxa de conversão melhora à medida que o atendimento se concentra, leve à MAKINAI, em https://makinai.co/services/pt/consultoria-crm-ecommerce-commerce, uma oferta e uma amostra anonimizada de todos os leads elegíveis com timestamps de serviço. Podemos delimitar o contrato, a instrumentação e um piloto antes do próximo retreino.
As fontes sustentam o mecanismo e o risco, não prometem uplift. O snapshot agregado de 28 dias encerrado em 6 de novembro registrou 180 sessões, 11 cliques orgânicos e zero eventos de lead; não permite atribuir consultas, pipeline ou receita a este artigo nem validar a hipótese em uma empresa específica.