Resposta direta: escolha uma empresa de IA para atendimento pela capacidade comprovada de resolver jornadas reais com segurança, e não pela fluência de uma demonstração. O fornecedor deve mostrar sete provas: entendimento da demanda, conhecimento governado, identidade e autorização, resolução de ponta a ponta, escalonamento humano, qualidade e risco, e operação econômica. Compare todos com as mesmas conversas e decisões de produção.
“Deflexão” ou “contenção no bot” não significa resolução. Um cliente pode abandonar, repetir o contato em outro canal ou receber uma resposta plausível sem concluir a tarefa. O caso de negócio deve partir do resultado confirmado: problema resolvido, ação correta, contexto preservado e possibilidade real de chegar a uma pessoa.
Service Resolution Proof-7: sete provas para comparar fornecedores
Pontue cada dimensão de 0 a 4: ausente, prometida, demonstrada, medida com dados representativos ou operada com responsabilidade definida. O total máximo é 28, mas quatro lacunas eliminam a proposta: não ter conjunto de avaliação representativo, não oferecer escalonamento humano, não controlar permissões das ações ou não entregar trilha de incidente e saída.
1. Demanda: o sistema entende os motivos reais de contato?
Peça uma taxonomia baseada em conversas reais, não numa lista genérica de intents. Ela deve incluir ambiguidade, múltiplos pedidos, gírias, erros, emoção, troca de idioma e casos sem solução automatizável. NIST recomenda descrever sistemas a partir das atividades humanas e dos resultados pretendidos; isso ajuda a evitar que a tecnologia determine a jornada.
A prova mínima é um mapa que liga motivo de contato, canal, público, dado necessário, possível ação, risco e resultado. O fornecedor deve explicar o que será respondido, executado, encaminhado ou recusado.
2. Conhecimento: cada resposta tem fonte, permissão e validade?
Avalie como políticas, produtos, pedidos e regras chegam ao sistema; quem aprova conteúdo; como versões vencidas são removidas; e quais usuários podem acessar cada fonte. Exija citações ou evidência rastreável quando a resposta depender de conhecimento corporativo. Um bom parceiro mede recuperação e resposta separadamente e sabe quando não responder.
O guia de contratação de sistemas RAG da MAKINAI detalha essa camada em https://makinai.co/insights/pt/como-escolher-empresa-rag-base-conhecimento-ia. Para atendimento, ela precisa estar conectada ao canal, à identidade e à ação — não apenas a uma busca sem contexto.
3. Identidade e ação: o agente só faz o que deveria?
Responder FAQ é diferente de consultar pedido, alterar cadastro, conceder crédito ou cancelar serviço. Peça desenho de autenticação, autorização por ação, limites de valor, confirmação, reversão e aprovação humana. Credenciais devem ter privilégio mínimo; o modelo não deve receber acesso amplo apenas porque a integração permite.
OWASP alerta que prompt injection pode induzir acesso ou ações não autorizadas e recomenda privilégio mínimo, validação por código e aprovação humana para operações de alto risco. Teste entradas maliciosas, documentos contaminados, pedidos para revelar dados de terceiros e tentativas de contornar política.
4. Resolução: qual resultado será confirmado?
Defina resolução por jornada: informação correta compreendida, pedido efetivamente alterado, pagamento regularizado ou próximo passo aceito. Meça também reincidência em sete dias, correção da ação, tempo total e esforço do cliente. Não permita que o próprio bot declare sucesso sem confirmação independente no sistema de registro ou pelo cliente.
5. Escalonamento: a pessoa recebe contexto útil?
O handoff deve ter gatilhos explícitos: baixa confiança, pedido do cliente, vulnerabilidade, emoção, risco regulatório, ação não permitida ou falha repetida. Verifique fila correta, resumo fiel, histórico, dados já coletados e possibilidade de o humano corrigir o sistema. Um beco sem saída com “tente novamente” é falha de serviço.
Inclua acessibilidade no teste, não como checklist posterior. WCAG 2.2 fornece critérios verificáveis para interfaces digitais; voz, chat e autenticação também precisam de alternativas utilizáveis por pessoas com diferentes necessidades.
6. Qualidade e risco: como o fornecedor prova comportamento seguro?
Exija conjunto de avaliação versionado, casos adversariais, limiares por risco, revisão humana, testes antes de troca de modelo e registro de incidentes. O perfil de IA generativa do NIST organiza gestão de risco ao longo do ciclo de vida. A proposta deve dizer quem decide bloquear, reverter ou limitar uma capacidade quando a qualidade cai.
7. Operação e economia: quem mantém o serviço e por qual unidade?
Compare custo por resolução confirmada, não apenas custo por conversa ou token. Inclua modelos, busca, voz, integrações, observabilidade, avaliações, supervisão, suporte humano e melhoria contínua. Defina SLOs, plantão, mudança de modelo, portabilidade de prompts e avaliações, exportação de logs e responsabilidade pela base de conhecimento.
O teste de replay antes do piloto
Entregue aos finalistas de 30 a 50 conversas anonimizadas com ambiguidade, cliente irritado, dado sensível, pedido fora de política, falha de sistema, troca de idioma, ação reversível e necessidade de pessoa. Execute o mesmo roteiro e observe resposta, ação, recusa, handoff, logs e custo. A comparação revela muito mais que uma demo preparada.
Piloto de 8 a 12 semanas
- Escolha uma jornada com volume e resultado verificável. Registre baseline humano e digital. Congele o conjunto de avaliação antes de configurar. Integre leitura antes de liberar escrita. Rode em shadow mode, depois com limites. Meça resolução confirmada, precisão da ação, handoff, reincidência, tempo, esforço, acessibilidade e custo. Libere escala apenas após gate conjunto de negócio, operação, segurança e atendimento.
Próximo passo
Use o scorecard junto do guia de RFP em https://makinai.co/insights/pt/como-criar-rfp-servicos-ia e da avaliação de empresas de agentes em https://makinai.co/insights/pt/como-avaliar-empresa-agentes-ia-checklist-producao. Para desenhar, testar e operar atendimento com integrações e controles reais, veja https://makinai.co/services/pt/desenvolvimento-agentes-ia-automacao.