Não valide uma consultoria de IA pela marca do cliente, pelo slide final ou por um percentual isolado. Reconstrua cada case como uma cadeia: problema e baseline; escopo realmente entregue; equipe responsável; dados, modelos e integrações usados; método de medição; resultado e contramétricas; falhas, recuperação e condição atual. Depois confirme os pontos críticos com uma referência escolhida pelo comprador, não apenas com o contato mais satisfeito oferecido pelo fornecedor.
O melhor case não é necessariamente o mais famoso. É o mais parecido com sua decisão em risco, dados, integração, usuários, escala e estágio operacional. A FAR 15.305 trata desempenho anterior como indicador, mas exige considerar relevância, atualidade, fonte, contexto e tendência. Use o mesmo princípio para serviços de IA: compare evidência contextual, não logotipos.
AI Delivery Evidence Chain-7: scorecard de 28 pontos
Pontue cada prova de zero a quatro: zero é ausente; um, afirmação promocional; dois, evidência parcial; três, evidência verificável e contextualizada; quatro, evidência confirmada por artefatos e referência independente. Exija pelo menos 21 de 28, nenhum zero e aprovação dos cinco filtros eliminatórios.
- Relevância — setor, decisão, usuário, risco, dados, integrações, volumes, estágio e restrições comparáveis.
- Baseline — situação anterior, período, fonte dos dados, qualidade mínima e hipótese de mudança.
- Escopo e responsabilidade — o que a consultoria decidiu, construiu, integrou, operou e o que ficou com cliente ou terceiros.
- Equipe entregue — nomes ou papéis, senioridade, alocação, subcontratação e correspondência com a equipe proposta.
- Caminho técnico e operacional — modelos, dados, avaliação, segurança, adoção, observabilidade, incidentes e transferência.
- Resultado verificável — fórmula, período, denominador, contramétricas, custo total, atribuição e situação atual.
- Referência independente — patrocinador, operador e responsável técnico que confirmam fatos, dificuldades, comportamento e continuidade.
Cinco filtros eliminatórios
- O fornecedor não separa sua contribuição do trabalho do cliente, plataforma ou outro parceiro.
- O resultado não possui baseline, período, denominador, fonte ou método de atribuição explicável.
- A equipe apresentada no case não corresponde à equipe que executará sua conta e a substituição não é declarada.
- A referência só confirma satisfação geral, mas não pode validar escopo, operação, falhas ou resultados.
- O fornecedor impede qualquer verificação independente e oferece apenas cases anonimizados sem artefatos alternativos.
Peça uma ficha de evidência por case
Limite cada ficha a duas páginas: contexto; decisão; baseline; escopo; equipe; arquitetura e dependências; avaliação; cronograma; custo de operação; resultado; contramétricas; falhas; status atual; artefatos disponíveis; e pessoas que podem confirmar. Remova material confidencial, mas preserve definições e relações causais. Um número sem denominador ou atribuição deve ser tratado como não verificado.
O CPARS avalia qualidade com dados como confiabilidade, falhas, comentários de usuários, taxas de aceitação e retrabalho. Essa variedade é útil para IA: não aceite apenas acurácia, produtividade ou receita. Peça qualidade, adoção, custo por resultado, incidentes, revisão humana e carga operacional.
Conduza três referências, não uma conversa institucional
- Patrocinador executivo: decisão, valor, governança, transparência e intenção de contratar novamente.
- Owner operacional: adoção, qualidade, exceções, suporte, incidentes, custo e capacidade de operar sem dependência excessiva.
- Responsável técnico ou de dados: arquitetura, integrações, segurança, avaliação, documentação e qualidade da transferência.
A GSA reconhece questionários adaptados, entrevistas e outras fontes para coletar desempenho anterior. Padronize as perguntas e registre quem respondeu, relação com o projeto e o que conseguiu verificar. Não peça dados confidenciais nem contorne restrições contratuais.
Dez perguntas que revelam mais que um depoimento
- Qual era o baseline e quem o mediu?
- Que parte foi realmente entregue por essa equipe?
- O que precisou ser redesenhado depois do início?
- Qual foi a falha mais séria e como o fornecedor reagiu?
- Que resultado permaneceu após seis meses?
- Quais custos ou tarefas operacionais ficaram fora do case?
- A equipe prometida permaneceu alocada?
- Como segurança, privacidade e mudanças de modelo foram tratadas?
- A documentação permite operar, auditar e trocar de parceiro?
- Você contrataria a mesma equipe novamente para um caso semelhante?
Normalize antes de comparar finalistas
Classifique cada case por relevância, confiança da evidência e contribuição real do fornecedor. Não penalize automaticamente uma empresa nova sem logotipos famosos: permita prova por protótipo, projeto menor, artefatos, equipe e piloto pago. World Bank recomenda combinar critérios de qualidade e valor com preço; use a referência para reduzir incerteza, não para preservar incumbentes.
Conecte cases, equipe, proposta e piloto
Use https://makinai.co/insights/pt/como-avaliar-propostas-consultoria-ia-scorecard para normalizar propostas, https://makinai.co/insights/pt/como-avaliar-equipe-consultoria-ia-antes-contratar para verificar quem executará e https://makinai.co/insights/pt/como-estruturar-piloto-pago-contratar-empresa-ia para produzir evidência no seu ambiente. Conheça https://makinai.co/services/pt/consultoria-estrategia-ia-transformacao.
Quando envolver a MAKINAI
A MAKINAI pode transformar cases em fichas comparáveis, conduzir entrevistas estruturadas e converter lacunas em perguntas de RFP, sessão finalista ou piloto pago. A recomendação deve registrar o que foi confirmado, o que continua sendo hipótese e que risco o comprador decidiu aceitar.