A melhor proposta de consultoria de IA não é necessariamente a mais barata, a mais extensa ou a que apresenta o modelo mais novo. É a que demonstra, com evidências verificáveis, como transformará uma decisão de negócio em um sistema seguro, mensurável e operável. Antes da nota final, elimine propostas que não definem resultado, acesso a dados, método de avaliação, responsabilidades, custos recorrentes ou condições de saída.
Para comparar finalistas de forma consistente, use uma matriz ponderada de 100 pontos, aplique a mesma pergunta e o mesmo padrão de prova a todos e registre as premissas de custo total. O UK Sourcing Playbook recomenda modelos de custo que reduzam o viés por menor preço; o World Bank trata critérios de metodologia, risco, equipe e capacidade como componentes legítimos da avaliação. Em IA, esses critérios precisam incluir ainda testes, governança e comportamento em produção.
Proposal Evidence Score-100: a matriz da MAKINAI
O scorecard abaixo separa qualidade comercial de capacidade real. Cada bloco recebe nota de zero a cinco e depois é multiplicado pelo peso. Zero significa ausência; um, afirmação genérica; três, abordagem plausível com artefatos parciais; cinco, evidência específica, verificável e alinhada ao contexto da empresa. Não ajuste pesos depois de abrir as propostas: isso favorece narrativas individuais e reduz a comparabilidade.
- Resultado e baseline — 15 pontos: decisão que será melhorada, métrica atual, meta, usuários afetados e limite do caso de uso.
- Arquitetura, dados e integração — 15 pontos: fontes, qualidade, permissões, APIs, identidade, ambientes e dependências.
- Avaliação e segurança — 15 pontos: conjunto de testes, critérios de aceitação, revisão humana, abuso, privacidade e monitoramento.
- Método de entrega — 15 pontos: etapas, entregáveis, cadência, responsáveis, riscos e critérios de go/no-go.
- Equipe e experiência aplicável — 10 pontos: pessoas nomeadas, disponibilidade, papéis e exemplos verificáveis de trabalho comparável.
- Operação e governança — 10 pontos: SLOs, incidentes, mudanças de modelo, registros, auditoria e prestação de contas.
- Economia total — 10 pontos: serviços profissionais, modelos, nuvem, dados, licenças, suporte e cenários de volume.
- Transferência e saída — 10 pontos: propriedade intelectual, repositórios, documentação, treinamento, portabilidade e transição.
Cinco critérios eliminatórios antes da pontuação
Uma média alta não deve compensar um risco estrutural. Reprove ou devolva para esclarecimento qualquer proposta que: condicione o preço a premissas não declaradas; não identifique quem poderá acessar dados; não aceite critérios objetivos de validação; dependa de uma pessoa-chave não comprometida; ou impeça a empresa de recuperar dados, configurações, prompts, código e documentação ao final. Para usos de maior impacto, acrescente requisitos jurídicos e regulatórios adequados ao mercado.
Também não aceite “acurácia” como métrica isolada. A proposta deve explicar o que será medido por tarefa: qualidade da resposta, recuperação de evidências, taxa de conclusão, erros críticos, latência, custo por transação, intervenção humana e efeito sobre a métrica de negócio. O NIST AI RMF organiza o trabalho em governar, mapear, medir e gerenciar; uma proposta madura traduz essas funções em atividades, responsáveis e artefatos.
Como normalizar preço sem premiar escopo incompleto
Construa um should-cost simples antes da comparação. Estime horas por papel, infraestrutura, uso de modelos, armazenamento, ferramentas, suporte e operação para três cenários de volume. Depois peça que cada fornecedor preencha a mesma estrutura. Uma proposta 20% mais barata pode ser mais cara se omitir avaliação, observabilidade, dados ou transição. Compare custo total em 12 a 24 meses, não apenas o valor da primeira fase.
Separe itens fixos, variáveis e condicionais. Exija taxas unitárias e gatilhos de reajuste. Para consumo de modelos, simule um mês normal, um pico e um cenário de crescimento. Para serviços gerenciados, registre o que está incluído no SLA e o que vira chamado adicional. Diferenças que não possam ser normalizadas devem aparecer como risco, não desaparecer em uma nota média.
Use demonstrações para testar a equipe, não o teatro
Convide os dois ou três finalistas para uma sessão estruturada de 90 minutos. Envie com antecedência um pequeno cenário, dados fictícios e quatro mudanças inesperadas: uma fonte indisponível, uma permissão revogada, um resultado contraditório e um aumento de volume. Peça que a equipe proposta explique decisões, trade-offs, testes e comunicação com o negócio. Avalie quem participa; vendedores brilhantes não substituem arquitetos, especialistas de dados, produto e mudança que realmente executarão.
Use as mesmas perguntas, tempo e avaliadores para todos. Cada avaliador registra notas individualmente antes da discussão coletiva. Em seguida, a comissão debate apenas diferenças relevantes e documenta a justificativa final. Esse processo reduz influência hierárquica, efeito de apresentação e mudanças de critério posteriores.
Trade-offs que a comissão precisa tornar explícitos
- Especialista versus integrador: profundidade em um caso de uso pode vir com menor capacidade de transformação ampla.
- Velocidade versus controle: componentes prontos aceleram a entrega, mas podem limitar portabilidade e personalização.
- Fornecedor único versus arquitetura modular: um responsável simplifica governança; módulos reduzem dependência, mas aumentam coordenação.
- Preço fixo versus entrega iterativa: preço fixo protege o orçamento quando o escopo é estável; IA exige descoberta e pode se beneficiar de fases com gates.
- Transferência versus operação contínua: internalizar aumenta autonomia; serviço gerenciado pode reduzir tempo para operar, desde que exista uma saída testável.
Um protocolo de decisão em quatro etapas
Primeiro, confirme critérios eliminatórios e conflitos. Segundo, faça a pontuação individual e uma sessão de calibração baseada em evidências. Terceiro, normalize o custo total e conduza checagens de referência apenas sobre entregas realmente comparáveis. Quarto, transforme dúvidas críticas em condições de contrato, marcos de aceitação ou um piloto pago. O vencedor não é a empresa com o maior número abstrato: é a opção com melhor combinação de valor, evidência e risco residual aceitável.
Se a compra ainda está na fase de definição, consulte o guia de RFP da MAKINAI em https://makinai.co/insights/pt/como-criar-rfp-servicos-ia. Para validar finalistas antes de uma contratação maior, use https://makinai.co/insights/pt/como-estruturar-piloto-pago-contratar-empresa-ia. Ao converter a escolha em obrigações, veja https://makinai.co/insights/pt/o-que-incluir-contrato-sow-servicos-ia.
Quando envolver a MAKINAI
A MAKINAI pode ajudar a definir a matriz, revisar propostas e conduzir uma validação técnica e comercial sem substituir a responsabilidade da comissão de compra. O objetivo é tornar premissas, riscos e evidências comparáveis — e chegar a uma contratação que possa ser medida, operada e transferida.