Escolha uma empresa de avaliação de IA pela capacidade de provar três coisas: que os testes representam decisões e usuários reais; que falhas podem ser reproduzidas e explicadas; e que os resultados levam a um gate claro de lançamento, correção ou interrupção. Não contrate com base apenas em um catálogo de benchmarks, ferramentas de red teaming ou uma demonstração de dashboard.
O escopo deve cobrir o sistema completo — modelo, recuperação de dados, ferramentas, permissões, interfaces, revisão humana e operação — e não somente o modelo isolado. O TEVV-Athlon do NIST, publicado em 4 de agosto de 2026, foi desenhado para avaliações adaptáveis de aprendizado de máquina, LLMs, sistemas multimodais e agentes. Essa amplitude é importante porque o risco costuma surgir nas conexões entre componentes.
AI Evaluation Proof-8: a matriz de 32 pontos da MAKINAI
Peça a cada fornecedor evidências para os oito blocos abaixo e atribua de zero a quatro pontos: zero é ausente; um é promessa genérica; dois é método descrito; três é artefato verificável; quatro é prova reproduzida no seu contexto. Uma empresa precisa de pelo menos 24 pontos, nenhum zero e aprovação em todos os filtros eliminatórios. Ajuste pesos apenas antes de receber propostas.
- Decisão e limite — quais decisões o teste informa, usuários, usos proibidos e impacto de falha.
- Dados representativos — cobertura, proveniência, recortes relevantes, casos raros, dados sintéticos e conjunto cego.
- Qualidade e utilidade — métricas por tarefa, baseline, incerteza, erros críticos e avaliação humana.
- Robustez e segurança — abuso, prompt injection, vazamento, mudanças de distribuição, dependências e ferramentas.
- Fatores humanos — automação excessiva, compreensão, acessibilidade, escalonamento e carga operacional.
- Reprodutibilidade e independência — versões, sementes, logs, julgamentos, conflitos e repetição por terceiro.
- Operação contínua — telemetria, limites, alertas, regressão, incidentes e gatilhos de reavaliação.
- Transferência e saída — dados de teste, código, relatórios, limitações, treinamento e portabilidade.
Cinco filtros eliminatórios
Interrompa a seleção se o fornecedor não ligar métricas a uma decisão de negócio; não controlar proveniência e representatividade dos dados; não conseguir reproduzir resultados com versões e registros; testar somente o modelo, ignorando ferramentas, permissões e pessoas; ou não definir monitoramento e gatilhos de reavaliação. Uma média alta não compensa uma dessas lacunas.
Também trate conflitos de interesse de forma explícita. O construtor conhece a arquitetura e corrige problemas mais rapidamente, mas pode ter incentivo para aceitar evidências favoráveis. Um avaliador independente melhora a contestabilidade, porém pode perder contexto. Para decisões de alto impacto, combine documentação do construtor com execução independente do conjunto de aceitação.
O que uma proposta tecnicamente sólida deve entregar
Exija um plano de avaliação versionado, mapa de riscos, inventário do sistema, definição dos conjuntos de teste, critérios de aceitação, protocolo de revisão humana, registros executáveis, relatório de falhas e backlog priorizado. O relatório deve separar defeito confirmado, limitação conhecida, incerteza e risco aceito. Um gráfico agregado sem exemplos rastreáveis não é evidência suficiente.
A taxonomia de aprendizado de máquina adversarial do NIST ajuda a estruturar ataques e mitigação ao longo do ciclo de vida. O Inspect, do UK AI Security Institute, mostra a utilidade de avaliações repetíveis para raciocínio, tarefas agênticas, conhecimento, comportamento e multimodalidade. O fornecedor não precisa usar essas ferramentas específicas, mas deve demonstrar capacidades equivalentes e explicar onde métodos automatizados são insuficientes.
Benchmarks públicos, dados privados e avaliação humana
Benchmarks públicos são úteis para triagem e comparação ampla, mas podem estar contaminados pelo treinamento, premiar otimização estreita e não representar seus fluxos. Dados privados aproximam o teste da operação, porém exigem governança, amostragem e controle de acesso. Conjuntos cegos e segregados, como os usados na iniciativa AITE do NIST, reduzem o risco de ajuste oportunista.
Automação aumenta cobertura e repetição; avaliadores humanos capturam utilidade, ambiguidade, impacto e qualidade de escalonamento. Defina rubricas antes do teste, use avaliadores treinados, meça concordância e preserve exemplos de discordância. Para resultados críticos, combine métricas automáticas, julgamento humano e revisão de especialistas do domínio.
Como conduzir um bake-off pago com finalistas
Convide dois finalistas para um trabalho de duas a três semanas com o mesmo pacote controlado: arquitetura simplificada, dados sintéticos, um conjunto cego e quatro falhas injetadas — fonte indisponível, permissão revogada, conteúdo malicioso e mudança de distribuição. Não peça trabalho gratuito. O objetivo é comparar método, rastreabilidade e comunicação, não receber uma auditoria completa sem contexto.
Peça que cada equipe execute novamente uma amostra 48 horas depois e explique qualquer variação. Pontue tempo até reproduzir a falha, qualidade do diagnóstico, severidade, impacto no negócio, ação corretiva e clareza sobre incerteza. A melhor equipe não é a que encontra o maior número bruto de falhas, mas a que distingue risco material de ruído e produz uma decisão defensável.
Trade-offs que precisam constar da decisão
- Avaliação independente versus integrada ao construtor: contestabilidade maior contra velocidade de correção.
- Cobertura ampla versus profundidade: mais cenários contra testes rigorosos nos fluxos críticos.
- Teste pré-lançamento versus contínuo: gate inicial contra detecção de mudanças em produção.
- Ambiente real versus sandbox: fidelidade maior contra controle, privacidade e segurança.
- Relatório executivo versus artefatos técnicos: clareza para decisão contra capacidade de reprodução e transferência.
Contratação, governança e continuidade
O SOW deve nomear sistemas, versões, ambientes, dados permitidos, responsáveis, severidades, prazo de correção, reteste e propriedade dos artefatos. Defina quem pode interromper o teste e quem aceita risco residual. O framework de accountability do GAO reforça que desempenho e monitoramento não terminam no lançamento: mudanças de modelo, dados, prompts, políticas ou integrações devem disparar nova avaliação proporcional.
Para limitar o compromisso inicial, use o guia de piloto pago em https://makinai.co/insights/pt/como-estruturar-piloto-pago-contratar-empresa-ia. Para estruturar responsabilidades, consulte https://makinai.co/insights/pt/como-escolher-consultoria-governanca-ia e, para a fase operacional, https://makinai.co/insights/pt/como-escolher-parceiro-servicos-gerenciados-ia.
Quando envolver a MAKINAI
A MAKINAI pode ajudar a definir a matriz de aceitação, preparar o bake-off e conectar evidências técnicas à decisão executiva. O objetivo não é produzir uma certificação genérica, mas criar um processo de avaliação que sua equipe consiga entender, repetir e usar para governar o sistema depois da contratação.