Resposta direta: escolha uma empresa de agentes de IA pela evidência de que ela consegue controlar o que o agente pode fazer, testar resultados e trajetórias, proteger dados, observar a operação, limitar custos e transferir conhecimento. Uma demonstração fluida prova apenas que o happy path funciona. Antes de contratar, exija um caso de uso delimitado, critérios de aceitação, arquitetura de permissões, conjunto de avaliações, plano de incidentes e regras claras de propriedade.
Agentes não são apenas chatbots com uma interface melhor. Eles consultam contexto, escolhem ferramentas, executam etapas e podem alterar sistemas reais. Por isso, o risco de um fornecedor não está somente em respostas imprecisas: está também em uma ação indevida, uma credencial excessiva, uma sequência que entra em loop ou uma operação cujo custo cresce sem controle. O parceiro certo deve tratar cada uma dessas possibilidades como requisito de engenharia e de negócio.
A Matriz MAKINAI de Prontidão de Agentes
Use seis gates. Um fornecedor precisa apresentar evidência mínima em todos eles; uma nota alta em prototipagem não compensa uma falha crítica em segurança ou operação. A matriz serve para uma triagem inicial, uma prova de conceito paga e a aceitação antes da produção. Ela também torna propostas comparáveis sem impor uma tecnologia específica.
Gate 1 — Resultado, autonomia e limites de ação
Comece pelo resultado operacional, não pelo modelo. Peça ao fornecedor para descrever o evento que inicia o trabalho, as decisões permitidas, as ferramentas disponíveis, os dados consultados, a condição de término e os momentos de aprovação humana. Defina ações reversíveis, valores máximos, categorias proibidas e o comportamento quando faltam informações. Uma proposta madura diferencia recomendação, preparação e execução: um agente pode sugerir um reembolso, preparar a transação ou efetivá-la, e cada nível exige controles diferentes.
- Evidência a solicitar: mapa de jornada e ferramentas; matriz de permissões por função; política de confirmação humana; critérios de sucesso e de interrupção; exemplos de falha segura.
Gate 2 — Dados, contexto e arquitetura
O parceiro deve explicar de onde vem o contexto, como ele é atualizado e como a resposta é vinculada à fonte correta. Pergunte quais dados entram em prompts, memória, logs e sistemas externos; como dados pessoais ou confidenciais são minimizados; e como credenciais são segregadas. Prefira uma arquitetura em que cada ferramenta tenha contrato explícito, validação de entrada e saída, escopo mínimo e timeout. O desenho deve permitir trocar modelos e componentes sem reescrever toda a operação.
Peça ainda uma visão de dependências: modelo, orquestração, recuperação de conhecimento, APIs, filas, banco, observabilidade e interfaces humanas. Isso revela lock-in, pontos únicos de falha e custos que não aparecem na demonstração.
Gate 3 — Avaliação de resultados e trajetórias
Avaliar somente a resposta final é insuficiente. Um agente pode chegar à resposta certa usando a ferramenta errada, ignorando uma aprovação ou gastando dez vezes mais chamadas do que o necessário. O fornecedor deve manter um conjunto de casos representativos, resultados esperados, trajetórias aceitáveis, testes de regressão e amostras adversariais. As métricas precisam combinar sucesso da tarefa, precisão factual, uso correto de ferramentas, segurança, latência, custo e taxa de encaminhamento humano.
Solicite uma linha de base antes do piloto e um relatório reproduzível depois de cada mudança relevante. O NIST estrutura o gerenciamento de risco em Governar, Mapear, Medir e Gerenciar; essa lógica ajuda a conectar testes técnicos a decisões de responsabilidade e operação, em vez de transformar avaliação em uma nota isolada.
Gate 4 — Segurança, identidade e resposta a incidentes
Agentes ampliam a superfície de ataque porque interpretam conteúdo e atuam com ferramentas. A OWASP mantém orientação específica para aplicações agênticas, enquanto o MITRE ATLAS organiza táticas e técnicas adversárias contra sistemas de IA. Uma empresa qualificada deve mostrar modelagem de ameaças, proteção contra instruções maliciosas vindas de usuários ou documentos, separação entre dados e comandos, gestão de segredos, autenticação por usuário, autorização por ação, registro auditável e um procedimento de desligamento.
- Perguntas eliminatórias: o agente pode agir com uma credencial compartilhada? Há aprovação para ações de alto impacto? Logs permitem reconstruir a sequência? Existe teste de prompt injection indireta? Quem contém e comunica um incidente?
Gate 5 — Operação, observabilidade e mudança
Produção começa quando o piloto termina. Exija painéis para disponibilidade, latência, custo, erros de ferramenta, loops, intervenções humanas e qualidade por tipo de tarefa. Pergunte como versões de prompt, ferramentas, políticas e modelos são registradas e revertidas. A empresa deve propor rollout gradual, limites de uso, fila de revisão e fallback para processo humano ou automação determinística. Sem isso, o cliente herda uma caixa-preta difícil de sustentar.
O plano de suporte precisa nomear responsáveis, severidades, horários, prazos de resposta e critérios de escalonamento. Também deve prever mudanças em APIs, modelos e dados. Um acordo de nível de serviço só é útil quando mede o fluxo completo, não apenas a disponibilidade do modelo.
Gate 6 — Economia, propriedade e capacidade interna
Compare o custo total por tarefa concluída, não apenas preço por token ou diária de desenvolvimento. Inclua inferência, busca, armazenamento, observabilidade, revisão humana, integrações, suporte e retrabalho. Defina um orçamento por fluxo e alertas de anomalia. A proposta deve deixar claros os direitos sobre código, prompts, avaliações, conectores, dados derivados e documentação, além do processo de exportação e transição.
Peça um plano de capacitação com runbooks, treinamento técnico e operacional, critérios de aceite e período de transferência assistida. O objetivo não é eliminar o parceiro, mas evitar dependência desnecessária e permitir que a empresa governe a solução.
Como pontuar propostas sem premiar apenas a melhor demo
Use 100 pontos: 20 para resultado e limites, 15 para dados e arquitetura, 20 para avaliação, 20 para segurança, 15 para operação e 10 para economia e propriedade. Estabeleça também gates eliminatórios: nenhuma ação sensível sem identidade e autorização; nenhum lançamento sem testes de regressão; nenhum fluxo crítico sem logs, desligamento e fallback; nenhuma contratação sem regras de propriedade. Depois, rode um piloto curto com o mesmo conjunto de casos para os finalistas.
Sinais de alerta na seleção
- A proposta começa pela escolha do modelo, mas não define o processo; a demo usa dados preparados e não mostra falhas; “precisão” aparece sem dataset ou critério; segurança é adiada para depois do piloto; custo é estimado sem volume e taxa de exceção; o fornecedor evita entregar logs, avaliações ou documentação; toda mudança depende de uma única pessoa ou plataforma.
Próximo passo
Antes de pedir preços, transforme o caso de uso em um pacote de avaliação com ações permitidas, dados, riscos, casos de teste e métricas. O guia de RFP da MAKINAI ajuda a estruturar a concorrência: https://makinai.co/insights/pt/como-criar-rfp-servicos-ia. Para comparar capacidade geral de implementação, veja https://makinai.co/insights/pt/como-escolher-empresa-implementar-ia-brasil-scorecard-30-pontos. Se você precisa desenhar e construir o primeiro agente com controles de produção desde o início, conheça o serviço de agentes e automação da MAKINAI: https://makinai.co/services/pt/desenvolvimento-agentes-ia-automacao.