Resposta direta: escolha uma empresa de automação com IA pela capacidade de demonstrar seis provas conectadas em um processo real: Resultado, Processo, Acesso, Autonomia, Confiabilidade e Transferência. Não contrate com base em uma demonstração que executa apenas o caminho feliz. O parceiro precisa mostrar o que acontece quando os dados chegam incompletos, a regra muda, um sistema fica indisponível, a ação excede o limite ou uma pessoa precisa assumir.
Automação tradicional executa regras relativamente previsíveis; automação com IA também interpreta conteúdo, escolhe ferramentas e pode decidir próximos passos. Isso amplia o potencial, mas também muda o risco. O NIST recomenda governar, mapear, medir e gerenciar riscos ao longo do ciclo. O OWASP destaca ameaças próprias de agentes, como desvio de objetivo, uso indevido de ferramentas e abuso de identidade ou privilégio. O fornecedor deve traduzir esses princípios em controles verificáveis.
O Workflow Control-6 da MAKINAI
Pontue cada prova de zero a quatro: zero significa ausente; um, promessa; dois, método documentado; três, evidência parcial; quatro, execução reproduzível. Exija pelo menos três pontos em Processo, Acesso e Confiabilidade. Uma automação que economiza tempo, mas opera sem limite de privilégio ou sem recuperação segura, não deve avançar. O score serve para comparar propostas, não para esconder critérios eliminatórios.
1. Prova de Resultado: qual decisão econômica será melhorada?
Comece pela unidade de trabalho, não pela tecnologia. Defina entrada, saída, volume, tempo de ciclo, custo, qualidade, risco, dono e valor de concluir corretamente. Peça que cada fornecedor reconstrua a linha de base com os mesmos dados. “Automatizar financeiro” é amplo demais; “classificar faturas, validar campos e encaminhar exceções antes do lançamento” pode ser testado.
- Evidências exigíveis: mapa de volume e variação; tempo manual atual; taxa de retrabalho; custo de exceção; SLA; risco de erro; meta de adoção; métrica de qualidade; regra de parada. Alerta: ROI calculado supondo que todas as horas economizadas viram redução de custo.
2. Prova de Processo: o fornecedor compreende o trabalho real?
Exija descoberta com operadores, donos do processo, segurança, dados e sistemas. O mapa deve cobrir caminhos normais, variantes, dependências, filas, aprovações e exceções. Peça uma versão “antes” e uma versão “depois”, com atividades eliminadas, automatizadas, assistidas e mantidas sob decisão humana. IA não corrige um processo sem regra de negócio ou dono claro.
O fornecedor deve separar etapas determinísticas, adequadas a regras e APIs, de etapas probabilísticas, como interpretação e recomendação. Também deve indicar onde não usar IA. Essa arquitetura híbrida costuma ser mais controlável do que entregar tudo a um agente. Pergunte como regras, prompts, modelos e dados de referência serão versionados e testados juntos.
3. Prova de Acesso: o agente recebe apenas o necessário?
Automação operacional toca e-mail, documentos, ERP, CRM, financeiro, RH e ferramentas internas. Exija identidade própria por agente ou serviço, privilégio mínimo, credenciais temporárias, segregação de ambientes, aprovação para ações sensíveis, gestão de segredos e auditoria. O OWASP trata abuso de identidade e privilégio como risco central para aplicações agênticas.
Faça o fornecedor demonstrar o que o agente não consegue fazer. Teste instrução maliciosa em documento, solicitação fora de escopo e tentativa de acessar outro cliente ou departamento. O sistema deve bloquear, registrar e encaminhar. Controles de acesso não podem depender apenas de um prompt dizendo “não faça”.
4. Prova de Autonomia: quem decide, executa e responde?
Defina níveis graduais: observar; recomendar; preparar ação; executar com aprovação; executar dentro de limites; e operar autonomamente. Para cada etapa, registre confiança mínima, impacto máximo, valor financeiro, dados permitidos e motivo de escalada. A autonomia deve ser conquistada por evidência, não ativada integralmente no primeiro dia.
Peça uma matriz de responsabilidade com dono do processo, aprovador, operador, segurança e fornecedor. Uma pessoa precisa conseguir pausar o fluxo, revisar contexto e corrigir o estado sem criar duplicidade. A experiência humana de exceção é parte do produto; se ela for lenta ou confusa, o time criará atalhos e perderá confiança.
5. Prova de Confiabilidade: o sistema falha de maneira segura?
O parceiro deve avaliar precisão da interpretação, escolha de ferramenta, parâmetros, ação final e resultado de negócio. Médias não bastam: acompanhe falsos positivos, falsos negativos, casos desconhecidos, deriva, custo e latência. NIST SP 800-218A reforça práticas seguras no desenvolvimento e aquisição de sistemas de IA; peça rastreabilidade de versão, testes, mudanças e componentes.
Execute o teste MAKINAI de replay de exceções. Monte vinte casos reais difíceis: documento incompleto, dados conflitantes, API fora do ar, permissão vencida, valor acima do limite, instrução injetada e ação repetida. Rode a mesma bateria antes e depois de cada mudança. O fornecedor deve preservar estado, evitar duplicidade, compensar quando necessário e produzir evidência para auditoria.
- Entregáveis mínimos: conjunto de avaliação; logs ponta a ponta; idempotência; filas de exceção; alertas; runbooks; rollback; metas de recuperação; revisão pós-incidente; aprovação de mudança; monitoramento de custo e qualidade. “Acurácia de 95%” sem distribuição de erros e impacto não é evidência suficiente.
6. Prova de Transferência: a operação continua sem dependência cega?
Defina propriedade de fluxos, conectores, código, prompts, avaliações, dados derivados e documentação. Exija acesso a logs, exportação de configurações, inventário de modelos e subprocessadores, política de retenção, plano de saída e treinamento. O parceiro deve explicar como trocar modelo ou integração sem reconstruir todo o processo.
Piloto recomendado de 8 a 12 semanas
Escolha um processo com volume relevante, regras conhecidas, impacto limitado e dados disponíveis. Nas primeiras semanas, registre baseline e exceções. Depois implemente em modo observação e recomendação. Só então permita ações limitadas, com aprovação e reversão. Compare qualidade, tempo, custo e risco contra a linha de base. Escale apenas quando a equipe operar incidentes e o score superar os gates.
Sinais de alerta e próximo passo
- Demo com dados sintéticos; promessa de automação total; nenhum operador na descoberta; acesso administrativo amplo; segurança apenas em prompt; ausência de conjunto de avaliação; métrica só de horas; nenhuma fila de exceção; logs sem contexto; preço sem custo de modelo e suporte; propriedade indefinida; fornecedor incapaz de mostrar uma falha.
Estruture a concorrência com https://makinai.co/insights/pt/como-criar-rfp-servicos-ia, compare capacidade de agentes em https://makinai.co/insights/pt/como-avaliar-empresa-agentes-ia-checklist-producao e avalie modelo de entrega em https://makinai.co/insights/pt/equipe-interna-ou-consultoria-ia-como-decidir. A MAKINAI projeta agentes, automações e operação em https://makinai.co/services/pt/desenvolvimento-agentes-ia-automacao.