Como escolher um parceiro para operar IA em produção

Resposta direta: escolha o parceiro que consegue provar como manterá o resultado de negócio, a qualidade da resposta ou ação, a confiabilidade, a segurança e o custo do sistema ao longo de mudanças de modelo, dados e processos. Uma central de chamados e um SLA de disponibilidade são necessários, mas insuficientes. Em IA, o serviço pode estar online e ainda assim degradar: recuperar pior, usar uma fonte desatualizada, chamar uma ferramenta indevida, custar mais por tarefa ou exigir revisão humana demais.

A diferença está no objeto do contrato. Suporte tradicional promete restaurar componentes. Uma operação gerenciada de IA precisa preservar uma capacidade de negócio dentro de limites aceitos. Isso exige baseline, conjunto de avaliações, telemetria, runbooks, autoridade para intervir e um processo de mudança. O NIST inclui operar e monitorar no ciclo de vida de IA; o perfil para IA generativa reforça que o risco deve ser administrado conforme contexto e tolerância da organização. Procurement deve transformar essa ideia em evidência verificável.

Quando contratar serviço gerenciado, projeto ou equipe interna

Um projeto de implementação serve para construir ou mudar um sistema com escopo e aceite definidos. Uma equipe interna oferece controle, memória institucional e decisões rápidas, mas demanda cobertura de produto, dados, engenharia, segurança, avaliação e operação. O serviço gerenciado faz sentido quando a capacidade já é relevante, muda com frequência e precisa de cobertura contínua que a organização ainda não consegue manter sozinha. O melhor desenho costuma ser híbrido: ownership de produto e risco permanece no cliente; o parceiro opera uma parte explícita e transfere capacidade ao longo do contrato.

• Use um projeto quando o principal trabalho é construir, migrar ou integrar com um marco de conclusão.
• Use serviço gerenciado quando modelos, prompts, conhecimento, ferramentas e métricas precisarão de vigilância e melhoria recorrentes.
• Mantenha internamente decisões de risco, dados, prioridades, autorização de mudanças e critérios de aceite.
• Não terceirize accountability: defina um owner executivo e um owner operacional do lado do cliente.

Managed AI Operations Proof-7

A MAKINAI propõe sete provas para comparar finalistas. Dê de zero a quatro pontos para cada uma: zero significa ausência; um, promessa; dois, processo descrito; três, evidência em ambiente comparável; quatro, demonstração usando uma amostra controlada do seu sistema. A nota máxima é 28. Uma proposta abaixo de 20 ainda pode ser útil para um escopo limitado, mas não deveria receber autonomia operacional ampla. Mais importante que a soma são os critérios eliminatórios: segurança, rollback, ownership de dados e acesso a registros não podem ser compensados por uma apresentação forte.

• 1. Resultado: liga SLI e SLO ao desfecho aceito, como resolução correta, tarefa concluída ou tempo economizado.
• 2. Avaliação: mantém conjuntos de testes, amostras humanas, regressão e aprovação de mudanças.
• 3. Observabilidade e custo: rastreia versão, latência, tokens, ferramentas, erros, qualidade e custo por resultado.
• 4. Segurança e privacidade: controla identidade, permissões, retenção, prompt injection, vazamento e fornecedores críticos.
• 5. Incidente e recuperação: detecta impacto, limita autonomia, faz rollback, comunica e registra causa e ação corretiva.
• 6. Continuidade: troca modelos ou componentes, preserva dados e opera diante de indisponibilidade de terceiros.
• 7. Transferência: entrega documentação, runbooks, telemetria, histórico de decisões e capacitação sem criar dependência artificial.

Como transformar as sete provas em uma RFP

Peça uma evidence room pequena, não centenas de páginas. Para cada prova, o fornecedor deve apresentar um artefato: mapa de SLOs, exemplo de avaliação de regressão, esquema de telemetria, threat model, relatório de incidente anonimizado, plano de continuidade e pacote de transição. O padrão do OpenTelemetry para IA generativa ajuda a discutir sinais como modelo, consumo de tokens e chamadas de ferramentas. O Google SRE oferece uma distinção útil: indicador mede; objetivo fixa o alvo. O contrato deve dizer ambos e estabelecer o que acontece quando o alvo é violado.

Evite SLAs genéricos de uptime como única métrica. Um assistente pode responder em 99,9% das vezes e falhar nas perguntas mais valiosas. Defina uma cesta: disponibilidade técnica, taxa de conclusão aceita, qualidade por segmento, incidentes de permissão, custo por tarefa, latência em percentis, taxa de escalonamento humano e tempo de recuperação. Métricas de negócio não precisam virar garantia integral do fornecedor, pois dependem de adoção e processo, mas devem orientar priorização e melhoria. Separe claramente SLO operacional, meta de produto e KPI comercial.

Cinco critérios eliminatórios

• Sem acesso do cliente a logs, avaliações, custos e histórico de mudanças.
• Sem rollback testado ou modo seguro para reduzir autonomia durante incidentes.
• Sem matriz clara de responsabilidade entre cliente, parceiro, modelo, nuvem e fontes de dados.
• Sem regras de saída para código, prompts, dados, vetores, documentação e contas de terceiros.
• Sem direito de testar controles de segurança relevantes, inclusive riscos do OWASP GenAI LLM Top 10.

Faça um transition drill antes do compromisso longo

Use um teste remunerado de 30 dias com um sistema real e escopo restrito. Na primeira semana, o finalista reconstrói o mapa de serviço e a baseline. Na segunda, instrumenta ou valida telemetria e executa avaliações conhecidas. Na terceira, simule três eventos: mudança de modelo, fonte indisponível e permissão revogada. Na quarta, peça análise, correção, comunicação executiva e handoff. O objetivo não é provocar uma falha espetacular, mas observar como o parceiro pensa quando sinais se contradizem e quando a solução exige coordenação entre produto, engenharia, segurança e negócio.

Os primeiros 90 dias do contrato

Nos primeiros 30 dias, congele mudanças não essenciais, confirme inventário, owners, níveis de risco, SLOs e acessos. Entre 31 e 60 dias, feche lacunas de observabilidade, avaliação, runbooks e resposta a incidentes. Entre 61 e 90 dias, execute uma revisão de custo e qualidade, um exercício de continuidade e o primeiro ciclo formal de melhoria. O steering mensal deve decidir o que manter, corrigir, substituir ou escalar. A operação não é uma fila infinita de tickets; é um sistema de decisão sobre a saúde e a evolução da capacidade.

Antes de contratar, conecte este scorecard aos guias da MAKINAI sobre integração de IA com sistemas legados, avaliação de empresas de agentes e contrato e SOW de serviços de IA. Eles cobrem a construção e as condições comerciais; o Proof-7 cobre o que acontece depois que o sistema passa a importar. Se você está definindo como operar um copiloto, agente ou automação já em produção, a MAKINAI pode ajudar a desenhar a baseline, testar o modelo operacional e estruturar uma transição mensurável.