Antes de contratar uma empresa para operar IA em produção, defina o serviço pelo resultado que o usuário recebe — não apenas pelo uptime da infraestrutura. O acordo precisa medir disponibilidade e latência, mas também qualidade da resposta ou ação, segurança, permissões, custo, filas humanas e capacidade de recuperação. Para cada medida, registre fonte, janela, exclusões, responsável e consequência.
A regra prática é separar três camadas: SLI é a medida observável; SLO é a faixa ou meta operacional; SLA é a obrigação contratual e sua consequência. Um painel sem consequência não é SLA. Um crédito sem diagnóstico, correção e direito de saída também não protege o negócio. O comprador deve manter visibilidade dos dados brutos e autoridade para degradar, pausar ou desligar a automação.
AI Service Reliability Compact-8: 32 pontos antes de assinar
Pontue cada dimensão de zero a quatro: zero, ausente; um, promessa; dois, processo parcial; três, obrigação documentada com owner e evidência; quatro, mecanismo testado em cenário realista. Para um serviço relevante, use 24 de 32 como limiar de planejamento, nenhum zero e nota mínima três em qualidade, incidentes, recuperação e evidência. Ajuste o corte à criticidade; não é benchmark universal.
- Resultado do serviço — usuários, jornadas críticas, ações permitidas, volume, horário e operação degradada.
- SLIs e SLOs técnicos — disponibilidade, sucesso, latência por percentil, throughput, filas e dependências.
- Qualidade e segurança da IA — avaliações, groundedness, erro prejudicial, políticas, autonomia e revisão humana.
- Observabilidade e detecção — logs, traces, versão, custo, drift, abuso, cobertura e alertas acionáveis.
- Severidade e comunicação — impacto, dados, clientes, autonomia, prazo, canal, audiência e atualização.
- Resposta e recuperação — on-call, contenção, fallback, rollback, RTO/RPO, restauração e validação.
- Governança da mudança — release, regressão, aprovação, exceção, fornecedor de modelo e configuração.
- Evidência e remédios — dados brutos, relatório, causa, ação corretiva, crédito, holdback, auditoria e saída.
Defina a fronteira do serviço antes da porcentagem
Mapeie o caminho completo: entrada do usuário, dados e permissões, recuperação de contexto, modelo, ferramentas, integrações, revisão humana, resposta ou ação e registro final. Diga quais terceiros estão dentro do cálculo e quais eventos são exclusões. Se a API responde mas a ação é incorreta, insegura ou enviada ao cliente errado, o serviço não está saudável.
Use poucos indicadores que representem experiência e risco
- Disponibilidade útil: fração das tentativas elegíveis que concluem a tarefa correta.
- Latência de ponta a ponta em percentis, incluindo ferramenta, revisão humana e fila quando aplicável.
- Qualidade: taxa de aprovação no conjunto de avaliação e em amostras de produção estratificadas por risco.
- Segurança: ações bloqueadas corretamente, violações de política, acesso indevido e dados expostos.
- Economia: custo por tarefa aceita, consumo anômalo e limite antes de degradação controlada.
- Operação: taxa de fallback, escalonamento humano, retrabalho, reabertura e tempo até recuperação validada.
Google SRE recomenda indicadores objetivos e representativos, em vez de toda métrica disponível, e alerta que médias escondem caudas. Para IA, agregados também podem ocultar falhas em idioma, grupo, canal ou tarefa de alto impacto. Defina cortes por segmento e preserve o denominador. Mudança de tráfego não pode melhorar artificialmente o score.
Crie severidades específicas para IA
- Sev 1 — dano material em curso, ação autônoma incorreta em escala, exposição de dados, fraude, risco à segurança ou perda de controle; conter imediatamente e envolver crise.
- Sev 2 — degradação significativa de resultado, grupo ou fluxo crítico, sem dano material confirmado; reduzir autonomia, ativar fallback e investigar.
- Sev 3 — falha localizada, recuperável, com workaround e baixo impacto; corrigir dentro da rotina acordada.
- Sev 4 — defeito cosmético, dúvida ou melhoria sem impacto operacional; tratar no backlog.
Classifique por impacto, abrangência, dados, reversibilidade e autonomia — não pelo componente que falhou. Uma resposta tecnicamente rápida pode ser Sev 1 se toma decisões proibidas. Registre quem pode declarar ou rebaixar severidade, quem deve ser consultado e quando cliente, liderança, jurídico, segurança, titulares ou autoridades são informados.
Exija uma linha do tempo mensurável
Separe tempo para detectar, reconhecer, conter, atualizar, recuperar, validar e concluir causa raiz. O relógio deve começar no primeiro sinal disponível ao fornecedor ou ao cliente, o que ocorrer antes. Defina cobertura por fuso, idioma e canal; contato nominal; cadência de atualização; conteúdo mínimo; e alternativa quando o canal principal está indisponível.
Ligue remédios à recuperação, não só a créditos
Créditos podem disciplinar desempenho, mas raramente compensam impacto. Use uma escada: relatório e plano corretivo; capacidade adicional; freeze de mudança; holdback; crédito; direito de auditoria focada; step-in ou transição; e encerramento por falhas repetidas ou críticas. Defina quando eventos relacionados formam um único incidente e como recorrência é calculada.
Não aceite exclusões amplas para nuvem, modelo ou subcontratado quando o fornecedor escolhe, integra ou administra essa dependência. Distribua responsabilidade segundo controle real. Manutenção planejada precisa de aviso, janela, limite e operação alternativa; não pode virar exclusão ilimitada.
Teste o fornecedor antes da contratação
Entregue aos finalistas o mesmo cenário: uma atualização aumenta respostas convincentes porém incorretas, um agente executa duas ações indevidas e o provedor do modelo começa a falhar de forma intermitente. Em 75 minutos, peça detecção, severidade, contenção, comunicação, fallback, decisão de retorno, evidência e plano pós-incidente. Observe quem assume comando e se a equipe protege usuários antes de discutir crédito.
Peça oito artefatos de operação
- Catálogo de serviço e mapa de dependências.
- Cartões SLI–SLO–SLA com fórmula, fonte, janela, owner e consequência.
- Matriz de severidade e árvore de escalonamento.
- Runbooks de contenção, fallback, rollback e restauração.
- Inventário de modelos, prompts, dados, ferramentas e versões.
- Conjunto de avaliação e limiares de regressão.
- Modelo de relatório de incidente e causa raiz.
- Registro de mudanças, exercícios, ações corretivas e riscos aceitos.
Contexto brasileiro e decisões conectadas
No Brasil, alinhe SLA ao papel contratual de controlador e operador, à LGPD, à Resolução CD/ANPD nº 15/2024 e às regras setoriais. A página da ANPD informa que incidentes com risco ou dano relevante devem ser comunicados pelo controlador à ANPD e aos titulares em três dias úteis, salvo prazo específico. O contrato precisa dar ao controlador informação e cooperação cedo o suficiente; SLA comercial não substitui obrigação legal.
Use https://makinai.co/insights/pt/como-escolher-parceiro-servicos-gerenciados-ia para selecionar a operação, https://makinai.co/insights/pt/como-escolher-empresa-avaliacao-testes-ia para o sistema de avaliação, https://makinai.co/insights/pt/due-diligence-seguranca-contratar-empresa-ia para diligência e https://makinai.co/insights/pt/o-que-incluir-contrato-sow-servicos-ia para o acordo principal.
Quando envolver a MAKINAI
A MAKINAI pode ajudar a mapear a fronteira do serviço, definir indicadores, severidade, runbooks, teste de incidente e remédios antes da contratação ou do lançamento. Conheça https://makinai.co/services/pt/desenvolvimento-agentes-ia-automacao. O objetivo não é prometer zero falhas; é detectar cedo, limitar dano, recuperar com evidência e aprender sem perder controle.