Respuesta directa: elija al proveedor que pueda demostrar cómo preservará el resultado de negocio, la calidad de respuestas o acciones, la confiabilidad, la seguridad y el costo mientras cambian modelos, datos y procesos. Una mesa de ayuda y un SLA de disponibilidad son necesarios, pero no suficientes. Un servicio de IA puede seguir en línea y perder utilidad: recupera peor, usa una fuente desactualizada, llama una herramienta indebida, aumenta su costo por tarea aceptada o requiere más revisión humana de la prevista.
La diferencia está en el objeto del contrato. El soporte tradicional restaura componentes. Una operación gestionada de IA debe preservar una capacidad de negocio dentro de límites aceptados. Para ello necesita línea base, conjuntos de evaluación, telemetría, runbooks, autoridad para intervenir y cambios controlados. NIST incluye operación y monitoreo en el ciclo de vida de IA; su perfil de IA generativa vincula el riesgo con el contexto y la tolerancia de la organización. Compras debe convertir esos principios en evidencia comprobable.
Servicio gestionado, proyecto de implementación o equipo interno
Un proyecto implementa o cambia un sistema contra un punto de aceptación definido. Un equipo interno aporta control, memoria institucional y decisiones rápidas, pero necesita cobertura de producto, datos, ingeniería, seguridad, evaluación y operación. El servicio gestionado encaja cuando la capacidad ya es relevante, cambia con frecuencia y necesita continuidad que la empresa todavía no puede sostener sola. El mejor diseño suele ser híbrido: producto y riesgo permanecen bajo ownership del cliente; el proveedor opera una capa explícita y transfiere capacidad durante el contrato.
- Use un proyecto cuando el trabajo principal sea construir, migrar o integrar hasta un hito claro.
- Use operación gestionada cuando modelos, prompts, conocimiento, herramientas y métricas requieran supervisión y mejora recurrentes.
- Mantenga dentro de la empresa las decisiones de riesgo, datos, autorización de cambios y criterios de aceptación.
- No externalice el accountability: nombre un responsable ejecutivo y otro operativo del lado del cliente.
Managed AI Operations Proof-7
MAKINAI propone siete pruebas para comparar finalistas. Puntúe cada una de cero a cuatro: cero significa ausencia; uno, promesa; dos, proceso documentado; tres, evidencia en un entorno comparable; cuatro, demostración con una muestra controlada de su sistema. El máximo es 28. Una propuesta por debajo de 20 puede servir para un alcance limitado, pero no debería recibir amplia autonomía operativa. Más importantes que el total son los criterios eliminatorios: seguridad débil, ausencia de rollback, ownership confuso o registros inaccesibles no se compensan con una buena presentación.
- 1. Resultados: conecta SLI y SLO con resoluciones correctas, tareas completadas o tiempo verificado.
- 2. Evaluación: mantiene tests, muestreo humano, regresión y aprobación de cambios.
- 3. Observabilidad y costo: rastrea versiones, latencia, tokens, herramientas, errores, calidad y costo por resultado.
- 4. Seguridad y privacidad: gobierna identidad, permisos, retención, prompt injection, fugas y proveedores críticos.
- 5. Incidente y recuperación: detecta impacto, limita autonomía, hace rollback, comunica y registra acciones correctivas.
- 6. Continuidad: cambia modelos o componentes, preserva datos y opera frente a fallas de terceros.
- 7. Transferencia: entrega documentación, runbooks, telemetría, historial de decisiones y capacitación sin lock-in artificial.
Convierta las siete pruebas en una RFP basada en evidencia
Solicite una evidence room pequeña, no cientos de páginas. Para cada prueba, pida un artefacto: mapa de SLO, ejemplo de evaluación de regresión, esquema de telemetría, threat model, informe de incidente anonimizado, plan de continuidad y paquete de transición. El trabajo de OpenTelemetry para IA generativa ayuda a discutir señales como modelo, consumo de tokens y llamadas de herramientas. Google SRE aporta una distinción útil: el indicador mide; el objetivo fija el nivel. El acuerdo necesita ambos y debe explicar qué ocurre al incumplirlos.
Evite usar uptime genérico como único SLA. Un asistente puede responder el 99,9 por ciento del tiempo y aun así fallar en las solicitudes de mayor valor. Defina una cesta: disponibilidad técnica, tasa de finalización aceptada, calidad por segmento, incidentes de permisos, costo por tarea, latencia por percentiles, escalamiento humano y tiempo de recuperación. Los KPI comerciales deben orientar prioridad y mejora, aunque el proveedor no pueda garantizarlos porque también dependen de adopción y proceso. Separe SLO operativos, metas de producto y KPI de negocio.
Cinco criterios eliminatorios
- El cliente no accede a logs, evaluaciones, costos ni historial de cambios.
- No existe rollback probado ni modo seguro para reducir autonomía durante un incidente.
- La responsabilidad entre cliente, proveedor, modelo, nube y fuentes de datos no está clara.
- La salida no cubre código, prompts, datos, vectores, documentación y cuentas de terceros.
- El comprador no puede probar controles relevantes, incluidos riesgos del OWASP GenAI LLM Top 10.
Haga un ensayo de transición antes de un compromiso largo
Use una prueba remunerada de 30 días sobre un sistema real y alcance limitado. En la primera semana, el finalista reconstruye el mapa de servicio y la línea base. En la segunda, instrumenta o valida telemetría y ejecuta evaluaciones conocidas. En la tercera, simule tres eventos: cambio de modelo, fuente de conocimiento indisponible y permiso revocado. En la cuarta, exija análisis, corrección, comunicación ejecutiva y handoff. El objetivo no es fabricar una falla llamativa, sino observar cómo razona el proveedor cuando las señales se contradicen y la solución cruza producto, ingeniería, seguridad y negocio.
Qué deben producir los primeros 90 días
Durante los días 1 a 30, congele cambios no esenciales y confirme inventario, responsables, niveles de riesgo, SLO y accesos. Entre los días 31 y 60, cierre brechas de observabilidad, evaluación, runbooks y respuesta a incidentes. Entre los días 61 y 90, complete una revisión de costo y calidad, un ejercicio de continuidad y el primer ciclo formal de mejora. Un comité mensual debe decidir qué mantener, corregir, sustituir o escalar. La operación gestionada no es una cola infinita de tickets; es un sistema de decisión sobre la salud y evolución de la capacidad.
Use este scorecard junto con las guías de MAKINAI para elegir un socio de integración de IA empresarial, evaluar una empresa de agentes y definir el contrato y SOW de servicios de IA. Esas guías cubren construcción y condiciones comerciales; Proof-7 cubre lo que ocurre cuando el sistema pasa a ser importante. Si está definiendo cómo operar un copiloto, agente o automatización ya en producción, MAKINAI puede ayudar a establecer la línea base, probar el modelo operativo y estructurar una transición medible.