Elija una empresa de evaluación de IA por su capacidad para demostrar tres cosas: que las pruebas representan decisiones y usuarios reales; que las fallas pueden reproducirse y explicarse; y que los hallazgos conducen a una decisión clara de lanzamiento, corrección o suspensión. Un catálogo de benchmarks, una herramienta de red teaming o un dashboard atractivo no bastan.
El alcance debe cubrir el sistema completo—modelo, recuperación, herramientas, permisos, interfaces, revisión humana y operación—y no solo el modelo base. NIST publicó TEVV-Athlon el 4 de agosto de 2026 como marco adaptable para aprendizaje automático, LLM, sistemas multimodales y agentes. Esa amplitud importa porque muchas fallas graves aparecen entre componentes.
AI Evaluation Proof-8: matriz de 32 puntos
Solicite evidencia en los ocho bloques siguientes y califique cada uno de cero a cuatro: cero es ausencia; uno, promesa genérica; dos, método descrito; tres, artefacto verificable; cuatro, evidencia reproducida en su contexto. Exija al menos 24 de 32 puntos, ningún cero y aprobación de todos los filtros. Cierre cualquier ponderación antes de recibir propuestas.
- Decisión y límite — decisiones informadas, usuarios, usos prohibidos e impacto de falla.
- Datos representativos — cobertura, procedencia, segmentos relevantes, casos raros, datos sintéticos y conjunto ciego.
- Calidad y utilidad — métricas por tarea, línea base, incertidumbre, errores críticos y juicio humano.
- Robustez y seguridad — abuso, prompt injection, filtraciones, cambios de distribución, dependencias y herramientas.
- Factores humanos — sesgo de automatización, comprensión, accesibilidad, escalamiento y carga operativa.
- Reproducibilidad e independencia — versiones, semillas, logs, juicios, conflictos y repetición por terceros.
- Operación continua — telemetría, límites, alertas, regresión, incidentes y disparadores de reevaluación.
- Transferencia y salida — datos de prueba, código, informes, limitaciones, capacitación y portabilidad.
Cinco filtros obligatorios
Detenga la selección si el proveedor no conecta métricas con una decisión de negocio; no controla procedencia y representatividad de los datos; no puede reproducir resultados con versiones y registros; prueba solo el modelo e ignora herramientas, permisos y personas; o no define monitoreo y disparadores de reevaluación. Un buen promedio no compensa estas brechas.
Haga explícitos los conflictos de interés. El constructor conoce la arquitectura y puede corregir con rapidez, pero puede favorecer evidencia positiva. Un evaluador independiente mejora la capacidad de cuestionar, aunque puede perder contexto. Para decisiones de alto impacto, combine documentación del constructor con ejecución independiente del conjunto de aceptación.
Qué debe entregar una propuesta sólida
Exija un plan versionado, mapa de riesgos, inventario del sistema, definición de conjuntos, criterios de aceptación, protocolo de revisión humana, registros ejecutables, informe de fallas y backlog priorizado. Los hallazgos deben separar defecto confirmado, limitación conocida, incertidumbre pendiente y riesgo aceptado. Un gráfico agregado sin ejemplos trazables no es evidencia suficiente.
La taxonomía de aprendizaje automático adversarial de NIST ayuda a estructurar ataques y mitigaciones. Inspect, del UK AI Security Institute, demuestra evaluaciones repetibles de razonamiento, tareas agénticas, conocimiento, comportamiento y multimodalidad. El proveedor no tiene que usar estas herramientas, pero sí mostrar capacidades equivalentes y explicar dónde la automatización es insuficiente.
Benchmarks públicos, datos privados y evaluación humana
Los benchmarks públicos sirven para una comparación amplia, pero pueden estar contaminados por datos de entrenamiento, premiar optimización estrecha y omitir flujos empresariales. Los datos privados elevan la relevancia, pero exigen gobierno, muestreo y control de acceso. Los conjuntos ciegos y segregados, como en la iniciativa AITE de NIST, reducen el ajuste oportunista.
La automatización aumenta cobertura y repetición; los evaluadores humanos capturan utilidad, ambigüedad, impacto y calidad del escalamiento. Defina rúbricas antes de probar, capacite evaluadores, mida concordancia y conserve ejemplos de desacuerdo. Para resultados críticos, combine métricas automáticas, juicio humano estructurado y revisión de especialistas del dominio.
Ejecute un bake-off pagado
Invite a dos finalistas al mismo ejercicio pagado de dos o tres semanas con un paquete controlado: arquitectura simplificada, datos sintéticos, un conjunto ciego y cuatro fallas inyectadas—fuente no disponible, permiso revocado, contenido malicioso y cambio de distribución. No solicite auditorías gratuitas; compare método, trazabilidad y comunicación.
Pida que cada equipo repita una muestra 48 horas después y explique la variación. Califique tiempo de reproducción, calidad del diagnóstico, severidad, impacto comercial, corrección recomendada y claridad sobre incertidumbre. El mejor equipo no es el que registra más fallas, sino el que separa riesgo material de ruido y respalda una decisión defendible.
Trade-offs que deben quedar explícitos
- Evaluación independiente versus integrada al constructor: mayor capacidad de cuestionar versus corrección más rápida.
- Cobertura versus profundidad: más escenarios versus rigor en rutas críticas.
- Prueba previa versus continua: gate de lanzamiento versus detección de cambios en producción.
- Ambiente real versus sandbox: fidelidad versus privacidad, seguridad y control.
- Informe ejecutivo versus artefactos técnicos: claridad para decidir versus reproducibilidad y transferencia.
Contrato, gobierno y continuidad
El SOW debe identificar sistemas, versiones, ambientes, datos permitidos, responsables, severidades, plazos de corrección, repetición de pruebas y propiedad de artefactos. Defina quién puede detener la prueba y quién acepta el riesgo residual. El marco de accountability de GAO recuerda que desempeño y monitoreo continúan después del lanzamiento: cambios de modelo, datos, prompts, políticas o integraciones deben activar una reevaluación proporcional.
Para limitar el compromiso inicial, use la guía de piloto pagado en https://makinai.co/insights/es/como-estructurar-piloto-pago-contratar-empresa-ia. Para diseñar responsabilidades, consulte https://makinai.co/insights/es/como-elegir-consultora-gobernanza-ia y, para la operación continua, https://makinai.co/insights/es/como-elegir-proveedor-servicios-gestionados-ia.
Cuándo involucrar a MAKINAI
MAKINAI puede ayudar a definir la matriz de aceptación, preparar el bake-off y conectar evidencia técnica con la decisión ejecutiva. El objetivo no es una certificación genérica, sino un proceso que la organización pueda comprender, repetir y utilizar para gobernar el sistema después de contratar.