No valide una consultora de IA por el logo del cliente, la última diapositiva o un porcentaje aislado. Reconstruya cada caso como una cadena: problema y baseline; alcance entregado; equipo responsable; datos, modelos e integraciones; método de medición; resultado y contramétricas; fallas, recuperación y estado actual. Después confirme los puntos críticos con referencias elegidas por relevancia, no solo con el contacto más satisfecho.
El mejor caso no es necesariamente el más famoso. Es el más parecido a su decisión en riesgo, datos, integración, usuarios, escala y etapa operativa. FAR 15.305 considera desempeño anterior, pero exige relevancia, actualidad, fuente, contexto y tendencias. Aplique el mismo principio: compare evidencia contextual, no logotipos.
AI Delivery Evidence Chain-7: matriz de 28 puntos
Califique cada evidencia de cero a cuatro: cero es ausente; uno, afirmación promocional; dos, evidencia parcial; tres, evidencia verificable y contextual; cuatro, confirmación mediante artefactos y referencia independiente. Exija al menos 21 de 28, ningún cero y aprobación de cinco filtros.
- Relevancia — sector, decisión, usuario, riesgo, datos, integraciones, volumen, etapa y restricciones comparables.
- Baseline — estado anterior, período, fuente, calidad mínima e hipótesis de cambio.
- Alcance y responsabilidad — qué decidió, construyó, integró y operó la consultora frente al cliente y terceros.
- Equipo entregado — roles, seniority, dedicación, subcontratación y coincidencia con el equipo propuesto.
- Camino técnico y operativo — modelos, datos, evaluación, seguridad, adopción, observabilidad, incidentes y transferencia.
- Resultado verificable — fórmula, período, denominador, contramétricas, costo total, atribución y estado actual.
- Referencia independiente — sponsor, operador y responsable técnico que confirman hechos, dificultad, conducta y continuidad.
Cinco filtros obligatorios
- El proveedor no separa su contribución del trabajo del cliente, la plataforma u otro socio.
- El resultado no tiene baseline, período, denominador, fuente o atribución explicable.
- El equipo del caso no corresponde al propuesto y la sustitución no está declarada.
- La referencia confirma satisfacción general, pero no valida alcance, operación, fallas o resultados.
- El proveedor impide verificación independiente y solo ofrece casos anónimos sin artefactos alternativos.
Solicite una ficha de evidencia por caso
Limite cada ficha a dos páginas: contexto, decisión, baseline, alcance, equipo, arquitectura, dependencias, evaluación, cronograma, costo operativo, resultado, contramétricas, fallas, estado actual, artefactos y personas que pueden confirmar. Quite material confidencial sin perder definiciones ni relaciones causales. Una métrica sin denominador o atribución queda no verificada.
CPARS evalúa calidad con confiabilidad, fallas, comentarios de usuarios, aceptación y retrabajo. Esa variedad importa en IA: no acepte solo precisión, productividad o ingresos. Solicite calidad, adopción, costo por resultado, incidentes, revisión humana y carga operativa.
Realice tres referencias, no una conversación institucional
- Sponsor ejecutivo: decisión, valor, gobernanza, transparencia e intención de volver a contratar.
- Owner operativo: adopción, calidad, excepciones, soporte, incidentes, costo y dependencia.
- Responsable técnico o de datos: arquitectura, integración, seguridad, evaluación, documentación y transferencia.
La guía de GSA reconoce cuestionarios adaptados, entrevistas y otras fuentes para recopilar desempeño anterior. Estandarice preguntas y registre quién respondió, su relación con el proyecto y qué pudo verificar. No solicite información confidencial ni evite restricciones contractuales.
Diez preguntas que revelan más que un testimonio
- ¿Cuál era el baseline y quién lo midió?
- ¿Qué entregó realmente este equipo?
- ¿Qué tuvo que rediseñarse después de empezar?
- ¿Cuál fue la falla más seria y cómo respondió la consultora?
- ¿Qué resultado permaneció después de seis meses?
- ¿Qué costos o tareas operativas quedaron fuera del caso?
- ¿El equipo prometido permaneció asignado?
- ¿Cómo se trataron seguridad, privacidad y cambios de modelo?
- ¿La documentación permite operar, auditar y cambiar de socio?
- ¿Contrataría al mismo equipo para un caso similar?
Normalice evidencia antes de comparar finalistas
Califique relevancia, confianza de la evidencia y contribución real. No penalice automáticamente a una empresa nueva sin logotipos famosos: permita prueba con proyectos menores, artefactos, equipo y validación pagada. World Bank combina criterios de calidad y valor con precio; use referencias para reducir incertidumbre, no para conservar incumbentes.
Conecte casos, equipo, propuesta y piloto
Use https://makinai.co/insights/es/como-evaluar-propuestas-consultoria-ia-matriz para normalizar ofertas, https://makinai.co/insights/es/como-evaluar-equipo-consultora-ia-antes-contratar para verificar el equipo y https://makinai.co/insights/es/como-estructurar-piloto-pago-contratar-empresa-ia para crear evidencia propia. Conozca https://makinai.co/services/es/consultoria-estrategia-ia-transformacion.
Cuándo involucrar a MAKINAI
MAKINAI puede convertir casos en fichas comparables, facilitar entrevistas estructuradas y transformar brechas en preguntas de RFP, sesiones finalistas o un piloto pagado. La recomendación debe registrar lo confirmado, lo que sigue siendo hipótesis y el riesgo que acepta el comprador.