Su IA cambia. ¿Quién la revisa?

Diferenciar los experimentos de los modelos en producción

Un notebook suele contener supuestos implícitos sobre archivos, bibliotecas y pasos ejecutados manualmente. Trasladamos los pasos de procesamiento relevantes a flujos reproducibles con dependencias documentadas. Los artefactos del modelo reciben una versión inequívoca y una referencia a su entrenamiento, configuración y evaluación.

Un registro por sí solo no equivale a una aprobación. Definimos qué comprobaciones de calidad, seguridad y operación deben superarse antes de la publicación. La evaluación de negocio y el despliegue técnico se mantienen separados, para que un modelo técnicamente operativo no pase a producción sin una revisión de contenido.

Detectar deterioros y reaccionar de forma controlada

Durante la operación observamos la disponibilidad, los tiempos de respuesta y los cambios en los datos de entrada. Un cambio en la distribución de los datos es motivo de investigación, pero todavía no una prueba de que las predicciones hayan empeorado. Cuando los resultados de negocio solo se conocen más tarde, planificamos su incorporación posterior a la evaluación de calidad.

Los cambios de modelo se realizan con una comparación y un plan de vuelta atrás acordados. Según el caso de uso, puede tener sentido empezar con evaluaciones en modo sombra o con grupos de usuarios limitados. Si se retira un modelo, el preprocesamiento y las interfaces asociados también deben ser compatibles entre sí. Su equipo de operación recibe instrucciones para incidencias, nuevas puestas en producción y el escalado de anomalías de negocio.