LLMs en producción sin miedo

Integrar un LLM es fácil. Mantenerlo en producción no. El problema no es el modelo: es la falta de contrato.

El patrón que usamos

1. Schema primero: toda salida del modelo se valida contra un esquema tipado antes de tocar el sistema.
2. Evaluación continua: un dataset de casos reales corre en cada release; si la métrica baja, el deploy se bloquea.
3. Confianza explícita: el modelo devuelve su nivel de confianza; por debajo del umbral, escala a un humano.

Costes bajo control

Cacheamos respuestas idénticas, degradamos a modelos baratos en tareas fáciles y auditamos cada token facturado. El resultado: coste por petición estable incluso con tráfico 10x.

Los LLMs no son magia; son una dependencia más. Y como toda dependencia, necesita tipos, tests y observabilidad.