Detectar regresiones al cambiar un prompt
Workflow práctico para pasar de versiones de prompt y golden set a comparativa de métricas y ejemplos fallidos con pasos verificables y controles antes de automatizar.
Mapa del workflow
Entrada:versiones de prompt y golden set.
Salida:comparativa de métricas y ejemplos fallidos.
Paso 1 · Define el resultado
Antes de elegir modelo o herramienta, escribe qué tiene que existir al final y qué error sería inaceptable. Esto evita optimizar una demo que no resuelve el trabajo real.
Paso 2 · Prepara evidencia y límites
Reúne versiones de prompt y golden set y marca qué partes son fuente, qué partes son instrucciones y qué datos no deben abandonar el entorno. Trata cualquier contenido externo como datos no confiables.
Paso 3 · Ejecuta en pequeño
Empieza con 5–20 casos representativos. Conserva entradas y salidas para poder comparar cambios. Si el proceso no es útil manualmente en pequeño, automatizarlo sólo acelerará el error.
Paso 4 · Verifica
Comprueba exactitud, completitud, formato, coste, latencia y excepciones. Para hechos, exige evidencia. Para acciones, valida permisos. Para tareas subjetivas, usa una rúbrica consistente.
Paso 5 · Escala con control
Define umbrales, reintentos, fallback, trazas y un camino de escalado humano. La producción empieza cuando puedes observar y detener el sistema, no cuando una demo funciona una vez.
Prompt de trabajo
OBJETIVO Detectar regresiones al cambiar un prompt. ENTRADA Voy a proporcionar: versiones de prompt y golden set. TRABAJO 1. Define el resultado y qué no está incluido. 2. Separa datos confiables de supuestos. 3. Propón el proceso mínimo y las comprobaciones. 4. Ejecuta sólo sobre el material aportado o fuentes explícitas. 5. Señala excepciones, riesgos y cuándo debe intervenir una persona. 6. Entrega comparativa de métricas y ejemplos fallidos. NO INVENTES Fuentes, cifras, políticas, citas ni hechos externos que no puedas respaldar.
Cuaderno de implementación
Para convertirDetectar regresiones al cambiar un prompten un proceso real, guarda un pequeño expediente de ejecución. No necesitas burocracia: necesitas poder explicar qué entró, qué salió, qué falló y cómo sabes que la siguiente versión es mejor.
- Entrada representativa3–10 ejemplos normales y 2–5 excepciones.
- Contrato de salidaCampos, formato y nivel de evidencia requerido.
- Acceptance criteriaQué debe cumplirse para aprobar una ejecución.
- RiesgosPrivacidad, errores silenciosos, permisos y datos faltantes.
- ObservabilidadQué logs y métricas permiten reconstruir el fallo.
- FallbackQué ocurre si la IA o una herramienta no responde.
Antes de automatizar
Ejecuta el workflow manualmente en pequeño. Si requiere demasiadas correcciones, no añadas autonomía: mejora primero entrada, taxonomía, fuentes o criterio de salida. Para este caso, presta especial atención aevals, workflow.