Contexto largo vs RAG
Meter mucho contexto frente a recuperar sólo lo relevante.
La decisión en 30 segundos
Elígelo cuando…
Pocos documentos y tareas globales.
Elígelo cuando…
Corpus grande, permisos y citas.
No compares nombres; compara el trabajo
Meter mucho contexto frente a recuperar sólo lo relevante. La pregunta útil es: ¿qué error cuesta más, qué evidencia necesitas, cuál es el SLA, cuánto cambia el conocimiento y quién revisa?
Matriz de decisión
| Criterio | Pregunta |
|---|---|
| Calidad | ¿Qué debe acertar y cómo lo medirás? |
| Riesgo | ¿Qué pasa cuando falla? |
| Coste | ¿Cuál es el volumen real? |
| Frescura | ¿Cambian datos o comportamiento? |
| Operación | ¿Quién observa, corrige y mantiene? |
Prueba antes de decidir
Toma 20 casos reales, ejecuta ambos enfoques con la misma rúbrica y registra calidad, tiempo de revisión, coste, latencia y fallos. Una arquitectura gana cuando mejora tu sistema, no cuando gana una discusión.
Profundiza la decisión
Esta comparativa no debería terminar en “A es mejor que B”. ParaContexto largo vs RAG, documenta el workload, el coste del error, el volumen, la frescura del dato y quién mantiene el sistema. Cambia una de esas variables y la recomendación puede cambiar.
| Decisión | Qué mirar | Señal buena | Señal de riesgo |
|---|---|---|---|
| Requisito duro | ¿Qué condición elimina una opción? | Está escrito antes de probar | Cambias la regla tras ver el resultado |
| Calidad | ¿Cómo se medirá en casos reales? | Golden set común | Impresiones o demos distintas |
| Coste | ¿Qué incluye el coste total? | Modelo + operación + revisión | Sólo precio unitario |
| Operación | ¿Quién observa y corrige? | SLO, fallback y dueño | Nadie mantiene el ganador |
Prueba mínima
- Selecciona 20–50 casos reales.
- Ejecuta ambas opciones con la misma entrada y la misma rúbrica.
- Registra calidad, tiempo, coste, latencia y excepciones.
- Revisa los casos donde discrepan; ahí está la información útil.
- Escribe qué dato haría cambiar la decisión.
Contexto largo, RAG. La comparación gana valor cuando se conecta a evidencia y a un caso propio.