Método
latencia retrieval = suma de sus componentes.
Descompone el presupuesto de latencia del tramo retrieval antes del LLM.
latencia retrieval = suma de sus componentes.
Usa el resultado como una estimación transparente de planificación. Cambia un supuesto cada vez, compara escenarios y pasa a Toolkit cuando necesites simular el sistema completo.
Mide p50 y p95 por separado; sumar promedios no describe colas.
Tus entradas se procesan en este navegador. Esta utilidad no necesita cuenta, base de datos ni API de IA.