LLM as judge
Uso de un modelo para puntuar o comparar salidas siguiendo una rúbrica.
En una frase
Uso de un modelo para puntuar o comparar salidas siguiendo una rúbrica.
Qué significa en la práctica
Uso de un modelo para puntuar o comparar salidas siguiendo una rúbrica. Lo importante no es memorizar el término, sino reconocer cuándo cambia una decisión de producto, arquitectura, coste o seguridad.
En Lumaria usamos este concepto dentro de un mapa de conocimiento: cada término debe poder conectarse con una herramienta, una guía o un caso real.
Ejemplo concreto
Un juez automático evalúa claridad y fidelidad, calibrado con revisión humana.
Un buen ejemplo te permite distinguir el concepto de palabras parecidas y saber qué observar en un sistema real.
Error habitual
UsarLLM as judgecomo etiqueta de marketing sin definir qué problema resuelve, cómo se mide o qué límites tiene. Si una explicación no cambia ninguna decisión, probablemente todavía es demasiado abstracta.
Qué mirar después
Busca este término en elMapa de conocimiento, abre unaguía relacionaday termina con una prueba medible. La comprensión útil siempre acaba en una acción o un criterio.
Modelo mental y conexiones
Para recordarLLM as judge, no memorices sólo la definición. Pregunta cuatro cosas: qué entra, qué transforma, qué sale y qué puede fallar. Después conéctalo con coste, calidad, privacidad y operación.
Cuándo cambia una decisión
Este concepto importa cuando modifica arquitectura, evaluación, permisos, coste o experiencia. Si usar el término no cambia ninguna decisión, probablemente lo estás usando como etiqueta. Contexto relacionado: LLM as judge, concepto, IA.
Preguntas de comprobación
- ¿Podrías explicarlo sin usar el propio término?
- ¿Qué ejemplo sería claramente un caso y cuál no?
- ¿Qué métrica observarías en producción?
- ¿Con qué concepto vecino se confunde más?
- ¿Qué fallo real aparecería si lo aplicas mal?