Evaluación de aplicaciones con LLM
Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros
Traducido del libro en inglés, edición 2026.11.3. Lee el original
Sabrás si una aplicación con LLM funciona y si un cambio la mejoró: conjuntos de prueba, comprobaciones, jueces en los que puedes confiar y estadísticas que se sostienen, aplicados a un asistente de documentación para una pequeña herramienta de línea de comandos.
Para quién es Para ingenieros que han lanzado, o están a punto de lanzar, una funcionalidad construida sobre un modelo: un asistente, un servicio de respuesta a preguntas o un paso de extracción. Escriben en Python y conocen los prompts, los embeddings y las pruebas, pero no la estadística más allá de la media.
Lee en Kindle o en cualquier lector electrónico
El EPUB también funciona en Apple Books, Kobo y en la mayoría de los lectores electrónicos.
Enviar a Kindle
Envía el EPUB de esta edición en Español.
-
Aprueba nuestra dirección
Amazon entrega a un Kindle solo los archivos enviados desde direcciones que hayas aprobado, una vez por cada servicio que le envíe un correo. Añade la nuestra a tu lista de direcciones aprobadas para documentos personales por correo electrónico.
books@rollingedition.comAbre la configuración de documentos personales de Amazon. En Amazon, se encuentra en Gestionar tu contenido y dispositivos, Preferencias, Configuración de documentos personales.
Enviado. Aparecerá en tu biblioteca de Kindle en unos minutos.
Si no llega, casi siempre se debe a la aprobación del paso 1: comprueba que books@rollingedition.com esté en tu lista de direcciones aprobadas para documentos personales por correo electrónico.
Cada nueva edición de tus libros guardados también se enviará a tu Kindle.
Esa no es una dirección de Kindle. Debe terminar en @kindle.com: encuéntrala en la configuración de documentos personales de Amazon.
Hoy has enviado {count} libros, que es el máximo que enviamos para una cuenta en un día. Inténtalo de nuevo mañana.
Hoy hemos enviado todos los libros que podemos. Inténtalo de nuevo mañana.
El libro no se envió. Inténtalo de nuevo en unos minutos.
Esta edición es demasiado grande para enviarla por correo electrónico.
Enviar a Kindle viene incluido con Labs.
Esa no es una dirección de Kindle. Debe terminar en @kindle.com: encuéntrala en la configuración de documentos personales de Amazon.
El libro no se envió. Inténtalo de nuevo en unos minutos.
O descarga el EPUB y suéltalo en la página de Enviar a Kindle de Amazon.
Kindle is a trademark of Amazon.com, Inc.
Contenido
11 capítulos, unos 3 horas 45 minutos de lectura, con 54 ejemplos.
-
1Mide un asistente antes de cambiarlo
Al terminar este capítulo, podrás medir un asistente de documentación con un conjunto fijo de preguntas, leer el resultado junto con su intervalo y decir cuándo veinte preguntas son muy pocas para distinguir entre dos prompts.
-
2Lee las respuestas para decidir qué medir
Al terminar este capítulo podrás leer un conjunto de respuestas de un asistente, clasificar qué está mal en cada una dentro de un modo de fallo y decir cuáles de esos fallos puede detectar una comprobación.
-
3Construye un conjunto de pruebas que puedas defender, y lee los benchmarks públicos
Al final de este capítulo podrás construir un conjunto de pruebas cuya puntuación te diga algo, comprobar su esquema y su cobertura con código, y explicar qué dice y qué no dice la puntuación de un benchmark público sobre tu propio asistente.
-
4Escribe comprobaciones en código para los fallos que encontraste
Al final de este capítulo podrás escribir las comprobaciones de formato y de citas que se ejecutan en cada respuesta sin coste, indicar qué fallos del capítulo 2 puede ver cada una y qué no, y mostrar dónde dos puntuaciones de solapamiento habituales colocan una respuesta incorrecta por encima de una correcta.
-
5Escribe una rúbrica que un juez pueda aplicar
Al final de este capítulo podrás escribir una rúbrica que un modelo juez aplica de la misma manera a cada respuesta, leer su veredicto con código que nunca cuenta nada que no pueda leerse como veredicto, y decir cuándo una comparación por pares o una escala valen su costo.
-
6Mide los errores de un juez frente a las valoraciones humanas y, después, corrige una tasa de aciertos
Al final de este capítulo podrás medir en qué se diferencian los veredictos de un juez de las valoraciones humanas, separar esas diferencias en omisiones (respuestas correctas que el juez suspende) y falsos aprobados, y corregir una tasa de aciertos observada para tenerlos en cuenta, con el supuesto en el que se apoya la corrección escrito junto a ella.
-
7Encuentra dónde deja de ser fiable el veredicto de un juez
Al final de este capítulo podrás someter a un juez a dos sesgos que los datos de este libro pueden mostrar: el de posición y el de longitud.
-
8Decide si un cambio es mejor, y cuántas preguntas necesitas
Al final de este capítulo podrás decir si una diferencia entre dos versiones del asistente es más que ruido, usando un intervalo en una comparación pareada.
-
9Comprueba que las respuestas se apoyen en la documentación citada, en la versión preguntada
Al terminar este capítulo podrás contar si las citas de una respuesta respaldan lo que dice, si cada afirmación se apoya en las secciones que recibió el asistente, si es correcta para la versión por la que preguntó el lector, y si la recuperación llegó a la sección correcta en el camino.
-
10Rechaza cuando la documentación no lo dice y mide los dos tipos de error
Al terminar este capítulo podrás contar las dos maneras en que un asistente no logra responder a partir de su documentación, leer las dos tasas sobre sus propios denominadores y decir cuándo una regla que rechaza con más frecuencia vale lo que cuesta.
-
11Pon la evaluación en CI y compara variantes con tráfico real
Al final de este capítulo podrás poner la evaluación en una puerta de control que bloquee un cambio solo cuando el cambio sea mediblemente peor.