Modelos abiertos pequeños
Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros
Traducido del libro en inglés, edición 2026.11.9. Lee el original
Cómo reemplazar un modelo alojado por uno que ejecutas tú mismo para un solo trabajo, y cuándo es la elección equivocada: medir la tarea, elegir un modelo base, diseñar los prompts, el ajuste fino con LoRA, la destilación, la cuantización, el servicio en CPU, las versiones y el traspaso a personas, con los mensajes de soporte de un banco tomados de BANKING77.
Para quién es Para ingenieros y científicos de datos que ya llaman a la API de un modelo alojado para una tarea concreta y repetitiva, como enrutar mensajes de soporte, y que quieren saber si un modelo que ellos mismos ejecutan puede realizarla. Necesitas Python y cierta experiencia con alguna API de LLM, pero no el funcionamiento interno de un transformer.
Lee en Kindle o en cualquier lector electrónico
El EPUB también funciona en Apple Books, Kobo y en la mayoría de los lectores electrónicos.
Enviar a Kindle
Envía el EPUB de esta edición en Español.
-
Aprueba nuestra dirección
Amazon entrega a un Kindle solo los archivos enviados desde direcciones que hayas aprobado, una vez por cada servicio que le envíe un correo. Añade la nuestra a tu lista de direcciones aprobadas para documentos personales por correo electrónico.
books@rollingedition.comAbre la configuración de documentos personales de Amazon. En Amazon, se encuentra en Gestionar tu contenido y dispositivos, Preferencias, Configuración de documentos personales.
Enviado. Aparecerá en tu biblioteca de Kindle en unos minutos.
Si no llega, casi siempre se debe a la aprobación del paso 1: comprueba que books@rollingedition.com esté en tu lista de direcciones aprobadas para documentos personales por correo electrónico.
Cada nueva edición de tus libros guardados también se enviará a tu Kindle.
Esa no es una dirección de Kindle. Debe terminar en @kindle.com: encuéntrala en la configuración de documentos personales de Amazon.
Hoy has enviado {count} libros, que es el máximo que enviamos para una cuenta en un día. Inténtalo de nuevo mañana.
Hoy hemos enviado todos los libros que podemos. Inténtalo de nuevo mañana.
El libro no se envió. Inténtalo de nuevo en unos minutos.
Esta edición es demasiado grande para enviarla por correo electrónico.
Enviar a Kindle viene incluido con Labs.
Esa no es una dirección de Kindle. Debe terminar en @kindle.com: encuéntrala en la configuración de documentos personales de Amazon.
El libro no se envió. Inténtalo de nuevo en unos minutos.
O descarga el EPUB y suéltalo en la página de Enviar a Kindle de Amazon.
Kindle is a trademark of Amazon.com, Inc.
Contenido
10 capítulos, unos 3 horas 11 minutos de lectura, con 36 ejemplos.
-
1Build a router for the bank's inbox that hands off when unsure
By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.
-
2Mide la tarea de enrutamiento antes de elegir un modelo
Al terminar este capítulo, podrás decir para qué sirve cada una de las muestras del libro, calcular las tres medidas con las que se evalúa el enrutador junto con sus denominadores, y leer una línea base que se registró una sola vez y se reutiliza en cada comparación.
-
3Elige un modelo base contando lo que cuesta un mensaje
Al final de este capítulo, podrás nombrar los dos modelos base que este libro conserva, cargar cada uno en su revisión fijada y contar cuánto cuesta un mensaje de enrutamiento en tokens y parámetros antes de comprometerte con un modelo.
-
4Indica a un modelo pequeño y restringe sus respuestas a los equipos
Al terminar este capítulo, podrás escribir un prompt de enrutamiento para un modelo abierto pequeño, restringir su respuesta para que solo pueda ser el nombre de un equipo y medir cuántas de esas respuestas son correctas.
-
5Ajusta una cabeza de clasificación con LoRA
Al terminar este capítulo, podrás entrenar una cabeza de clasificación con los mensajes etiquetados usando LoRA, contar los parámetros que cambia el entrenamiento, elegir un umbral de traspaso en el conjunto de desarrollo mediante una regla explícita y registrar ese umbral junto a los resultados que produjo.
-
6Destila las respuestas de un modelo más grande en uno pequeño
Al terminar este capítulo, podrás entrenar un modelo alumno pequeño con las etiquetas que un modelo maestro más grande asigna a tus filas de entrenamiento, medir con qué frecuencia esas etiquetas coinciden con las etiquetas de referencia y decidir, a partir de los mismos mensajes, si el alumno merece la pena frente a un alumno entrenado con etiquetas de referencia.
-
7Cuantiza el enrutador y mide qué cambia
Al final de este capítulo, puedes guardar los pesos del backbone del enrutador ajustado como enteros de 8 bits en una sola llamada, contar las predicciones que cambian en una muestra fija y explicar qué muestra y qué no muestra ese recuento.
-
8Sirve el router en una CPU, con la derivación dentro de la ruta
Al terminar este capítulo, podrás servir el router como un único endpoint
POST /routeque devuelve un equipo, una confianza y una marca de derivación para cada mensaje. -
9Versiona el enrutador, vigila sus traspasos y recurre a personas
Al final de este capítulo, podrás nombrar un enrutador por las partes que componen sus respuestas, comprobar esas partes antes de que la ruta las cargue, contar la tasa de traspasos para cada ventana de mensajes frente a una línea base indicada, y decir a dónde va cada mensaje traspasado.
-
10Cuándo un modelo pequeño es la elección equivocada
Al terminar este capítulo, podrás decir en qué casos un enrutador pequeño todavía pierde frente al modelo de referencia y en cuáles se espera que un modelo alojado rinda mejor, calcular el costo mensual de cada opción a partir de los insumos que indiques con sus fechas, encontrar el volumen a partir del cual una máquina propia resulta la vía más barata y nombrar los requisitos que deciden la cuestión antes que cualquier costo.