Modelos de lenguaje desde cero
Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros
Traducido del libro en inglés, edición 2026.11.16. Lee el original
Cómo funciona un modelo de lenguaje, construido una parte a la vez: predicción de la siguiente palabra, tokens, embeddings, un modelo neuronal, atención y el transformer, entrenamiento de un modelo pequeño en una CPU, elección de palabras, lo que contiene un modelo abierto y cómo el ajuste por instrucciones lo cambia.
Para quién es Para lectores que se manejan con comodidad en Python y NumPy y que se inician en el funcionamiento de los modelos de lenguaje: un desarrollador que llama a APIs de LLM y quiere saber qué ocurre por dentro, o un científico de datos que se incorpora al trabajo con lenguaje.
Lee en Kindle o en cualquier lector electrónico
El EPUB también funciona en Apple Books, Kobo y en la mayoría de los lectores electrónicos.
Enviar a Kindle
Envía el EPUB de esta edición en Español.
-
Aprueba nuestra dirección
Amazon entrega a un Kindle solo los archivos enviados desde direcciones que hayas aprobado, una vez por cada servicio que le envíe un correo. Añade la nuestra a tu lista de direcciones aprobadas para documentos personales por correo electrónico.
books@rollingedition.comAbre la configuración de documentos personales de Amazon. En Amazon, se encuentra en Gestionar tu contenido y dispositivos, Preferencias, Configuración de documentos personales.
Enviado. Aparecerá en tu biblioteca de Kindle en unos minutos.
Si no llega, casi siempre se debe a la aprobación del paso 1: comprueba que books@rollingedition.com esté en tu lista de direcciones aprobadas para documentos personales por correo electrónico.
Cada nueva edición de tus libros guardados también se enviará a tu Kindle.
Esa no es una dirección de Kindle. Debe terminar en @kindle.com: encuéntrala en la configuración de documentos personales de Amazon.
Hoy has enviado {count} libros, que es el máximo que enviamos para una cuenta en un día. Inténtalo de nuevo mañana.
Hoy hemos enviado todos los libros que podemos. Inténtalo de nuevo mañana.
El libro no se envió. Inténtalo de nuevo en unos minutos.
Esta edición es demasiado grande para enviarla por correo electrónico.
Enviar a Kindle viene incluido con Labs.
Esa no es una dirección de Kindle. Debe terminar en @kindle.com: encuéntrala en la configuración de documentos personales de Amazon.
El libro no se envió. Inténtalo de nuevo en unos minutos.
O descarga el EPUB y suéltalo en la página de Enviar a Kindle de Amazon.
Kindle is a trademark of Amazon.com, Inc.
Contenido
11 capítulos, unos 4 horas 4 minutos de lectura, con 86 ejemplos.
-
1Predecir la siguiente palabra
Al final de este capítulo podrás construir un modelo de lenguaje completo a partir de los nombres de productos de una tienda, contando palabras; usarlo para sugerir la siguiente palabra mientras un comprador escribe; generar texto con él; y medir con un solo número qué tan bien predice texto que nunca ha visto.
-
2Tokens
Al final de este capítulo podrás construir desde cero un tokenizador de codificación por pares de bytes, elegir su tamaño de vocabulario midiendo lo que cuesta cada tamaño, y leer el tokenizador de un modelo de lenguaje abierto lo bastante bien como para aplicar sus fusiones a mano.
-
3Contar más hacia atrás
Al final de este capítulo podrás construir un modelo de lenguaje de n-gramas que mire varios tokens hacia atrás, suavizarlo con Kneser-Ney para que maneje texto que no ha visto (el suavizado asigna cierta probabilidad a lo que los conteos nunca vieron, como mostró el capítulo 1), medir la línea base con la que se comparan todos los modelos neuronales de este libro, y ver por qué el conteo, por ingenioso que sea, llega a su límite.
-
4Palabras como vectores
Al final de este capítulo podrás convertir cada token del texto de la tienda en un vector corto de números, de modo que los tokens usados de forma parecida obtengan vectores parecidos, mediante dos métodos: comprimir los conteos de qué tokens aparecen juntos, y entrenar un modelo pequeño para predecir los vecinos de cada token.
-
5Un modelo neuronal de lenguaje
Al final de este capítulo podrás construir un modelo neuronal de lenguaje que predice el siguiente token a partir de una ventana de tokens anteriores, calcular sus gradientes a mano y comprobarlos, entrenarlo con PyTorch y medirlo de forma justa frente al modelo basado en conteos.
-
6Atención
Al final de este capítulo podrás calcular la atención a mano: puntuar qué tan bien coincide la consulta de cada token con la clave de cada token anterior, convertir las puntuaciones en pesos y promediar los valores que esos pesos seleccionan.
-
7El bloque transformer
Al terminar este capítulo podrás ensamblar un bloque transformer a partir de sus partes, unidas por conexiones residuales: atención, normalización, una capa feed-forward con compuerta y la información de posición.
-
8Entrenamiento de un modelo pequeño
Al final de este capítulo podrás entrenar un pequeño transformer de principio a fin y juzgar el resultado.
-
9Elegir el siguiente token
Al final de este capítulo podrás convertir las probabilidades de un modelo de lenguaje en texto, y decidir cómo hacerlo: siempre el token más probable, el texto completo más probable mediante búsqueda por haz, o una muestra modelada por una temperatura, un recorte top-k o top-p, una penalización por repetición y una longitud mínima.
-
10Dentro de un modelo abierto
Al terminar este capítulo podrás leer un modelo de lenguaje abierto con lo que este libro ha construido: contar en qué se reparten sus parámetros, calcular cuánto cuesta ejecutarlo, puntuar texto con él de forma justa frente a un modelo con otro tokenizador, encontrar en sus cabezas los patrones de atención del capítulo 6, comprobar qué copia, y averiguar qué le aporta su tamaño con los textos de la tienda y qué no.
-
11De predecir a seguir instrucciones
Al terminar este capítulo podrás explicar cómo un modelo que predice el siguiente token se convierte en uno que sigue peticiones, construir las dos funciones de pérdida que lo logran y medir qué cambia y qué no corrige ese cambio.