Cover of Language Models from the Ground Up, edition 2026.11.16, code FY8Q-PVVV Language Models from the Ground Up FY8Q-PVVV 24 editions since Oct 2026 Rolling Edition 2026.11.16

Modelos de lenguaje desde cero

Edición 2026.11.16 Ejemplos verificados el 19 de nov de 2026 86 de 86 ejemplos pasan Qué ha cambiado

Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros

Traducido del libro en inglés, edición 2026.11.16. Lee el original

Cómo funciona un modelo de lenguaje, construido una parte a la vez: predicción de la siguiente palabra, tokens, embeddings, un modelo neuronal, atención y el transformer, entrenamiento de un modelo pequeño en una CPU, elección de palabras, lo que contiene un modelo abierto y cómo el ajuste por instrucciones lo cambia.

Para quién es Para lectores que se manejan con comodidad en Python y NumPy y que se inician en el funcionamiento de los modelos de lenguaje: un desarrollador que llama a APIs de LLM y quiere saber qué ocurre por dentro, o un científico de datos que se incorpora al trabajo con lenguaje.

Empieza a leer
Historial de ediciones24 ediciones desde octubre de 2026Cada edición y lo que cambió
2026.10.12026.11.16
2026.11.16 · 21 de nov de 2026Corrección de prosa,Contenido nuevo44 secciones modificadas

Contenido

11 capítulos, unos 4 horas 4 minutos de lectura, con 86 ejemplos.

  1. 1Predecir la siguiente palabra

    Al final de este capítulo podrás construir un modelo de lenguaje completo a partir de los nombres de productos de una tienda, contando palabras; usarlo para sugerir la siguiente palabra mientras un comprador escribe; generar texto con él; y medir con un solo número qué tan bien predice texto que nunca ha visto.

  2. 2Tokens

    Al final de este capítulo podrás construir desde cero un tokenizador de codificación por pares de bytes, elegir su tamaño de vocabulario midiendo lo que cuesta cada tamaño, y leer el tokenizador de un modelo de lenguaje abierto lo bastante bien como para aplicar sus fusiones a mano.

  3. 3Contar más hacia atrás

    Al final de este capítulo podrás construir un modelo de lenguaje de n-gramas que mire varios tokens hacia atrás, suavizarlo con Kneser-Ney para que maneje texto que no ha visto (el suavizado asigna cierta probabilidad a lo que los conteos nunca vieron, como mostró el capítulo 1), medir la línea base con la que se comparan todos los modelos neuronales de este libro, y ver por qué el conteo, por ingenioso que sea, llega a su límite.

  4. 4Palabras como vectores

    Al final de este capítulo podrás convertir cada token del texto de la tienda en un vector corto de números, de modo que los tokens usados de forma parecida obtengan vectores parecidos, mediante dos métodos: comprimir los conteos de qué tokens aparecen juntos, y entrenar un modelo pequeño para predecir los vecinos de cada token.

  5. 5Un modelo neuronal de lenguaje

    Al final de este capítulo podrás construir un modelo neuronal de lenguaje que predice el siguiente token a partir de una ventana de tokens anteriores, calcular sus gradientes a mano y comprobarlos, entrenarlo con PyTorch y medirlo de forma justa frente al modelo basado en conteos.

  6. 6Atención

    Al final de este capítulo podrás calcular la atención a mano: puntuar qué tan bien coincide la consulta de cada token con la clave de cada token anterior, convertir las puntuaciones en pesos y promediar los valores que esos pesos seleccionan.

  7. 7El bloque transformer

    Al terminar este capítulo podrás ensamblar un bloque transformer a partir de sus partes, unidas por conexiones residuales: atención, normalización, una capa feed-forward con compuerta y la información de posición.

  8. 8Entrenamiento de un modelo pequeño

    Al final de este capítulo podrás entrenar un pequeño transformer de principio a fin y juzgar el resultado.

  9. 9Elegir el siguiente token

    Al final de este capítulo podrás convertir las probabilidades de un modelo de lenguaje en texto, y decidir cómo hacerlo: siempre el token más probable, el texto completo más probable mediante búsqueda por haz, o una muestra modelada por una temperatura, un recorte top-k o top-p, una penalización por repetición y una longitud mínima.

  10. 10Dentro de un modelo abierto

    Al terminar este capítulo podrás leer un modelo de lenguaje abierto con lo que este libro ha construido: contar en qué se reparten sus parámetros, calcular cuánto cuesta ejecutarlo, puntuar texto con él de forma justa frente a un modelo con otro tokenizador, encontrar en sus cabezas los patrones de atención del capítulo 6, comprobar qué copia, y averiguar qué le aporta su tamaño con los textos de la tienda y qué no.

  11. 11De predecir a seguir instrucciones

    Al terminar este capítulo podrás explicar cómo un modelo que predice el siguiente token se convierte en uno que sigue peticiones, construir las dos funciones de pérdida que lo logran y medir qué cambia y qué no corrige ese cambio.

Cita esta sección

Formato

Cada formato cita el libro en inglés, que esta traducción sigue.

Cada formato nombra esta edición. Su enlace abre la edición actual, donde el encabezado de cada sección indica cuándo cambió su texto por última vez. Las fechas de acceso y de recuperación son el día en que lo abres.