Contar más hacia atrás
Unos 21 minutos de lectura, con 7 ejemplos en 9 secciones.
Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros
Traducido del libro en inglés, edición 2026.11.16. Lee el original
En esta página
- Los contextos más largos se ajustan mejor al texto de entrenamiento
- Los contextos más largos se quedan sin evidencia
- Mezclar contextos cortos y largos
- Cuenta los contextos que sigue un token
- Suavizar con Kneser-Ney
- Autocompletado con tres tokens de contexto
- La línea base contra la que se mide cada modelo posterior
- Qué sale mal en producción
- Lo que decidió este capítulo
Al final de este capítulo podrás construir un modelo de lenguaje de n-gramas que mire varios tokens hacia atrás, suavizarlo con Kneser-Ney para que maneje texto que no ha visto (el suavizado asigna cierta probabilidad a lo que los conteos nunca vieron, como mostró el capítulo 1), medir la línea base con la que se comparan todos los modelos neuronales de este libro, y ver por qué el conteo, por ingenioso que sea, llega a su límite.
El capítulo 1 construyó un modelo que predecía la siguiente palabra a partir de la anterior, y dos cosas salieron mal. Solo miraba una palabra hacia atrás, así que una persona que escribía patio bar recibía las sugerencias de bar. Y asignaba probabilidad cero a cada par de palabras que no había contado, lo que hacía infinita su perplejidad sobre texto nuevo. El capítulo 2 entonces le dio al libro mejores unidades para contar: el tokenizador de la tienda, que divide cada palabra en fragmentos que conoce, de modo que casi toda palabra se escribe con tokens que ya ha visto. Este capítulo vuelve a contar con esos tokens, mira más lejos hacia atrás y trata lo no visto de forma adecuada.
Cada método aquí se prueba donde la tienda, una tienda en línea de muebles y artículos para el hogar, lo necesita: en los nombres de productos que completa su cuadro de búsqueda. A partir de este capítulo, cada modelo del libro se evalúa de la misma manera: por su perplejidad por token sobre los nombres de validación de la tienda, tokenizados con el tokenizador de la tienda. Los nombres de productos son lo que el autocompletado del cuadro de búsqueda debe predecir, y son lo bastante cortos como para que cada ejemplo se ejecute en segundos. Un texto fijo, un tokenizador y una misma medida hacen que todos los modelos del libro sean comparables entre sí sobre nombres; los capítulos posteriores añaden descripciones, desde el capítulo 8, y puntuaciones por palabra, en el capítulo 10, donde el tokenizador de un modelo es distinto.
Los contextos más largos se ajustan mejor al texto de entrenamiento
Un modelo de n-gramas predice cada token a partir de los n − 1 tokens que lo preceden: un modelo de bigramas (n = 2) a partir de uno, un modelo de trigramas (n = 3) a partir de dos, y así sucesivamente. Los tokens anteriores al que se predice son su contexto. Un contexto mayor debería significar mejores predicciones: después de patio bar, el siguiente token es mucho más predecible que después de bar solamente. El conteo funciona exactamente como en el capítulo 1, salvo que los conteos ahora son de un contexto de n − 1 tokens seguido de un token, y cada texto se completa con n − 1 marcadores de inicio, de modo que incluso su primer token tiene un contexto completo.
Evaluados sobre los nombres a partir de los que se contaron, sin suavizado, los distintos órdenes muestran lo que hace un modelo con texto que ya ha memorizado:
1"""Counts the n-grams of orders 1 to 5 in the training names, and scores each order on those same names with no smoothing.2Read the training perplexity lines, which fall as the order grows, against the seen-once lines, which rise."""3import math4from collections import Counter56from lib.names import name_tokens7from lib.ngrams import ngrams, padded89train = name_tokens("train")10for n in [1, 2, 3, 4, 5]:11 # padded adds n-1 start markers and one end marker, so a name's first token has a full context12 pairs = Counter(pair for text in train for pair in ngrams(padded(text, n), n))13 contexts = Counter()14 for (context, _), count in pairs.items():15 contexts[context] += count16 # the total surprise, in nats: each n-gram's probability is its count over its context's count, the model's own estimate17 surprise = -sum(count * math.log(count / contexts[context]) for (context, _), count in pairs.items())18 print(f"{n}-gram training perplexity: {math.exp(surprise / sum(pairs.values())):.1f}")19 print(f"{n}-grams seen once: {sum(1 for c in pairs.values() if c == 1) / len(pairs):.0%}")
python ngram-memorizes.py1-gram training perplexity: 676.4
1-grams seen once: 8%
2-gram training perplexity: 23.9
2-grams seen once: 60%
3-gram training perplexity: 4.9
3-grams seen once: 76%
4-gram training perplexity: 3.2
4-grams seen once: 82%
5-gram training perplexity: 2.9
5-grams seen once: 85%
La perplejidad cae rápidamente a medida que crece el contexto: 676.4 sin ningún contexto, 23.9 con un token y 2.9 con cuatro. Con cuatro tokens de contexto, el modelo está eligiendo entre unos tres tokens en cada paso, porque la mayoría de los n-gramas tan largos aparecen una sola vez: 85% de los 5-gramas de los nombres de entrenamiento se ven una única vez, y el modelo ha memorizado qué siguió a cada uno.
Ahí está la trampa. Sobre el texto que contó, un contexto más largo siempre parece mejor, porque con suficiente contexto cada texto resulta único y el modelo puede recitarlo. Evaluar un modelo con su propio texto de entrenamiento mide la memoria, y por eso el capítulo 1 apartó desde el principio texto de validación.
Regla práctica: Nunca juzgues un modelo de n-gramas, ni ningún modelo de lenguaje, por su perplejidad sobre su propio texto de entrenamiento: esta baja hacia 1 a medida que el modelo memoriza. Elige el orden por la perplejidad sobre texto reservado, como hace el resto de este capítulo.
Los contextos más largos se quedan sin evidencia
Memorizar los nombres de entrenamiento no dice nada sobre los nombres nuevos. Un modelo solo puede usar un contexto que ha contado, y la cantidad de contextos posibles crece exponencialmente con su longitud: con cuatro mil tokens, hay dieciséis millones de pares posibles y sesenta y cuatro mil millones de tripletas posibles. Ningún texto de entrenamiento se acerca a cubrirlos. Así que cuanto más largo es el contexto, con más frecuencia un texto nuevo usa uno que el modelo nunca ha visto.
Primero fija un número: en los 4-gramas, ¿qué proporción de los 4-gramas de los nombres de validación no aparece nunca en los nombres de entrenamiento? La proporción para cada orden del 1 al 5 es la siguiente:
1"""Counts, for each order from 1 to 5, the share of the validation names' n-grams that never occur in the training names.2Compare the lines for 2-grams to 5-grams: that share rises with the order."""3from lib.names import name_tokens4from lib.ngrams import ngrams, padded56train, validation = name_tokens("train"), name_tokens("validation")7print("training tokens:", f"{sum(len(t) for t in train):,}")8print("validation tokens:", f"{sum(len(t) for t in validation):,}")9for n in [1, 2, 3, 4, 5]:10 seen = {pair for text in train for pair in ngrams(padded(text, n), n)} # padded, as in the model, so name starts count too11 held_out = [pair for text in validation for pair in ngrams(padded(text, n), n)]12 unseen = sum(pair not in seen for pair in held_out)13 print(f"{n}-grams in validation never seen in training: {unseen / len(held_out):.1%}")
python unseen-ngrams.pytraining tokens: 337,071
validation tokens: 42,422
1-grams in validation never seen in training: 0.1%
2-grams in validation never seen in training: 12.7%
3-grams in validation never seen in training: 31.1%
4-grams in validation never seen in training: 43.9%
5-grams in validation never seen in training: 53.4%
Cuanto más largo es el contexto, más de los n-gramas de los nombres de validación son nuevos. Solo 0.1% de los tokens de validación no se han visto, lo cual es el tokenizador de la tienda haciendo su trabajo. Entre los bigramas de validación, 12.7% no se han visto; de los 4-gramas, 43.9%, y de los 5-gramas, 53.4%. Con cuatro tokens de contexto, el modelo nunca ha visto más de la mitad de lo que necesita para predecir.
Más texto de entrenamiento ayuda menos de lo que quizá esperas. En el lenguaje, unos pocos n-gramas aparecen con mucha frecuencia y la mayoría aparece raramente, así que cada vez que duplicas el texto se añaden sobre todo n-gramas vistos una o dos veces, que apenas mejoran los recuentos que sostienen cada predicción. El catálogo de la tienda muestra el mismo patrón en pequeño: una frase común como coffee table se cuenta más de mil veces, mientras que 82% de los 4-gramas de los nombres de entrenamiento se cuenta una sola vez. Nuestra opinión, no una medición, es que un catálogo diez veces mayor seguiría dejando una gran proporción de 4-gramas nuevos sin ver, porque constantemente aparecen nuevas líneas de producto y nuevas combinaciones de tallas y materiales.
Los dos ejemplos juntos son el problema central del conteo. Los contextos más largos predicen mejor cuando se han visto, pero se ven cada vez menos. Cada método del resto de este capítulo es una forma de usar contextos largos cuando los recuentos lo permiten, y de recurrir a contextos más cortos cuando no.
Regla práctica: Antes de elegir un orden de n-gramas, mide la proporción de n-gramas reservados (de validación) que el texto de entrenamiento nunca contiene. Como regla orientativa, cuando se acerca a un tercio, como ocurre con los trigramas en los nombres de la tienda, un modelo de ese orden depende sobre todo de cómo trate lo no visto, así que su suavizado importa más que su orden.
Mezclar contextos cortos y largos
La solución obvia para los contextos largos no vistos es recurrir a otros más cortos. La interpolación recurre a ellos de forma suave: la probabilidad de un token es una mezcla ponderada de lo que indican los conteos de trigramas, bigramas y unigramas, de modo que un contexto largo que el modelo ha visto aporta su predicción precisa, y los más cortos completan lo que no ha visto. Con pesos λ₃, λ₂ y λ₁ que suman uno:
P(token | a b) = λ₃ · P₃(token | a b) + λ₂ · P₂(token | b) + λ₁ · P₁(token)
donde cada P es una estimación de máxima verosimilitud a partir de conteos, como en las probabilidades del capítulo 1. El estudio de Chen y Goodman sobre métodos de suavizado cubre en detalle la interpolación y sus variantes (Chen y Goodman, 1996).
Los pesos fijados a mano hacen evidente la idea. Tomemos un trigrama interpolado con 0.6, 0.3 y 0.09 para los tres órdenes, y el 0.01 restante repartido por igual entre todos los tokens, de modo que ningún token tenga probabilidad cero. Cuando un contexto nunca se ha visto, su peso pasa a los órdenes inferiores, así que las probabilidades siguen sumando uno:
1"""Builds an interpolated trigram model by hand, with fixed weights, and an add-one bigram model on the same tokens.2The two validation perplexity lines to compare are the interpolated trigram's and the add-one bigram's."""3import math4from collections import Counter56from lib.names import name_tokens7from lib.ngrams import ngrams, padded, perplexity89train, validation = name_tokens("train"), name_tokens("validation")10counts = {k: Counter() for k in (1, 2, 3)} # counts[k][(the k-1 tokens before, token)]11for text in train:12 for context, token in ngrams(padded(text, 3), 3):13 for k in (1, 2, 3):14 # a trigram's context holds two tokens; an order-k model conditions on the last k-1 of them15 counts[k][(context[3 - k:], token)] += 116totals = {k: Counter() for k in (1, 2, 3)}17for k in (1, 2, 3):18 for (context, _), count in counts[k].items():19 totals[k][context] += count20# the tokens the training names contain, plus one slot for a token they never contain21vocabulary = len({token for (_, token) in counts[1]}) + 122weights = {3: 0.6, 2: 0.3, 1: 0.09} # and 0.01 spread evenly over every token232425class Interpolated:26 n = 32728 def probability(self, context, token):29 p, carried = 0.0, 0.030 for k in (3, 2, 1):31 # each order's own context32 weight, total = weights[k] + carried, totals[k][context[3 - k:]]33 if total: # an unseen context passes its weight down34 p, carried = p + weight * counts[k][(context[3 - k:], token)] / total, 0.035 else:36 carried = weight37 # the even 0.01 share, plus any weight passed down from unseen contexts, over the vocabulary38 return p + (0.01 + carried) / vocabulary394041print("interpolated 3-gram validation perplexity:", round(perplexity(Interpolated(), validation), 1))4243# a bigram's context is the one token before the token44bigram_pairs = Counter((context[-1:], token) for text in train for context, token in ngrams(padded(text, 2), 2))45bigram_totals = Counter()46for (context, _), count in bigram_pairs.items():47 bigram_totals[context] += count484950class AddOne:51 n = 25253 def probability(self, context, token):54 # add-one: one added to every pair's count, and one per vocabulary token added to the total55 return (bigram_pairs[(context, token)] + 1) / (bigram_totals[context] + vocabulary)565758print("add-one 2-gram validation perplexity:", round(perplexity(AddOne(), validation), 1))
python interpolate-orders.pyinterpolated 3-gram validation perplexity: 31.4
add-one 2-gram validation perplexity: 218.6
Mezclar órdenes supera al suavizado de suma uno del capítulo 1. Para una comparación justa, la suma uno aquí se aplica a un modelo de bigramas sobre los mismos tokens de validación, pues las perplejidades sobre tokens distintos no son comparables. El trigrama interpolado obtiene 31.4, y la suma uno obtiene 218.6. La suma uno reparte la mayor parte de su probabilidad entre pares que nunca aparecen; mezclar órdenes conserva lo que sabe cada orden.
Tiene dos debilidades. Los pesos son fijos, y estos se eligieron a mano, no se ajustaron: el mismo 0.6 va al trigrama tanto si su contexto se vio una vez como mil veces, aunque un contexto visto mil veces merece más confianza. Y la parte de unigramas asigna a cada token una probabilidad proporcional a su frecuencia, lo que, como muestra la siguiente sección, es la pregunta equivocada para un respaldo.
Regla práctica: Nunca uses un único orden de n-gramas por sí solo; combínalo siempre con órdenes inferiores, de modo que cada token conserve algo de probabilidad. Prefiere métodos que fijen el peso de cada contexto a partir de sus conteos, como Kneser-Ney más abajo, frente a pesos fijos. Si usas pesos fijos, elígelos sobre texto reservado, no sobre el texto que contaste.
Cuenta los contextos que sigue un token
Cuando un modelo retrocede a un contexto más corto, se está haciendo una pregunta concreta: qué tan probable es que este token aparezca en un contexto que no hemos visto. La frecuencia bruta responde a otra. Un token puede ser muy común y aun así aparecer solo después de uno o dos tokens determinados, y un token así es una mala suposición para un contexto nuevo. La medida más adecuada es el recuento de continuaciones de un token, es decir, el número de tokens distintos a los que sigue: un token que ha seguido a muchos tokens diferentes tiene probabilidades de seguir también a uno nuevo.
Entre los 300 tokens más frecuentes de los nombres de entrenamiento, estos tres aparecen después de la menor cantidad de tokens distintos en proporción a su frecuencia, junto a dos palabras comunes de productos, como comparación:
1"""Counts, for each token in the training names, how often it occurs and how many different tokens come right before it.2Look at the three narrowest tokens, which occur often but follow few different tokens, beside table and chair."""3from collections import Counter, defaultdict45from lib.names import name_tokens67occurrences, before = Counter(), defaultdict(set)8for text in name_tokens("train"):9 for previous, token in zip(["<s>"] + text, text): # the start marker stands before each name's first token, so that token has something to follow too10 occurrences[token] += 111 before[token].add(previous) # the different tokens this one follows1213common = [t for t, _ in occurrences.most_common(300)] # the 300 most frequent tokens: the pool the prose ranks14# different tokens followed, per occurrence, lowest first: the three narrowest15narrow = sorted(common, key=lambda t: len(before[t]) / occurrences[t])[:3]16for token in narrow + ["table</w>", "chair</w>"]: # </w> marks a token that ends a word, as the store's tokenizer writes it17 print(f"{token:<14} occurs {occurrences[token]:>5,} times, after {len(before[token]):>4,} different tokens")
python continuation-counts.pytvs</w> occurs 323 times, after 1 different tokens
wide</w> occurs 1,985 times, after 14 different tokens
''</w> occurs 10,335 times, after 85 different tokens
table</w> occurs 3,487 times, after 154 different tokens
chair</w> occurs 2,791 times, after 138 different tokens
El token tvs aparece cientos de veces, pero después de un único token distinto: en los nombres de la tienda siempre forma parte de la misma frase, en productos fabricados para televisores. Un modelo que retrocediera a la frecuencia bruta consideraría que tvs es una suposición razonable en cualquier contexto, y casi nunca lo es. wide solo sigue a unos pocos tokens, sobre todo a los signos de pulgada de los números, y el propio signo de pulgada, '', sigue sobre todo a dígitos. Mientras tanto, table y chair siguen cada uno a bastante más de cien tokens distintos: coffee table, side table, outdoor table. Sus recuentos de continuaciones dicen lo que su frecuencia no dice: aparecen después de bastante más de cien tokens distintos.
Los recuentos de continuaciones son fáciles de calcular: para cada token, guarda el conjunto de tokens que aparecieron antes que él y cuenta ese conjunto. No necesitan texto adicional ni ajustes, solo hacer una pregunta distinta sobre los mismos recuentos, y la sección siguiente se apoya en ellos.
Esta es la idea detrás del suavizado de Kneser-Ney (Kneser y Ney, 1995): cuando el modelo recurre a un contexto más corto, usa recuentos de continuaciones en lugar de recuentos brutos, de modo que los tokens que aparecen en muchos contextos reciben la probabilidad, y los tokens que aparecen solo en una frase fija no la reciben.
Regla práctica: Pondera los tokens según el número de contextos distintos que siguen, no según la frecuencia con que aparecen, siempre que retrocedas de un contexto largo a uno corto. Usa recuentos brutos solo en el orden más alto, donde el contexto realmente se ha visto.
Suavizar con Kneser-Ney
El suavizado de Kneser-Ney combina la interpolación de órdenes con los conteos de continuación. En cada orden, Kneser-Ney resta un descuento d fijo a cada conteo que ha visto, y entrega la probabilidad que obtuvo al orden inmediatamente inferior, de modo que un contexto visto con frecuencia conserva casi toda su propia predicción, y un contexto visto pocas veces se apoya en el contexto más corto, con el descuento liberado yendo a los tokens que aparecen en muchos contextos.
La misma fórmula se aplica en cada orden. Por debajo del orden más alto, los conteos son conteos de continuación, excepto para los n-gramas que inician un texto, que conservan sus conteos brutos, como lo hace el conjunto de herramientas KenLM. Para un contexto h y un token w, con c(h w) el conteo del par, c(h) el conteo del contexto y N(h) el número de tokens distintos vistos después de h:
P(w | h) = max(c(h w) − d, 0) / c(h) + d · N(h) / c(h) · P(w | h más corto)
El módulo compartido del libro lib.ngrams implementa el Kneser-Ney interpolado tal como lo describen Chen y Goodman (Chen y Goodman, 1999), con un descuento de 0.75, un valor predeterminado habitual. Su orden más bajo mezcla una parte uniforme sobre el vocabulario, de modo que incluso un token nunca visto en el entrenamiento conserva una pequeña probabilidad.
Antes de confiar en el módulo, calcula a mano una probabilidad: stool después de un nombre que empieza con patio bar, orden por orden. Colócala junto a la respuesta del módulo, y junto a las probabilidades del módulo después de este contexto, sumadas sobre todos los tokens:
1"""Works out the probability of stool after a name that starts patio bar, order by order, with the chapter's formula.2It checks the result against lib.ngrams and against the module's probabilities summed over the vocabulary: the3by hand line should match the lib.ngrams line, and the summed line should be a probability distribution's total."""4from lib import bpe5from lib.names import name_tokens6from lib.ngrams import START, KneserNey78model = KneserNey(name_tokens("train"), 4) # a 4-gram model; below the top order its counts are continuation counts, except for n-grams that start a name9context = tuple([START] + bpe.store_tokenizer().encode("patio bar")) # a name that starts "patio bar"10token, d = "stool</w>", model.d # </w> ends a word; d is the discount, 0.75 by default111213def by_hand(context, k): # the chapter's formula, one order at a time14 if k == 0:15 return 1 / (len(model.vocabulary) + 1) # order 0 is uniform over the vocabulary, with one more slot for an unseen token16 context = context[len(context) - (k - 1):] if k > 1 else () # the last k-1 tokens: the order-k model's own context17 following, total = model.counts[k][context], model.totals[k].get(context, 0)18 if total == 0:19 return by_hand(context, k - 1) # a context never seen gives all its weight to the order below20 kept = max(following[token] - d, 0) / total # the discounted count21 passed_down = d * len(following) / total # what the discount frees for the order below22 print(f"order {k}: kept {kept:.4f}, passed down {passed_down:.4f}")23 return kept + passed_down * by_hand(context, k - 1)242526print("by hand:", f"{by_hand(context, 4):.4f}")27print("lib.ngrams:", f"{model.probability(context, token):.4f}")28total = sum(model.probability(context, t) for t in model.vocabulary)29print("probabilities after the context, summed:", f"{total:.4f}")
python kneser-ney-by-hand.pyorder 4: kept 0.2500, passed down 0.7500
order 3: kept 0.8056, passed down 0.1667
order 2: kept 0.0630, passed down 0.1275
order 1: kept 0.0007, passed down 0.0318
by hand: 0.8621
lib.ngrams: 0.8621
probabilities after the context, summed: 1.0000
Calculada a mano, la fórmula da 0.8621 para stool, lo mismo que el 0.8621 del módulo. Cada orden conserva una parte y pasa el resto hacia abajo; las partes suman esa respuesta. Sobre todos los tokens del vocabulario, las probabilidades del módulo después de este contexto suman 1.0000, como debe hacerlo una distribución de probabilidad.
Los modelos de Kneser-Ney de cada orden del 1 al 5, evaluados sobre los nombres de validación, muestran si los contextos más largos ahora compensan:
1"""Builds Kneser-Ney models of orders 1 to 5 on the training names, scores each on the validation names, and estimates a2discount from the 4-gram counts. The lines to read are the validation perplexities, the 3-gram's set against the interpolated trigram's, and the discount line."""3from lib.names import name_tokens4from lib.ngrams import KneserNey, perplexity56train, validation = name_tokens("train"), name_tokens("validation")7for n in [1, 2, 3, 4, 5]:8 model = KneserNey(train, n)9 print(f"{n}-gram validation perplexity: {perplexity(model, validation):.1f}")1011model = KneserNey(train, 4)12# the highest order keeps raw counts, not continuation counts, so these are how often each 4-gram occurs in training13top = [c for following in model.counts[4].values() for c in following.values()]14once, twice = top.count(1), top.count(2)15print("4-grams seen once:", f"{once:,}")16print("4-grams seen twice:", f"{twice:,}")17# Chen and Goodman's estimate of the discount: D = n1 / (n1 + 2 n2), with n1 and n2 the counts seen once and twice18print("discount estimated from them:", f"{once / (once + 2 * twice):.2f}")
python kneser-ney-by-order.py1-gram validation perplexity: 687.2
2-gram validation perplexity: 46.9
3-gram validation perplexity: 24.9
4-gram validation perplexity: 23.1
5-gram validation perplexity: 23.5
4-grams seen once: 164,374
4-grams seen twice: 18,359
discount estimated from them: 0.82
Kneser-Ney supera al trigrama interpolado con pesos elegidos a mano de la sección de interpolación en el mismo orden, sin pesos que elegir. Su trigrama obtiene 24.9, frente a 31.4 del que tiene pesos elegidos a mano.
Los contextos más largos ahora ayudan con texto nuevo, en lugar de solo con el texto que el modelo contó, hasta cierto punto: la perplejidad de validación baja de 46.9 para el bigrama a 23.1 para el 4-grama, y luego sube a 23.5 para el 5-grama. El paso de trigrama a 4-grama es pequeño, y el 5-grama es peor, porque para entonces la mayoría de los contextos no se han visto y el orden adicional añade ruido. El descuento también puede estimarse a partir de los conteos: Chen y Goodman dan D = n₁ / (n₁ + 2 n₂), donde n₁ y n₂ son los números de n-gramas vistos una y dos veces, y en los 4-gramas de la tienda da 0.82, cerca del valor predeterminado.
Regla práctica: Suaviza los modelos de n-gramas con Kneser-Ney interpolado y un descuento de 0.75, salvo que un texto reservado (held-out) indique otra cosa. Sube el orden solo mientras la perplejidad de validación siga bajando de forma notable, y detente cuando un paso apenas ayude o perjudique, como ocurre con el paso de 4-grama a 5-grama. Una variante, el Kneser-Ney modificado, usa tres descuentos en lugar de uno y es la que construyen herramientas como KenLM; probablemente bajaría un poco la línea base, pero este libro mantiene el descuento único porque es más fácil de seguir a mano.
Autocompletado con tres tokens de contexto
Un contexto más largo debería corregir la peor sugerencia del cuadro de búsqueda del capítulo 1, donde patio bar recibió las mismas sugerencias que bar. El modelo de 4 gramas con suavizado Kneser-Ney ve los últimos tres tokens que escribió el comprador, así que patio se mantiene a la vista.
¿Cambian las sugerencias de bar a patio bar y a outdoor bar? Toma los tres tokens siguientes más probables según el modelo de 4 gramas después de cada uno. Cada prefijo se trata como el inicio de un nombre, como lo es lo que escribe un comprador, y cada sugerencia muestra su token sin el marcador de fin de palabra:
1"""Asks the 4-gram model for its three likeliest next tokens after bar, patio bar and outdoor bar, each typed as the start2of a name, then counts the training names that contain outdoor bar. The three suggestion lines carry the point, and the last line3counts the training names with outdoor bar in them."""4from lib import bpe5from lib.names import name_tokens6from lib.ngrams import START, KneserNey78model = KneserNey(name_tokens("train"), 4)9tokenizer = bpe.store_tokenizer()10candidates = sorted(model.vocabulary) # sorted first, so tokens with equal probability keep alphabetical order1112for typed in ["bar", "patio bar", "outdoor bar"]:13 # padded with start markers, then the last three tokens: a short prefix still gives a full context14 context = tuple([START] * 3 + tokenizer.encode(typed))[-3:]15 ranked = sorted(candidates, key=lambda t: -model.probability(context, t))[:3] # negated, so the likeliest sort first16 print(f"{typed:<12} -> " + ", ".join(f"{t.replace('</w>', '')} {model.probability(context, t):.2f}" for t in ranked))17# each name as one string of tokens, so the check below matches whole tokens rather than parts of them18names = [" ".join(t) for t in name_tokens("train")]19print("training names containing 'outdoor bar':", sum("outdoor</w> bar</w>" in n for n in names))
python ngram-autocomplete.pybar -> & 0.23, unit 0.13, with 0.11
patio bar -> stool 0.86, & 0.03, with 0.02
outdoor bar -> & 0.23, with 0.19, stool 0.06
training names containing 'outdoor bar': 0
Después de bar solo, el modelo sugiere continuaciones como & y with, que pertenecen a nombres que empiezan como bar & counter stools; el bigrama del capítulo 1, que ignoraba la posición de la palabra, sugería primero stool. Después de patio bar, sugiere stool con alta probabilidad: el contexto cambió la predicción, algo que un modelo de bigramas no puede hacer. Después de outdoor bar, en cambio, las sugerencias vuelven a derivar hacia & y with, porque ningún nombre de entrenamiento contiene outdoor bar, como muestra la última línea del ejemplo, y el modelo retrocede a lo que sigue a bar.
Sugerencias como & y with son continuaciones reales de los nombres de la tienda, pero un comprador rara vez quiere que se le ofrezcan. Un cuadro de búsqueda las filtraría, como sugirió el capítulo 1 para los signos de puntuación, o completaría frases enteras en lugar de tokens sueltos. Es una decisión de presentación; las probabilidades del modelo son las mismas en ambos casos.
La línea de outdoor bar es el límite del conteo en miniatura. El modelo ha visto patio bar stool, outdoor patio y bar stool muchas veces, así que tiene las piezas para suponer que una barra exterior probablemente viene con taburetes. Pero un conteo de outdoor bar stool es una entrada separada en una tabla, y nada la conecta con patio bar stool. Un modelo necesita alguna noción de que outdoor y patio se parecen, algo que el conteo no tiene. El capítulo 4 da a los tokens de la tienda esa noción.
Regla práctica: Usa el contexto más largo que tu modelo pueda sostener para las sugerencias, y revisa por separado las sugerencias para contextos poco frecuentes en el entrenamiento, como outdoor bar, de los contextos comunes: ahí es donde un modelo basado en conteos recurre a conjeturas genéricas.
La línea base contra la que se mide cada modelo posterior
Cada capítulo a partir de aquí construye un modelo que aprende, no uno que cuenta, y cada uno afirma predecir mejor el texto de la tienda. Una afirmación así necesita una línea base, una referencia fija: un modelo, un texto, un tokenizador y una medida con los que se compara cada modelo posterior. Una línea base debe ser el modelo simple más sólido disponible, de modo que superarla tenga sentido.
La línea base de este libro es el modelo 4-gram de Kneser-Ney de este capítulo, evaluado sobre los nombres de validación de la tienda con el tokenizador de la tienda. Su perplejidad de validación es 23.1 por token, según el ejemplo de Kneser-Ney. El modelo 5-gram es peor, con 23.5, y contiene más conteos, así que el 4-gram es la línea base: el mejor de los modelos basados en conteos de este capítulo sobre los nombres de la tienda. Existe una línea base basada en conteos más fuerte, Kneser-Ney modificado, y el libro no la usa, por la razón que explica la sección sobre Kneser-Ney.
La línea base también fija expectativas. Una perplejidad cercana a veinte significa que el modelo, en promedio, elige entre unos veinte tokens probables en cada paso de un nombre de producto. Algunos pasos son casi seguros, como table después de coffee, y otros están abiertos, como el primer token del nombre de una línea de productos. Un modelo neuronal que supere la línea base debería hacerlo prediciendo mejor los pasos abiertos, porque puede relacionar un contexto con otro, y no memorizando más.
Dos aspectos de la línea base se mantendrán fijos durante el resto del libro. Cada perplejidad se expresa por token del tokenizador de la tienda, sobre los nombres de validación, de modo que los números de cada capítulo pueden compararse entre sí. Y los nombres de prueba permanecen intactos hasta la comparación final del libro, así que nada del libro se ajusta con ellos.
Regla práctica: Antes de construir un modelo aprendido, construye el modelo basado en conteos más sólido que puedas y registra su perplejidad sobre datos no vistos como línea base. Compara cada modelo posterior con ella, sobre el mismo texto y con el mismo tokenizador, y trata un modelo aprendido que no la supere como un resultado que hay que explicar, nunca como un éxito. Los capítulos posteriores encuentran exactamente eso, y hacen que los modelos aprendidos se ganen su lugar de otra manera.
Qué sale mal en producción
Los modelos de n-gramas siguen siendo útiles allí donde importan más la velocidad y la transparencia que el último punto de perplejidad, como en el autocompletado rápido. Estos son los problemas que traen consigo:
- Las tablas crecen. Cada orden añade otra tabla de conteos, y el número de n-gramas distintos crece casi tan rápido como el texto. Elimina los n-gramas vistos una sola vez y mide la perplejidad de validación después de la poda, ya que algunos n-gramas raros aportan información real.
- Los contextos raros reciben respuestas genéricas. Como mostró
outdoor bar, un contexto que el modelo vio pocas veces recurre a lo que sugiere el contexto más corto. Supervisa las sugerencias para los prefijos raros, no solo para los comunes. - El descuento es una decisión. Un descuento de 0.75 es un valor por defecto sólido, no una ley. Si tu texto se diferencia mucho del de la tienda, ajústalo con texto reservado para evaluación.
- Los textos nuevos cambian los conteos. Las líneas de productos aparecen y desaparecen, y los conteos detrás de cada sugerencia solo están tan al día como la última reconstrucción. Reconstruye el modelo según un calendario y compara la perplejidad de validación sobre texto reciente con la línea base para ver cuándo el modelo ha quedado desactualizado.
- Las probabilidades deben sumar uno. Los esquemas de backoff escritos a mano suelen perder o contar dos veces probabilidad, lo que hace que la perplejidad parezca mejor o peor de lo que es. Comprueba, en unos pocos contextos, que las probabilidades de cada uno sobre el vocabulario suman uno.
Lo que decidió este capítulo
- Cada modelo del libro se evalúa con la perplejidad por token sobre los nombres de validación del almacén, usando el tokenizador del almacén. Un mismo texto, un mismo tokenizador y una misma medida hacen que los números de cada capítulo sean comparables entre sí, y los nombres de prueba se reservan para la comparación final del libro, en el capítulo 11.
- Los modelos de n-gramas se suavizan con Kneser-Ney interpolado, con descuento de 0.75. Superó a la interpolación con pesos ajustados a mano para el mismo orden, sin pesos que afinar, porque confía en cada contexto en proporción a sus recuentos y retrocede hacia tokens que siguen a muchos contextos.
- La referencia es el modelo Kneser-Ney de 4-gramas, con 23.1 por token sobre los nombres de validación. El modelo de 5-gramas obtiene peores resultados y almacena más recuentos, así que el de 4-gramas es el punto de comparación.
- El autocompletado usa las sugerencias del modelo de 4-gramas, con tres tokens de contexto. Resuelve
patio bar, y aun así recurre a sugerencias genéricas en contextos poco frecuentes, comooutdoor bar, que es donde un modelo aprendido tiene que hacerlo mejor. - Los contextos más largos dejan de ayudar porque no aparecen en los datos, no porque no importen. Más de la mitad de los 5-gramas de los nombres de validación nunca aparecen en el entrenamiento, y el modelo no puede relacionar un contexto no visto con otros similares que sí lo fueron. El capítulo 4 empieza con ese problema, asignando a los tokens vectores que indican cuáles se parecen entre sí.
Este capítulo, en esta edición
Edición 2026.11.16Ejemplos verificados el 19 de nov de 2026Superan la prueba 7 de 7 ejemplos ejemplos de este capítulo
Traducido del libro en inglés, edición 2026.11.16.