Versiona el enrutador, vigila sus traspasos y recurre a personas
Unos 22 minutos de lectura, con 4 ejemplos en 8 secciones.
Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros
Traducido del libro en inglés, edición 2026.11.9. Lee el original
En esta página
Al final de este capítulo, podrás nombrar un enrutador por las partes que componen sus respuestas, comprobar esas partes antes de que la ruta las cargue, contar la tasa de traspasos para cada ventana de mensajes frente a una línea base indicada, y decir a dónde va cada mensaje traspasado.
Capítulo 8 colocó el enrutador detrás de una ruta, y cada respuesta lleva un equipo o una marca que envía el mensaje a una persona. Una ruta que recibe los mensajes de atención al cliente del banco durante meses plantea tres preguntas que la ruta no puede responder por sí sola. ¿Qué modelo está respondiendo? ¿Son sus archivos los que se verificaron? ¿Los mensajes que traspasa son cada vez más o cada vez menos? Este capítulo da a cada pregunta un control y un recuento impreso. Los controles son propios de este libro.
Este capítulo cubre lo que añade ejecutar tu propio modelo: versiones, una alternativa con personas y el reentrenamiento. Vigilar un servicio en general, con sus paneles, registros y alertas, es materia de un libro sobre monitorización en producción, y este capítulo no lo repite.
Nombra el enrutador por sus partes
Un enrutador es más que su modelo. Es el modelo base, el adaptador entrenado sobre ese modelo base, el umbral que envía un mensaje a una persona, y los datos y la receta que produjeron el adaptador. Dos enrutadores que difieren en cualquiera de estos elementos pueden responder de manera distinta al mismo mensaje. Una línea de registro que diga solo "el enrutador" no permite distinguirlos.
Los archivos del adaptador no incluyen el modelo base. La guía de puntos de control de PEFT indica que los pesos guardados contienen solo los parámetros del módulo adaptador, nada del modelo base. Por lo tanto, el adaptador debe nombrar el base sobre el que se entrenó, y el nombre tiene que ser exacto. Este libro nombra el modelo base por su commit, el anclaje en examples/models.toml, porque un hash de commit corto no sirve. La guía de descarga de Hugging Face, en v2.4.0 exige el hash de longitud completa siempre que se indique un commit. Si no se nombra ninguna revisión, la descarga toma lo que contenga la rama main. Un nombre de rama, por lo tanto, se mueve con la rama, y no es un anclaje. El [capítulo 5] registró la revisión base en el manifiesto del adaptador, junto al umbral, el commit de datos y el hash de la receta.
La versión se escribe en el nombre. banking77-lora-v1 es el adaptador LoRA registrado, entrenado durante una época con las filas de entrenamiento fuera de la partición de desarrollo, versión uno. Un nuevo registro de la misma receta es v2, y recibe su propio nombre y su propio manifiesto. El manifiesto no tiene un campo de versión aparte. El nombre es la versión, y la ruta del capítulo 8 informa la versión como el sufijo del nombre del adaptador. Para banking77-lora-v1 ese sufijo es v1. La copia int8 del capítulo 7 es un modelo distinto, banking77-lora-v1-int8, y esta ruta no lo sirve. Su sufijo diría int8, así que una copia servida por nombre necesita un campo de versión propio.
La primera comprobación lee el manifiesto y compara su revisión base con el anclaje. Imprime primero el nombre del adaptador, seguido de la comparación:
1"""Show what the adapter check does before a route loads an adapter, and what it does to two edited copies.2The point rests on the "route may load" line and on the two "refused by make_app" lines."""3import os45os.environ["HF_HUB_OFFLINE"] = "1"6os.environ["TRANSFORMERS_OFFLINE"] = "1"7import tempfile # noqa: E4028import warnings # noqa: E4029from pathlib import Path # noqa: E4021011import torch # noqa: E4021213torch.set_num_threads(2)1415import router_lib # noqa: E4021617router_lib.setup_runtime()18RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"19# check_adapter hashes the manifest, the outputs and the LoRA settings; pinned is the manifest's digest matching its pin20manifest, s_ok, s_n, f_ok, f_n, pinned = router_lib.check_adapter(RECORDED)21# the base pin in models.toml, compared with the manifest's base revision22base = router_lib.pinned_revision(manifest["model"]) == manifest["model_version"]23print(f"adapter: {manifest['adapter']}")24print(f"base revision matches pin: {'yes' if base else 'no'}")25print(f"manifest matches pin: {'yes' if pinned else 'no'}")26print(f"settings matching: {s_ok}/{s_n}")27print(f"files matching: {f_ok}/{f_n}")28print("route may load: " + ("yes" if base and pinned and s_ok == s_n and f_ok == f_n else "no"))29with tempfile.TemporaryDirectory() as tmp:30 # changes a manifest field that is neither a LoRA setting nor an output file, so only the manifest digest sees it31 threshold = router_lib.edited_copy(RECORDED, Path(tmp) / "threshold", "manifest.json", "handoff_threshold", 0.0)32 # adds a key that LoraConfig does not know, to the config the settings are read from33 extra = router_lib.edited_copy(RECORDED, Path(tmp) / "extra", "adapter/adapter_config.json", "future_key", 1)34 for label, folder in [("threshold copy", threshold), ("extra-key copy", extra)]:35 _, s_ok, s_n, f_ok, f_n, pinned = router_lib.check_adapter(folder)36 print(f"{label}: manifest matches pin {'yes' if pinned else 'no'}, settings {s_ok}/{s_n}, files {f_ok}/{f_n}")37 print(f"{label} refused by make_app: {'yes' if router_lib.refused_by_make_app(folder) else 'no'}")38 with warnings.catch_warnings(record=True) as caught:39 warnings.simplefilter("always")40 router_lib.load_classifier(extra / "adapter")41 named = [w for w in caught if "future_key" in str(w.message)] # only the warning about the extra key42 print(f"warnings naming the extra key while PEFT loads the copy: {len(named)}")43 # the warning's first sentence: the text up to the first ". " in its message44 print(f"that warning: {named[0].category.__name__}: {str(named[0].message).split('. ')[0]}.")
python adapter-manifest-check.pyadapter: banking77-lora-v1
base revision matches pin: yes
manifest matches pin: yes
settings matching: 3/3
files matching: 3/3
route may load: yes
threshold copy: manifest matches pin no, settings 3/3, files 3/3
threshold copy refused by make_app: yes
extra-key copy: manifest matches pin yes, settings 3/3, files 2/3
extra-key copy refused by make_app: yes
warnings naming the extra key while PEFT loads the copy: 1
that warning: UserWarning: Unexpected keyword arguments ['future_key'] for class LoraConfig, these are ignored.
El nombre lleva la versión, banking77-lora-v1, y la revisión base coincide con el anclaje (yes). Estas son las dos partes que un lector puede verificar contra los anclajes antes de leer cualquier archivo.
Regla práctica: Nombra un enrutador por su revisión base, el nombre de su adaptador con la versión incluida en ese nombre, su commit de datos, su umbral y el hash de su receta, y escribe los cinco en el manifiesto del adaptador antes de que la ruta lo sirva. Compara la revisión base del manifiesto con el anclaje en examples/models.toml cada vez que cargues el adaptador. Un anclaje que se ha movido significa un modelo base distinto, y el adaptador necesita una nueva comprobación antes de servir.
Verifica los archivos del adaptador contra su manifiesto
Una carga no es una comprobación de versión. La guía de checkpoints de PEFT señala que la mayoría de las entradas de una configuración LoRA no son necesarias para cargar el modelo, así que una carga puede tener éxito con una configuración que alguien modificó a mano. Una carga exitosa no demuestra que el adaptador sea el fijado. La copia con la clave extra sigue cargándose, y esa carga produce una advertencia que nombra la clave extra. Una base que no coincide sí falla al cargar, con un error de state-dict, en la sonda de investigación; este ejemplo no imprime ese caso.
Por eso la verificación compara el adaptador con su manifiesto, en tres partes. Calcula por sí misma el SHA-256 de manifest.json y lo compara con el resumen fijado para el nombre del adaptador en examples/adapter-pins.json. El fijado cubre cada campo que contiene el manifiesto, incluidos el umbral, la revisión de la base y los resúmenes de las salidas. Calcula el SHA-256 de cada archivo de salida que lista el manifiesto y lo compara con el resumen que registra el manifiesto. También lee en la configuración los tres ajustes de LoRA, el rango, el alfa que fija la escala y las capas objetivo, y los compara con el manifiesto. Las líneas impresas indican cuántos de cada grupo coinciden y si la ruta puede cargar la carpeta.
Para el adaptador registrado, el manifiesto coincide con su fijado (yes), 3/3 ajustes y 3/3 archivos coinciden, así que la ruta puede cargarlo.
La verificación también se ejecuta sobre dos copias editadas, y cada una tiene su propia línea. La primera tiene su handoff_threshold cambiado a 0 en el manifiesto, y su línea es manifest matches pin no, settings 3/3, files 3/3. Sus ajustes y archivos siguen coincidiendo, porque el umbral no es un ajuste y ningún archivo de salida cambió. Solo el propio resumen del manifiesto detecta el cambio, así que la copia se rechaza. La segunda tiene una clave extra añadida a su configuración, y su línea es manifest matches pin yes, settings 3/3, files 2/3. Sus ajustes siguen coincidiendo, y la verificación de archivos la rechaza, porque el hash del archivo de configuración ya no coincide. PEFT carga esa copia de todos modos, y de las advertencias que produce la carga, 1 nombra la clave extra. Completa, dice UserWarning: Unexpected keyword arguments ['future_key'] for class LoraConfig, these are ignored. La carga devuelve un modelo que ignora la clave, y esa advertencia es todo lo que PEFT dice al respecto. Una advertencia no es un rechazo. La verificación es la que rechaza la copia.
La ruta del capítulo 8 ejecuta esta verificación. Su make_app llama a check_adapter antes de cargar el modelo, y además compara la revisión de la base del manifiesto con el fijado. Lanza un error ante cualquier discrepancia, de modo que una copia que falla se rechaza antes de que el modelo esté en memoria. La copia del umbral es rechazada por make_app (yes), y también lo es la copia con la clave extra (yes). La verificación confía en el repositorio. Su resumen fijado está en examples/adapter-pins.json, junto al código, así que un lector que edite la carpeta pero no el archivo de fijados es rechazado, y un lector que edite ambos no lo es. Por eso el archivo de fijados se revisa como cualquier otro código.
Regla práctica: Ejecuta la verificación antes de que cualquier ruta cargue un adaptador. Fija el SHA-256 del manifiesto junto con el código, cuenta los ajustes y archivos que coinciden, imprime cada recuento con su total, y rechaza la carga cuando algún recuento sea inferior a su total o el resumen del manifiesto no coincida. Toma los hashes de los archivos en disco, y verifica y carga desde los mismos archivos, sin que nada escriba en ellos entre una operación y otra.
Observa la tasa de derivación
La tasa de derivación es el número de mensajes por debajo del umbral dividido entre todos los mensajes de una ventana. El capítulo 2 la definió, y este capítulo la observa a lo largo del tiempo. Una observación necesita tres cosas: una ventana, una línea base y una regla que indique cuándo una ventana se ha alejado demasiado de la línea base.
La línea base es la tasa de derivación en la partición de desarrollo con el umbral del adaptador. dev_handed_off la calcula enrutando una vez todos los mensajes de desarrollo y contando las derivaciones, lo que da 148/1003 (14.8%). El ejemplo de umbral del capítulo 5 imprime el mismo recuento, 148/1003 (14.8%). Ambos coinciden, de modo que la línea base es la que ese capítulo usó para elegir el umbral.
Una línea base tomada del desarrollo no es una previsión para la bandeja de entrada. La partición de desarrollo se extrae de las filas de entrenamiento, equipo por equipo. La muestra de prueba se extrae de la partición de prueba. Ninguna de las dos es una muestra del tráfico de la bandeja de entrada, y la mezcla de equipos en los mensajes reales no se conoce. Por tanto, una diferencia entre una ventana y la línea base es una pregunta que hay que plantear, y no responde a la pregunta por sí misma.
La regla de deriva es una elección de este libro, no una cifra de una fuente. Una ventana deriva cuando su tasa de derivación se aleja de la línea base más de un número de puntos establecido, en cualquier dirección. La regla tal como se imprime dice more than 10 points from the baseline. Quien ejecute la observación debe elegir un número propio y anotarlo antes de leer las ventanas.
La muestra de prueba confirmada, test_1001, no tiene fechas, así que las ventanas se extraen de sus primeros 100 mensajes. Las dos primeras ventanas, de 25 mensajes cada una, son los primeros mensajes de la muestra, en el orden de la muestra. Las semanas 3 y 4 son una repetición, no tráfico nuevo. Para esas dos semanas, el ejemplo toma los siguientes mensajes de la muestra, los ordena por la confianza del enrutador de menor a mayor y divide la lista ordenada en dos. El ejemplo marca la repetición como simulada en su línea impresa, simulated replay of sample messages 51 to 100. La repetición está construida para producir una dispersión de confianzas, así que muestra lo que hace la regla con una ventana sesgada y, como la línea base, no dice nada sobre la bandeja de entrada.
1"""Watch the router's hand-off rate week by week on a fixed, ordered sample of test_1001, against the dev baseline.2The point rests on the "drift" lines and on the "lowest confidence" and "right" lines of weeks 3 and 4, which the output3labels as a simulated replay."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E4021112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()19RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"20# the threshold is read from the manifest, not typed here21threshold = json.loads((RECORDED / "manifest.json").read_text())["handoff_threshold"]22tokenizer, model = router_lib.load_classifier(RECORDED / "adapter")2324handed_dev, n_dev = router_lib.dev_handed_off(model, tokenizer, threshold)25base = 100 * handed_dev / n_dev26print(f"dev hand-off rate (baseline): {handed_dev}/{n_dev} ({base:.1f}%)")27print(f"drift rule: more than {router_lib.DRIFT_POINTS:.0f} points from the baseline")28print("weeks 3 and 4: simulated replay of sample messages 51 to 100")29test = router_lib.read_rows("test")30# simulated=True (the default) adds weeks 3 and 4: messages 51 to 100, lowest confidence first, ties by position31for w, (rows, preds, confs) in enumerate(router_lib.watch_weeks(model, tokenizer, threshold), 1):32 n = len(rows)33 handed = sum(router_lib.handoff(c, threshold) for c in confs)34 rate = 100 * handed / n35 # the messages the router keeps, each with its gold team: test row i holds (text, gold team)36 kept = [(p, test[i][1]) for i, p, c in zip(rows, preds, confs) if not router_lib.handoff(c, threshold)]37 right = sum(p == g for p, g in kept)38 print(f"week {w} messages: {n}")39 print(f"week {w} handed off: {handed}/{n} ({rate:.1f}%)")40 # abs makes the rule two-sided, so a fall in the rate drifts as a rise does41 print(f"week {w} drift: {'yes' if abs(rate - base) > router_lib.DRIFT_POINTS else 'no'}")42 print(f"week {w} lowest confidence: {min(confs):.3f}")43 print(f"week {w} right among messages not handed off: {right}/{len(kept)}")
python handoff-windows.pydev hand-off rate (baseline): 148/1003 (14.8%)
drift rule: more than 10 points from the baseline
weeks 3 and 4: simulated replay of sample messages 51 to 100
week 1 messages: 25
week 1 handed off: 6/25 (24.0%)
week 1 drift: no
week 1 lowest confidence: 0.479
week 1 right among messages not handed off: 17/19
week 2 messages: 25
week 2 handed off: 4/25 (16.0%)
week 2 drift: no
week 2 lowest confidence: 0.378
week 2 right among messages not handed off: 19/21
week 3 messages: 25
week 3 handed off: 9/25 (36.0%)
week 3 drift: yes
week 3 lowest confidence: 0.246
week 3 right among messages not handed off: 16/16
week 4 messages: 25
week 4 handed off: 0/25 (0.0%)
week 4 drift: yes
week 4 lowest confidence: 0.981
week 4 right among messages not handed off: 25/25
Las ventanas son pequeñas porque la muestra es pequeña, con cuatro ventanas de 25 mensajes cada una. En una ventana de este tamaño, un mensaje equivale a 4 puntos de la tasa, así que un solo mensaje puede llevar una ventana al otro lado de la línea de la regla. Una observación sobre una bandeja de entrada real necesita ventanas lo bastante grandes como para que un solo mensaje no decida la marca. El tamaño de la ventana debe figurar en el informe, indicado antes de leer las ventanas.
Las semanas 1 y 2 se mantienen dentro de la regla, y la repetición deriva en ambos sentidos. Las cuatro ventanas quedan así, cada una con su recuento y su marca.
- La semana 1 deriva a una persona 6/25 (24.0%), y su marca de deriva es no.
- La semana 2 deriva a una persona 4/25 (16.0%), y su marca de deriva es no.
- La semana 3 deriva a una persona 9/25 (36.0%), y su marca de deriva es yes.
- La semana 4 deriva a una persona 0/25 (0.0%), y su marca de deriva es yes.
La semana 4 es el caso que el lector debe examinar con atención. Una tasa que cae a cero deriva según esta regla, porque la regla trata una caída igual que un aumento. La tasa es cero porque la confianza más baja de la semana 4 es 0.981, por encima del umbral, así que ningún mensaje de la ventana se deriva. El enrutador acertó en 25/25 de los mensajes que conservó. La ventana es una de respuestas seguras y correctas, y la marca de deriva informa de que su tasa de derivación ha cambiado, no de que el enrutador haya cometido errores.
La semana 3 es el otro tipo de ventana. Su confianza más baja es 0.246, sus derivaciones suben a 9/25 (36.0%), y el enrutador acierta en 16/16 de los mensajes que conserva. Un aumento de derivaciones significa que más mensajes llegan a una persona. Por sí mismo, no muestra qué causa produjo el aumento: si un cambio en los mensajes, en los equipos que aparecen o en el modelo. La ruta no puede saber cuál es, porque sus respuestas no guardan registro de los mensajes, y el capítulo 8 dice lo mismo sobre la tasa que devuelve.
Regla práctica: Cuenta las derivaciones en cada ventana del mismo tamaño, imprime cada recuento con su denominador y compara cada tasa con la línea base de desarrollo con el umbral del adaptador. Fija la regla de deriva, y su número de puntos, antes de leer las ventanas, y escríbela en tu informe. Trata una ventana que deriva como un motivo para leer sus mensajes y sus equipos, no como un veredicto sobre el enrutador.
Muestra de mensajes derivados a personas
El vigilante de derivación cuenta cuántos mensajes se envían a una persona. Quedan dos preguntas abiertas: si el enrutador acertó en los mensajes que derivó y si acertó en los mensajes que retuvo. Esta sección describe cómo se respondería la primera. Es un paso siguiente. Este capítulo no extrae ninguna muestra, no informa etiquetas y no da ningún número para ella.
Una persona etiquetaría una muestra de los mensajes derivados, extraída con una semilla fija, y las etiquetas indicarían qué equipo elige la persona para cada uno. Comparadas con el equipo que habría elegido el modelo del enrutador, mostrarían con qué frecuencia difieren ambos en los mensajes sobre los que el enrutador tenía dudas. Un enrutador que duda de un mensaje es aquel cuyas elecciones conviene revisar con más atención, por lo que esta muestra es la primera que conviene extraer. Un lector que la construya puede usar las etiquetas de referencia de un conjunto de datos público como sustituto de las etiquetas de una persona, y debe indicarlo en el informe.
Una muestra de mensajes derivados no dice cómo se comporta el enrutador con los mensajes que retiene. Los retenidos son los mensajes cuyas respuestas devolvió la ruta, y la derivación nunca los envía a una persona. Su exactitud solo puede estimarse cuando también se revisan algunos de ellos, después de que la ruta ya les haya respondido. La revisión de los mensajes retenidos es una segunda muestra, extraída de la misma manera, y no es un subproducto de la muestra de mensajes derivados. La medida es la exactitud sobre los mensajes no derivados, con su recuento y su denominador, tal como la estableció el capítulo 5.
Regla práctica: Al construir la muestra, extráela con una semilla fija, muestra cuántos mensajes se etiquetaron e informa con qué frecuencia coinciden el equipo del enrutador y el de la persona, con su recuento. Etiquete una muestra de mensajes retenidos con el mismo calendario, y lea la exactitud del enrutador sobre los mensajes retenidos solo a partir de esa muestra. Nunca obtenga la tasa de retenidos a partir de la muestra de derivados.
Recurre a una persona como respaldo
La ruta devuelve una marca y ningún equipo para un mensaje derivado, tal como lo construyó el capítulo 8. Aun así, algo debe ocurrir con ese mensaje. La regla de este capítulo es que un mensaje derivado siempre va a una persona. La respuesta registrada del sustituto, Qwen3-4B-Instruct-2507, puede acompañar al mensaje derivado como una sugerencia, identificada como del sustituto, y es la persona quien decide si la usa. Las respuestas del sustituto sobre test_1001 están registradas en standin-baseline (capítulo 2). El equipo del enrutador nunca se devuelve para un mensaje derivado.
El JSON de la ruta tiene team, confidence, handed_off, adapter y version, y no tiene ningún campo que indique quién respondió. Por lo tanto, una respuesta de recurso nunca debe salir en esa forma. Si un lector quiere incluir una sugerencia en la respuesta, añade un campo propio, de forma deliberada, e indica en la respuesta qué es ese campo.
El libro no enseña una llamada a un modelo alojado como recurso, y no fija ningún umbral para el sustituto. Sus respuestas provienen de una grabación, que el script de recurso lee. Ese script mide con qué frecuencia la sugerencia es correcta, pero no decide nada a partir de esa medida.
1"""Hand each handed-off message to a person, with the stand-in's recorded answer as a labelled suggestion.2The point rests on the "team returned for a handed-off message" line and the "suggestions right" line."""34import os56os.environ["HF_HUB_OFFLINE"] = "1"7os.environ["TRANSFORMERS_OFFLINE"] = "1"89import json # noqa: E4021011import torch # noqa: E4021213torch.set_num_threads(2)1415import router_lib # noqa: E4021617router_lib.setup_runtime()18RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"19# the threshold is read from the manifest, not typed here20threshold = json.loads((RECORDED / "manifest.json").read_text())["handoff_threshold"]21tokenizer, model = router_lib.load_classifier(RECORDED / "adapter")22test = router_lib.read_rows("test")23standin = router_lib.standin_rows() # a dict from test row index to the stand-in's answer, for the rows it answered24rows, handed = [], []25# simulated=False keeps weeks 1 and 2 only: the replay belongs to the watch, not to this example26for weekly_rows, _, confs in router_lib.watch_weeks(model, tokenizer, threshold, simulated=False):27 rows += weekly_rows28 handed += [i for i, c in zip(weekly_rows, confs) if router_lib.handoff(c, threshold)]2930# the list of records stands in for the person's queue, which the book does not build31# the suggestion is None where the stand-in has no recorded answer, and the team is always None32queue = [{"index": i, "team": None, "suggestion": standin[i]["label"] if i in standin else None} for i in handed]33suggested = [r for r in queue if r["suggestion"] is not None]34right = sum(r["suggestion"] == test[r["index"]][1] for r in suggested) # index 1 of a test row is its gold team3536print(f"messages routed: {len(rows)}")37print(f"handed off by the router: {len(handed)}/{len(rows)} ({100 * len(handed) / len(rows):.1f}%)")38print(f"sent to a person: {len(queue)}/{len(handed)}")39print(f"suggestions attached: {len(suggested)}/{len(handed)}")40print(f"suggestions right: {right}/{len(suggested)}")41print(f"team returned for a handed-off message: {sum(r['team'] is not None for r in queue)}")
python fallback-to-larger-model.pymessages routed: 50
handed off by the router: 10/50 (20.0%)
sent to a person: 10/10
suggestions attached: 10/10
suggestions right: 4/10
team returned for a handed-off message: 0
El ejemplo enruta las dos primeras ventanas, 50 mensajes en total, y el enrutador deriva 10/50 (20.0%) de ellos. Cada mensaje derivado genera un registro, y la salida cuenta los registros enviados a una persona. Cuando el sustituto tiene una respuesta registrada, el registro la incluye como sugerencia. De los registros, 10/10 llevan una sugerencia, y el número de equipos devueltos para un mensaje derivado es 0. La lista de registros hace las veces de la cola de la persona. El libro no construye esa cola, y un lector que la construya debe mantener cada registro junto a su mensaje.
Las sugerencias son correctas en 4/10 de los mensajes derivados que llevan una. Eso es menos de la mitad, y es la razón por la que la sugerencia se muestra a una persona y nunca se usa como respuesta. El script de recurso no mide al sustituto en los mensajes que el enrutador conserva. Todos los mensajes derivados de esta muestra llevan una sugerencia, y el capítulo no afirma lo mismo para la bandeja de entrada.
Regla práctica: Envía cada mensaje derivado a una persona. Puede venir acompañado de una respuesta registrada del sustituto, identificada como sugerencia. Nunca devuelvas un equipo para él, y nunca pongas una sugerencia en la forma de respuesta de la ruta sin un campo que indique quién respondió. Cuenta las sugerencias correctas, con el número y su denominador, antes de decidir cuánto peso darles.
Reentrenar ante un disparador
Una ventana con deriva es una señal para revisar, y no inicia por sí sola un reentrenamiento. El libro fija tres disparadores, y esta sección enuncia cada uno. El primero es la deriva, la regla de la vigilancia de este capítulo aplicada a ventanas consecutivas. El libro reentrena cuando dos ventanas consecutivas presentan deriva, un número que ninguna fuente aporta, y tú puedes elegir otro, siempre que lo declares de antemano. El segundo disparador es un equipo añadido a los 77 que devuelve el enrutador. El enrutador no tiene filas de entrenamiento para él, y las etiquetas de las personas lo mostrarían como un equipo fuera de los 77. El tercero es un aumento de equipos erróneos en los mensajes que el enrutador conserva, confirmado en la muestra de mensajes conservados de la sección anterior. No se trata de la muestra de mensajes transferidos, cuyos equipos nunca se devuelven, de modo que los equipos erróneos allí son esperables y no causan daño. El script de reentrenamiento que sigue ejercita solo el primero. Los datos grabados no contienen ningún equipo añadido ni etiquetas de personas, así que el segundo y el tercero son reglas sin prueba aquí.
1"""Decide whether to retrain, as a rule over the weekly drift flags from handoff-windows. The rule is the book's choice,2not a sourced threshold: retrain when two consecutive weeks drift, that is, their hand-off rate is more than3router_lib.DRIFT_POINTS from the dev baseline. The point rests on the "retrain trigger" line."""45import os67os.environ["HF_HUB_OFFLINE"] = "1"8os.environ["TRANSFORMERS_OFFLINE"] = "1"910import json # noqa: E4021112import torch # noqa: E4021314torch.set_num_threads(2)1516import router_lib # noqa: E4021718router_lib.setup_runtime()19RECORDED = router_lib.HERE / "data" / "recorded" / "lora-full"20# the threshold is read from the manifest, not typed here21threshold = json.loads((RECORDED / "manifest.json").read_text())["handoff_threshold"]22tokenizer, model = router_lib.load_classifier(RECORDED / "adapter")23handed_dev, n_dev = router_lib.dev_handed_off(model, tokenizer, threshold)24base = 100 * handed_dev / n_dev2526drifting, run, longest = [], 0, 027# the default simulated=True: weeks 3 and 4 are the replay, the same four windows the watch reads28for rows, _, confs in router_lib.watch_weeks(model, tokenizer, threshold):29 rate = 100 * sum(router_lib.handoff(c, threshold) for c in confs) / len(rows)30 flag = abs(rate - base) > router_lib.DRIFT_POINTS # two-sided, as in the watch31 drifting.append(flag)32 run = run + 1 if flag else 033 longest = max(longest, run)34 print(f"week {len(drifting)} drift: {'yes' if flag else 'no'}")3536print(f"weeks drifting: {sum(drifting)}/{len(drifting)}")37print(f"longest run of drifting weeks: {longest}")38print("rule: retrain when two consecutive weeks drift")39print("retrain trigger: " + ("fired" if longest >= 2 else "not fired"))
python retrain-trigger.pyweek 1 drift: no
week 2 drift: no
week 3 drift: yes
week 4 drift: yes
weeks drifting: 2/4
longest run of drifting weeks: 2
rule: retrain when two consecutive weeks drift
retrain trigger: fired
El script de reentrenamiento aplica la regla de deriva a las mismas cuatro ventanas de la vigilancia, en orden, y encuentra 2/4 ventanas con deriva, con una racha más larga de 2. Las semanas 3 y 4 determinan ese resultado, pues son la repetición de la vigilancia. El disparador fired por la forma en que se construyó la repetición, de modo que la racha muestra la regla funcionando tal como se enunció, y no algo que haya hecho la bandeja de entrada.
Cuando un reentrenamiento sí se inicia, sigue el mismo camino que el primer adaptador. Es una grabación en recordings/, como lo fue banking77-lora-v1, escrita por un script allí, y escribe un manifiesto con los mismos campos. Se nombra como la siguiente versión de la misma receta, así que el adaptador reentrenado es v2. Su umbral se elige de nuevo en el conjunto de desarrollo según la regla del capítulo 5, nunca en la muestra de prueba. La carpeta reentrenada necesita entonces que el resumen del manifiesto se añada a examples/adapter-pins.json, como un cambio al repositorio que alguien revisa. Hasta entonces, make_app se niega a construir la aplicación a partir de ella. El adaptador anterior permanece en su lugar hasta que make_app construya una aplicación desde la nueva carpeta.
Regla práctica: Reentrena cuando se cumpla el disparador que declaraste, y no ante una sola ventana con deriva. Escribe el disparador, su número y la regla junto a las ventanas que lo cumplieron. Un adaptador reentrenado es una grabación nombrada como la siguiente versión, con su resumen de manifiesto fijado y su umbral elegido de nuevo en desarrollo. Conserva el adaptador anterior hasta que el nuevo supere la verificación en make_app.
Qué sale mal en producción
- Un manifiesto se edita a mano. El digest del manifiesto está fijado, así que la comprobación lo rechaza. Una comprobación que confía en el repositorio solo puede burlarse si también se edita el archivo de fijaciones, lo que es un cambio que alguien revisa.
- Una fijación se mueve. La fijación base en
examples/models.tomlpuede cambiar bajo un adaptador cuyo manifiesto todavía nombra la revisión antigua.make_appcompara ambas y rechaza la compilación. - Un respaldo enruta con la escala equivocada. Una confianza procedente de un modelo que nunca se calibró con el umbral no es una puerta de control. Por eso el respaldo del libro nunca enruta, y la sugerencia viaja solo con el mensaje de una persona.
- La ventana es demasiado pequeña. En una ventana de 25 mensajes, un mensaje equivale a 4 puntos. Una marca refleja entonces uno o dos mensajes, y un lector que actúa según ella actúa sobre ruido.
- La tasa cambia y nada lo explica. Las respuestas de la ruta no guardan registro de los mensajes, así que el cambio de la tasa es una pregunta que hay que responder a partir de los mensajes y de sus equipos, con las muestras que este capítulo describe como pasos siguientes.
Se nota el primer tipo de fallo al compilar la aplicación. Una carpeta rechazada lanza un error al arrancar, así que un despliegue que compila la aplicación al iniciarse ve una carpeta mala antes de que falle ningún mensaje. Los otros fallos se ven en los recuentos. Una tasa de traspaso que se mueve aparece en el recuento de una ventana, y la regla de deriva lo informa. Un respaldo que responde a los mensajes equivocados aparece en el recuento de sugerencias, y una muestra de las etiquetas de las personas muestra el resto.
Regla práctica: Muestra el recuento de cada control donde un lector pueda verlo al arrancar y en cada ventana, y mantén en el mismo informe los recuentos que revelarían un fallo junto a la tasa que explican.
Las decisiones que tomó este capítulo
- Un mensaje derivado siempre pasa a una persona. La respuesta del sustituto, cuando la hay, es una sugerencia etiquetada, y el capítulo cuenta con qué frecuencia acierta.
- La comprobación de versión fija el SHA-256 del
manifest.jsonde cada adaptador enexamples/adapter-pins.json, ymake_appse niega a construirse ante cualquier discrepancia o si se mueve el fijado de la base. - La regla de deriva es de 10 puntos respecto a la línea base de desarrollo, en cualquier dirección, sobre ventanas de 25 mensajes.
- Se debe reentrenar cuando dos ventanas consecutivas presentan deriva. El segundo y el tercer disparador son reglas enunciadas, no probadas aquí.
Capítulo 10 usa las mismas medidas que este capítulo.
Todas las cuatro son decisiones del libro; consulta la regla de deriva. En conjunto, los controles verifican qué modelo responde, cuentan lo que derivan a una persona y envían cada mensaje derivado a una persona. La regla de respaldo sigue la regla del capítulo 1 según la cual un mensaje marcado va a una persona. La regla de fijado cambia una revisión del repositorio por una comprobación que una simple carga no puede hacer.
Regla práctica: Escribe en el informe cada decisión anterior con su número y con indicación de si es una decisión del libro o una cifra con fuente. Cambia una decisión solo modificando la regla que nombra, y vuelve a ejecutar los ejemplos que imprimen sus cifras.
Este capítulo, en esta edición
Edición 2026.11.9Ejemplos verificados el 20 de nov de 2026Superan la prueba 4 de 4 ejemplos ejemplos de este capítulo
Traducido del libro en inglés, edición 2026.11.9.