Keep the forecast running

Unos 26 minutos de lectura, con 5 ejemplos en 7 secciones.

Edición 2026.11.11 Ejemplos verificados el 20 de nov de 2026 41 de 41 ejemplos pasan Qué ha cambiado

Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros

Traducido del libro en inglés, edición 2026.11.11. Lee el original

Esta parte aún no está traducida, así que está en inglés.

Once a forecast runs every day, the question changes from whether it scored well to whether it still holds on the day it's used. This chapter builds the loop that answers that question. You'll refit a forecast on a schedule, log each day's forecast before its readings exist, check that the log used only what had arrived, score the readings as they come in, flag a day whose error is out of line with the backtest, and say when a model should be retired.

The stake is the next buying round. The supplier commits to power for the next day from the forecast, so a forecast that has gone wrong without anyone noticing costs money in that purchase. This chapter does not reduce that risk to zero. It makes the risk visible on the day it appears, using only what the supplier knew at the time.

The earlier chapters checked the supplier's forecast on past data. Each method was scored after the fact on the last days of 2014, with every reading in hand. In operation the order runs the other way. The supplier buys power for Dec 29, 2014 from a forecast made at 00:00 on Dec 29, the day's cutoff, using only what it knows at that time, and it learns what happened a day later. A forecast that held up on the backtest can drift. The clients change, a holiday falls inside the window, or a meter feed stops for a few hours. The supplier needs to see that before the next buying round, not in a review at the end of the quarter.

This chapter runs the loop for the last seven days of 2014, from Dec 25 to Dec 31. Each day gets one forecast for each of the thirty clients, made from its own midnight cutoff. Every time in this chapter is a data time. A cutoff is 00:00 of its day, and a reading arrives at the end of its hour. The decision and calibration runs start on Nov 25 and Dec 9, 2014, and the refit cycle is anchored to Monday, Nov 24, 2014. All of these start after Jan 16, 2014. That is the first midnight at which the start rule admits all thirty clients into one model: MT_115's first reading is at 00:00 on Jan 14, 2014, and the rule needs 48 hours of history from it, as Chapter 6 sets out.

A forecast says what the readings will do. It does not say why they do it. The loop can tell the supplier that demand has moved away from the forecast. It cannot tell the supplier which habit, price or weather caused the move, and this chapter does not try. A forecast that holds up is not a causal claim, and no flag in this chapter turns into one.

Reentrenar según un calendario

Último cambio en la edición 2026.11.5

Reentrenar significa volver a estimar los parámetros del modelo sobre el historial conocido en un punto de corte. Entre reentrenamientos, el modelo conserva sus árboles. Cada pronóstico sigue leyendo las lecturas más recientes para construir sus entradas de rezago, de modo que el pronóstico refleja las últimas horas aunque los árboles no cambien.

Hay un detalle que a menudo se pasa por alto. mlforecast 1.1.0 vuelve a ajustar la escala de cada cliente cada vez que predice a partir de un nuevo historial: predict con new_df ajusta las transformaciones de la variable objetivo sobre ese historial (forecast.py líneas 1374 a 1412, y core.py líneas 536 a 540 de la versión fijada). La media y la dispersión de cada cliente provienen, por tanto, del historial conocido en cada punto de corte, y solo los árboles esperan a un reentrenamiento. Eso no es filtración, porque ese historial es conocido en el punto de corte.

La palabra requiere una advertencia. En Forecasting: Principles and Practice, 3.ª ed. (FPP3), de Hyndman y Athanasopoulos, refit() aplica un modelo ajustado sin volver a estimarlo (FPP3, Capítulo 13). Aquí, "reentrenar" significa volver a estimar los árboles.

Un reentrenamiento no debe usar las lecturas que está a punto de pronosticar. Un reentrenamiento en el punto de corte c solo puede leer lecturas que hayan llegado hasta c. El bucle lo garantiza por construcción. El historial para un reentrenamiento, y para cada pronóstico, contiene solo lecturas que habían llegado en el punto de corte, de modo que los valores reales del día que se pronostica nunca están en él.

La cadencia es la elección que queda. Consideramos dos cadencias, reentrenar cada día o reentrenar cada siete días. Ambas pronostican cada día desde su propio punto de corte, con el mismo modelo global del Capítulo 6: un LightGBM escalado para los treinta clientes, con rezagos de 24 y 168 horas y el identificador del cliente. El modelo global se utiliza aquí porque es el mejor modelo elegible en las ventanas de decisión: los modelos registrados del Capítulo 9 no tienen pronósticos en esas ventanas, así que no pueden elegirse. Solo difieren en la frecuencia con que se vuelven a estimar los árboles. El ciclo semanal está anclado al lunes 24 de noviembre de 2014, así que sus reentrenamientos caen en lunes: 24 de noviembre, 1 de diciembre, 8 de diciembre, y así sucesivamente. Las fechas de reentrenamiento de una ejecución no dependen, por tanto, del día en que empieza. Cada pronóstico usa el modelo ajustado el lunes anterior o igual a su punto de corte.

Elegimos entre las cadencias en las cuatro ventanas de decisión ordinarias, 25 y 26 de noviembre y 2 y 3 de diciembre de 2014. Ninguna es festivo en Portugal, y no se usa la semana reservada. La regla es la MASE media más baja en esas ventanas. Cada ejecución de este capítulo usa una escala por cliente, leída de las lecturas anteriores al 25 de noviembre de 2014 según la regla del Capítulo 2. Las ventanas de decisión, las ventanas de calibración y la semana reservada comparten esa referencia. Los historiales de decisión y de calibración retroceden hasta el cambio de hora del 26 de octubre de 2014. El bucle completa esa hora de las 01:00 con las horas adyacentes, como hace el Capítulo 3.

Ambas cadencias se ejecutan en las cuatro ventanas de decisión. Como el modelo semanal tiene uno o dos días de antigüedad allí, un modelo de cada edad de 0 a 6 días también pronostica esos días.

refit-cadence-decision.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Choose the refit cadence on the four decision days, Nov 25 to Dec 3, 2014: a refit every day or every seven days onMondays, with the global model from Chapter 6. The cadence with the lower `mean MASE` line is the one the rule takes, andthe `model aged` lines show how far a model's age alone moves that score. The held-out week is not used."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import DECISION_DAYS, daily_mase, feed, fit_at, forecast_at, prepare, run_days, scale_from, with_actualsfrom lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)  # one MASE scale, read before Nov 25, used by every run in the chaptershow("decision days", len(DECISION_DAYS))# feed returns (train, known, pending count, read_by); [0] is trainshow("rows read by one refit", len(feed(df, DECISION_DAYS[0])[0]))names = {1: "daily", 7: "weekly"}  # the keys are the refit interval in daysmeans = {}for every in names:    scored = with_actuals(run_days(df, DECISION_DAYS, refit_every=every), df)  # refit_every: a refit every this many days    means[every] = daily_mase(scored, scale).mean()  # the mean over the four decision days of each day's MASE    show(f"refits, {names[every]}", scored["refit"].nunique())  # the distinct refit days the decision days use    show(f"MAE, {names[every]}", scored["ae"].mean())    show(f"mean MASE, {names[every]}", means[every], digits=3)show("mean MASE, daily minus weekly", means[1] - means[7], digits=3)  # positive when the weekly cadence has the lower meanshow("chosen cadence", names[min(means, key=means.get)])  # the lower mean wins; the close-call tie-break is made in the prosemodels = {}for age in range(7):    parts = []    for day in DECISION_DAYS:        fit_day = day - pd.Timedelta(days=age)  # a model aged `age` days, fitted that many days before the decision day        if fit_day not in models:  # a model is fitted once and reused by every decision day it serves            models[fit_day] = fit_at(df, fit_day)[0]  # fit_at returns (model, read_by); [0] is the model        # forecast_at returns (forecast, pending count, read_by); the first is the forecast        part, _, _ = forecast_at(models[fit_day], df, day)        parts.append(part.assign(cutoff=day))  # daily_mase groups each forecast by its cutoff    show(f"mean MASE, model aged {age} days", daily_mase(with_actuals(pd.concat(parts), df), scale).mean(), digits=3)
Salidapython refit-cadence-decision.py
decision days: 4
rows read by one refit: 40320
refits, daily: 4
MAE, daily: 66.81
mean MASE, daily: 0.754
refits, weekly: 2
MAE, weekly: 67.64
mean MASE, weekly: 0.746
mean MASE, daily minus weekly: 0.008
chosen cadence: weekly
mean MASE, model aged 0 days: 0.754
mean MASE, model aged 1 days: 0.747
mean MASE, model aged 2 days: 0.748
mean MASE, model aged 3 days: 0.741
mean MASE, model aged 4 days: 0.748
mean MASE, model aged 5 days: 0.758
mean MASE, model aged 6 days: 0.750

En las ventanas de decisión, la cadencia semanal tiene la MASE media más baja, por 0.008, y necesita la mitad de ajustes en esos cuatro días: la cadencia diaria realiza 4 reentrenamientos, y la semanal 2. Cada reentrenamiento lee 40320 filas, que son treinta clientes por 1,344 horas de historial. En operación, una cadencia semanal necesita una séptima parte de los ajustes.

Un modelo de hasta seis días de antigüedad puntúa cerca de uno recién entrenado en las ventanas de decisión, y eso es todo lo que afirma la comprobación de antigüedad. Su MASE media va desde 0.741 a tres días, la más baja de las edades de 0 a 6, hasta 0.758 a cinco días, la más alta, con un modelo fresco en 0.754. La antigüedad no muestra tendencia, y la dispersión entre las siete edades es mayor que la diferencia entre las dos cadencias. Esa diferencia es pequeña, y cuatro días no bastan para separar las cadencias, así que el ejemplo no demuestra que la semanal sea mejor. Si usas un modelo más grande o un horizonte más largo, deberías hacer la misma comprobación en tus propias ventanas de decisión.

La regla elige la semanal, porque su media es más baja. Esa diferencia cae dentro de la dispersión que produce por sí sola la antigüedad del modelo, así que las dos cadencias están próximas. Cuando lo están, la regla práctica toma la que tiene menos reentrenamientos, y el libro lo dice aquí: semanal.

Regla práctica: Elige la cadencia de reentrenamiento en los días ordinarios anteriores a la semana reservada, puntuada sobre una sola escala leída antes del primero de esos días. Toma la cadencia con la MASE media más baja y, cuando las dos estén próximas, toma la que tenga menos reentrenamientos y dilo. Nunca reentrenes con lecturas del día que está pronosticando.

Registra cada pronóstico antes de que lleguen sus valores reales

Último cambio en la edición 2026.11.5

Un registro de pronósticos es una tabla con una fila por cada cliente y hora. Cada fila contiene el corte en el que se hizo el pronóstico, la hora en que se escribió la fila, el cliente, la hora, el pronóstico, sus límites inferior y superior, el día de reajuste del modelo, dos horas de llegada descritas más abajo y el número de lecturas imputadas para ese pronóstico. El registro tiene una sola función. Demuestra qué decía el pronóstico en su momento y qué podía ver el ciclo cuando lo dijo. Sin él, nadie puede saber si un informe posterior usó el pronóstico que se hizo o uno reconstruido después a partir de un modelo más nuevo y de los valores reales. Un registro reconstruido es una filtración disfrazada, porque sabe cuál debería haber sido el pronóstico.

La banda de cada fila se construye como la del capítulo 8. Es el pronóstico más los residuos escalados de la misma hora, tomados de las ventanas de calibración, del 9 al 20 de diciembre de 2014. Estas ventanas son anteriores a cada día de prueba y quedan fijadas antes de que empiece la semana. Los residuos de cada hora se agrupan entre los treinta clientes, así que cada hora tiene 360 de ellos, no doce. Las bandas por cliente del capítulo 8 agrupan los mismos residuos y también se ofrecen al 95%. Este ciclo registra solo el nivel del 80%, porque el disparador de retiro de la última sección lee la banda del 80%, y un solo nivel mantiene el registro y el disparador alineados. La banda se calcula a partir del pronóstico registrado y de los residuos de calibración fijos, así que no necesita ninguna lectura del día que cubre.

Un registro demuestra menos de lo que parece si sus comprobaciones no pueden fallar. La regla es que un modelo y un pronóstico solo leen lecturas que habían llegado en el momento en que se hicieron. Por eso el registro guarda dos horas de llegada para cada fila. fit_read_by es la última llegada entre las lecturas con las que se ajustó el modelo, y no puede ser posterior al día de reajuste del modelo. read_by es la última llegada entre las lecturas que leyó el pronóstico, y no puede ser posterior al corte. Comparar written_at con la llegada de una lectura no pondría a prueba esto. La repetición escribe written_at como corte, así que esa comparación pasa con cualquier código. En producción, written_at vendría del reloj del almacén de solo anexar. Una repetición solo puede etiquetarlo. Ambas comprobaciones se ejecutan en cada fila de la semana de prueba, y la comprobación del modelo se vuelve a ejecutar en una semana con filtración deliberada, que debe detectar.

rolling-refit-seven-days.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Runs the held-out week, Dec 25 to Dec 31, 2014: one forecast a day from its own midnight cutoff, with the weekly refitcycle and the late-data fill, each logged when it is made. The `log rows` lines show both arrival checks pass, and theleaky run fails the first. The `MAE` and `coverage 80` lines give each day's mean absolute error and how often its 80%band held. The 80% bands use calibration days Dec 9 to Dec 20, 2014, earlier than every scored day."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import CAL_DAYS, HELD_OUT_DAYS, REFIT_EVERY, band, coverage_by_day, prepare, run_days, scale_from, with_actualsfrom lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)cal = with_actuals(run_days(df, CAL_DAYS), df)  # the residuals that set the bands, from days earlier than the weekbands = band(with_actuals(run_days(df, HELD_OUT_DAYS), df), cal, scale)# leak=True refits each day's model on the next day's readingsleaky = with_actuals(run_days(df, HELD_OUT_DAYS, leak=True), df)# refit dates in the week; the Dec 22 refit is dated before itin_week = sorted({d for d in bands["refit"] if d >= HELD_OUT_DAYS[0]})show("refit every (days)", REFIT_EVERY)show("refit days in the week", ", ".join(f"{d:%Y-%m-%d}" for d in in_week))show("models used in the week", bands["refit"].nunique())show("log rows", len(bands))# hour 0 holds 12 calibration days times 30 clientsshow("calibration residuals per hour, pooled over clients", cal.dropna(subset=["e"]).groupby("hour").size().iloc[0])# a model may read only readings that had arrived by its refit dayshow("log rows whose model read only readings in by its refit day", int((bands["fit_read_by"] <= bands["refit"]).sum()))# a forecast may read only readings that had arrived by its cutoffshow("log rows whose forecast read only readings in by its cutoff", int((bands["read_by"] <= bands["cutoff"]).sum()))show("leaky log rows whose model read only readings in by its refit day", int((leaky["fit_read_by"] <= leaky["refit"]).sum()))# a reading arrives at the end of its hour, so any other arrival is lateshow("readings that arrived late", int((bands["arrives"] != bands["ds"] + pd.Timedelta(hours=1)).sum()))# every row of a cutoff has the same count, so the first row gives itshow("forecast inputs filled, Dec 29", int(bands.loc[bands["cutoff"] == "2014-12-29", "filled"].iloc[0]))# the last of Dec 28's readings to arrivedone = bands.loc[bands["cutoff"] == "2014-12-28", "arrives"].max()show("Dec 28 complete at", f"{done:%H:%M on %b %d, %Y}")mae = bands.groupby("cutoff")["ae"].mean()cov = coverage_by_day(bands)for day in mae.index:    show(f"MAE {day:%Y-%m-%d}", mae[day])for day in cov.index:    show(f"coverage 80 {day:%Y-%m-%d}", cov[day], digits=3)show("leaky MAE 2014-12-25", leaky.loc[leaky["cutoff"] == "2014-12-25", "ae"].mean())
Salidapython rolling-refit-seven-days.py
refit every (days): 7
refit days in the week: 2014-12-29
models used in the week: 2
log rows: 5040
calibration residuals per hour, pooled over clients: 360
log rows whose model read only readings in by its refit day: 5040
log rows whose forecast read only readings in by its cutoff: 5040
leaky log rows whose model read only readings in by its refit day: 0
readings that arrived late: 6
forecast inputs filled, Dec 29: 6
Dec 28 complete at: 09:00 on Dec 29, 2014
MAE 2014-12-25: 447.59
MAE 2014-12-26: 203.43
MAE 2014-12-27: 54.14
MAE 2014-12-28: 71.67
MAE 2014-12-29: 111.64
MAE 2014-12-30: 87.37
MAE 2014-12-31: 167.15
coverage 80 2014-12-25: 0.232
coverage 80 2014-12-26: 0.431
coverage 80 2014-12-27: 0.790
coverage 80 2014-12-28: 0.764
coverage 80 2014-12-29: 0.713
coverage 80 2014-12-30: 0.782
coverage 80 2014-12-31: 0.701
leaky MAE 2014-12-25: 351.79

El registro tiene 5040 filas, una por cada una de las 24 horas de los treinta clientes durante siete días, y 5040 pasan la comprobación de llegada del modelo, y 5040 pasan la del pronóstico. La semana usa dos modelos. El ajustado el lunes 22 de diciembre sirve del 25 al 28 de diciembre, y el reajustado el lunes 29 de diciembre sirve del 29 al 31 de diciembre, de modo que el reajuste cae dentro de la semana.

Una comprobación que nunca falla enseña poco, así que la semana también se ejecuta con una filtración. En esa ejecución, el modelo de cada día se reajusta con las lecturas del día siguiente, de modo que ha visto el día que pronostica, y la comprobación del modelo falla en todas las filas: solo pasan 0 filas. La filtración además favorece al pronóstico. Su MAE del 25 de diciembre es de 351.79 kWh, frente a 447.59 kWh en la ejecución honesta. La comprobación es lo que hay que conservar. Una edición que mueva un reajuste a las lecturas del día siguiente hace que el recuento impreso sea cero, y entonces la salida registrada falla.

Regla práctica: Escribe las filas de cada pronóstico en su corte, a partir de las lecturas que hayan llegado para entonces, con el día de reajuste y ambas horas de llegada junto a ellas. Nunca reconstruyas un registro pasado a partir de un modelo más nuevo o de los valores reales. Si se pierden las filas de un día, marca ese día como ausente en el registro, y no lo rellenes después.

Esta parte aún no está traducida, así que está en inglés.

Score the log as actuals arrive

Último cambio en la edición 2026.11.11

A reading scores the forecast logged for its hour when it arrives. The day's score is its daily MASE. The daily MASE takes each client's mean absolute error over the day's 24 hours, divides it by the client's scale, and averages the results over the thirty clients:

daily MASE = mean over clients of (MAE over the day's 24 hours / scale)

The scale is the one set in the refit section, read from before Nov 25, 2014, and it does not change from day to day. A reading enters the score for its own day, and only after it has arrived, so the score never uses a value the supplier did not have at the time. That is the second half of the leakage rule in the log section. A day is scored once its last reading is in. For Dec 29, that is 00:00 on Dec 30.

Most days arrive whole. The held-out week has one day that does not. The lead client's last six readings of Dec 28, 2014, from 18:00 to 23:00, arrive at 09:00 on Dec 29. That is nine hours after the Dec 29 cutoff, so the Dec 29 forecast has to be made without them. The rule for this case is the book's own choice, and no source supports it:

  • A reading that has not arrived at a cutoff is left out of that day's refit.
  • For the forecast at that cutoff, the missing value is filled with the reading of the same hour a week earlier, which had arrived. The log counts how many values were filled.
  • The forecast is not redone when the reading arrives.
  • The reading is scored when it arrives, and its day is scored once its last reading is in.

The first option tried was to leave the missing values as they were. The library refused them. At the pinned version, 1.1.0 raised this error when the forecast was made:

ValueError: y column contains null values.

There are two ways to fill the gap. Forward fill repeats the last reading that arrived. That flattens the evening, because the lead client's 18:00 to 23:00 values all become the 17:00 value, and lag 24 carries that flat evening into the next day's evening forecast. Filling from the same hour a week earlier keeps the evening's shape. We picked the fill on the decision windows, not the held-out week. There the same six readings are made late before each decision cutoff, and both fills forecast from them.

late-fill-decision.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Chooses how a late reading is filled on the decision windows, Nov 25 to Dec 3, 2014: the lead client's last six readingsof the day before arrive at 09:00 on each cutoff day, as the Dec 28 readings do in the held-out week. The`MAE, lead client hours 18 to 23` lines decide between forward fill and a fill from the same hour a week earlier; onlythose hours change, because lag 24 reads them, and the held-out week is not used."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import DECISION_DAYS, LATE_CLIENT, feed, late_copy, prepare, run_days, with_actualsfrom lib.settings import showraw = load(ALL30)df = prepare(raw)# feed returns (train, known, pending count, read_by); [2] is the pending countshow("readings late for each decision cutoff", feed(late_copy(df, DECISION_DAYS[0]), DECISION_DAYS[0])[2])errors = {}for rule in ("forward", "week"):    parts = []    for day in DECISION_DAYS:        # the day before's last six readings arrive at 09:00 on this day, after its cutoff, so the fill applies        scored = with_actuals(run_days(late_copy(df, day), [day], fill=rule), df)        # 18:00 to 23:00 of the day scored, which lag 24 reads from the day before        parts.append(scored.loc[(scored["unique_id"] == LATE_CLIENT) & (scored["hour"] >= 18), "ae"])    errors[rule] = pd.concat(parts).mean()    show(f"hours scored, {rule} fill", len(pd.concat(parts)))    show(f"MAE, lead client hours 18 to 23, {rule} fill", errors[rule])show("chosen late fill", min(errors, key=errors.get))
Salidapython late-fill-decision.py
readings late for each decision cutoff: 6
hours scored, forward fill: 24
MAE, lead client hours 18 to 23, forward fill: 7.92
hours scored, week fill: 24
MAE, lead client hours 18 to 23, week fill: 5.03
chosen late fill: week

The week-earlier fill is the more accurate of the two. Over the lead client's hours from 18:00 to 23:00, across 24 forecast hours, its mean absolute error is 5.03 kWh, against 7.92 kWh with forward fill. The book uses it in every run.

The held-out week shows the rule at work. 6 readings arrived late, and the Dec 29 forecast filled 6 inputs. The Dec 29 refit left the same six readings out, so the branch that leaves a reading out of a refit runs in this week too. Dec 28 was complete at 09:00 on Dec 29, 2014.

A single day's MAE does not say whether the day was bad, because the level of demand changes from day to day. That is why the flag in the next section divides by a reference.

Working rule: Score each day when its last reading arrives, against the forecast logged at its cutoff, on the chapter's one scale. When a reading arrives late, score it then, count it in the log, and leave the logged forecast alone. Never change a forecast after its cutoff, even when the change would improve the score.

Marcar la deriva frente al backtest

Último cambio en la edición 2026.11.5

Las puntuaciones diarias de la última sección necesitan una línea que indique cuándo un día se sale de lo esperado. Una marca es una pregunta sobre un día, no un veredicto. La regla pregunta si el MASE diario de un día se aleja de lo que hizo el modelo antes. Un día se marca cuando su MASE diario está por encima del doble de una referencia. La referencia es la mediana del MASE diario de las ventanas de calibración, del 9 al 20 de diciembre de 2014. Esos días son anteriores a todos los días que la marca juzga. Ninguno de ellos es festivo en Portugal, aunque las lecturas de retardo 24 del 9 de diciembre se remontan al 8, la Inmaculada Concepción, que es festivo nacional. Ese eco equivale a un solo día, y la mediana lo amortigua.

El factor de dos es la pauta empírica del libro. No conocemos un umbral publicado para este tipo de marca, así que el número es nuestro, y lo señalamos como tal. Lo comprobamos en las ventanas de decisión, donde los cuatro días ordinarios sirven para comprobar si la marca se activa sin una causa conocida.

drift-flag-rolling.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Flags drift against the backtest: a day is flagged when its daily MASE is above FLAG_FACTOR times the reference, themedian daily MASE of the calibration days, Dec 9 to Dec 20, 2014, which are earlier than the held-out week. The`largest decision day` and `decision days flagged` lines show the ordinary days staying under the line, and the `MASE`and `held-out days flagged` lines show which held-out days cross it."""from lib.electricity import loadfrom lib.panel import ALL30from lib.running import (CAL_DAYS, DECISION_DAYS, FLAG_FACTOR, HELD_OUT_DAYS, daily_mase, flagged, prepare, run_days,                         scale_from, with_actuals)from lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)reference = daily_mase(with_actuals(run_days(df, CAL_DAYS), df), scale).median()  # the median, not the mean, so one unusual calibration day moves it littleshow("reference, median daily MASE", reference)show("flag above, MASE", FLAG_FACTOR * reference)  # FLAG_FACTOR is 2, the chapter's rule of thumbdecision = daily_mase(with_actuals(run_days(df, DECISION_DAYS), df), scale)show("largest decision day, times the reference", decision.max() / reference)show("decision days flagged", len(flagged(decision, reference)))held = daily_mase(with_actuals(run_days(df, HELD_OUT_DAYS), df), scale)for day, value in held.items():    show(f"MASE {day:%Y-%m-%d}", value)show("held-out days flagged", len(flagged(held, reference)))show("flagged held-out days", ", ".join(f"{day:%Y-%m-%d}" for day in flagged(held, reference)))
Salidapython drift-flag-rolling.py
reference, median daily MASE: 0.72
flag above, MASE: 1.43
largest decision day, times the reference: 1.44
decision days flagged: 0
MASE 2014-12-25: 4.62
MASE 2014-12-26: 2.00
MASE 2014-12-27: 0.73
MASE 2014-12-28: 0.76
MASE 2014-12-29: 0.85
MASE 2014-12-30: 0.76
MASE 2014-12-31: 1.14
held-out days flagged: 2
flagged held-out days: 2014-12-25, 2014-12-26

Ningún día ordinario de decisión se marca con un factor de dos (0 marcados). El día de decisión con el valor más alto es 1.44 veces la referencia. Un factor menor, como 1.5, dejaría poco margen sobre ese día, de modo que un día ordinario algo inusual podría marcarse. Elegimos dos por su margen. Cuatro días ordinarios no pueden mostrar con qué frecuencia se marcan los días ordinarios.

2 de los siete días reservados superan el umbral: el 25 y el 26 de diciembre. Su MASE diario es 4.62 y 2.00, frente a una línea de marca de 1.43. El 31 de diciembre, Nochevieja, viene después, por debajo de la línea.

Ambas marcas tienen una causa conocida. El 25 de diciembre es Navidad, festivo en Portugal. El modelo no tiene ninguna entrada de festivos. El capítulo 5 probó columnas de calendario y festivos en las ventanas de decisión del subconjunto, incluidas las de festivos, y ninguna superó a los retardos simples, así que el capítulo 6 no le dio ninguna al modelo global. El 26 de diciembre no es festivo en Portugal, pero su lectura de retardo 24 corresponde al 25 de diciembre. La previsión de cada hora del 26 lee la misma hora del 25, de modo que el patrón del festivo se traslada al día siguiente. Estos son efectos de calendario, no deriva, y el bucle no puede distinguir una de otra. Solo marca los días. Una persona debe leer cada marca y comprobar el calendario.

Un día no es un veredicto. Un solo día alto puede deberse a un festivo, a una tormenta o a una lectura introducida de forma errónea. Dos marcas seguidas, sin causa de calendario, son motivo para revisar el modelo. La siguiente sección explica qué hacer entonces.

Regla práctica: Marca un día cuando su MASE diario esté por encima del doble de la mediana de las ventanas de calibración anteriores, y después pregúntate si una causa de calendario lo explica. Anota la causa junto a la marca cuando exista. Trata dos marcas sin explicar seguidas como el inicio de una revisión de retirada, nunca como prueba de que el modelo está roto.

Esta parte aún no está traducida, así que está en inglés.

Know when to retire a model

Último cambio en la edición 2026.11.11

Retiring a model means stopping its use and replacing it. A refit is the lighter move, and it comes first. This chapter names three triggers for either move, and each one reads a number the loop already logs. The first retirement trigger is sustained drift: flags on consecutive days with no calendar cause. The second retirement trigger is an uncovered band: the 80% band covers well under 80% of readings on several days. The third is a change in a library the model depends on.

The second trigger needs a sense of what ordinary coverage looks like. On the ordinary days, Dec 27 to Dec 31, coverage at 80% stays between 0.701 and 0.790. Dec 29, when the late readings arrive, and Dec 31, New Year's Eve, count as ordinary days here. Dec 25 is lower, at 0.232, and Dec 26 is at 0.431, for the reason the flags gave. Dec 25 is the holiday, and Dec 26 reads it through lag 24. The bands are a little narrow even on ordinary days, as Chapter 8 found. So a day between 0.70 and 0.80 is normal here, and a day far below that is not.

To show what the flags and bands do, the chapter stages a change. It is invented for the test, not a fact about the supplier's data. From Dec 27, 2014, every reading of all thirty clients is multiplied by 0.6, as if demand had dropped by 40%. The held-out week then runs on the changed readings, with the same cadence, reference, rule and bands as before.

drift-after-a-change.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Shows how a change appears in the flags: a stated test, not a fact about the data, in which every reading from Dec 27,2014 is multiplied by 0.6, as if demand had dropped by 40%. The calibration windows are earlier than the change, so thereference and bands are fixed before it happens. The `held-out days flagged` and `coverage 80` lines show what the flagsand bands do, with the same cadence, reference, rule and bands as the held-out runs in drift-flag-rolling androlling-refit-seven-days."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import (CAL_DAYS, HELD_OUT_DAYS, band, coverage_by_day, daily_mase, flagged, prepare, run_days,                         scale_from, with_actuals)from lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)cal = with_actuals(run_days(df, CAL_DAYS), df)  # calibration windows come before the change, so the reference is fixed before itreference = daily_mase(cal, scale).median()changed = df.copy()after = changed["ds"] >= pd.Timestamp("2014-12-27")  # the first changed day, Dec 27, from its midnight onchanged.loc[after, "y"] = changed.loc[after, "y"] * 0.6  # a stated test: every reading from Dec 27 at 60%, as if demand fell 40%held = with_actuals(run_days(changed, HELD_OUT_DAYS), changed)  # the changed readings go through the same loop, refits includedshow("reference, median daily MASE", reference)mase = daily_mase(held, scale)for day, value in mase.items():    show(f"MASE {day:%Y-%m-%d}", value)show("held-out days flagged", len(flagged(mase, reference)))cov = coverage_by_day(band(held, cal, scale))  # the bands use the unchanged calibration days, as in the held-out runfor day, value in cov.items():    show(f"coverage 80 {day:%Y-%m-%d}", value, digits=3)
Salidapython drift-after-a-change.py
reference, median daily MASE: 0.72
MASE 2014-12-25: 4.62
MASE 2014-12-26: 2.00
MASE 2014-12-27: 4.74
MASE 2014-12-28: 2.93
MASE 2014-12-29: 1.68
MASE 2014-12-30: 1.78
MASE 2014-12-31: 1.89
held-out days flagged: 7
coverage 80 2014-12-25: 0.232
coverage 80 2014-12-26: 0.431
coverage 80 2014-12-27: 0.078
coverage 80 2014-12-28: 0.179
coverage 80 2014-12-29: 0.328
coverage 80 2014-12-30: 0.328
coverage 80 2014-12-31: 0.333

All 7 held-out days are flagged. Dec 25 and Dec 26 are flagged for Christmas and its echo, as before, and each day from Dec 27, the first changed day, is flagged too. On Dec 27 the daily MASE is 4.74, and coverage falls to 0.078 that day, the lowest of the week.

One scheduled refit did not clear the flags. The refit on Monday, Dec 29, is the only step in this test that refits on changed readings, and it read Dec 27 and Dec 28 at the lower level. Its daily MASE fell by about 40%, from 2.93 on Dec 28 to 1.68 on Dec 29, but Dec 30 and Dec 31 stayed above the line. Coverage recovered to 0.328 on Dec 29 and 0.333 on Dec 31, still far below 80%.

A run of flags like this, with coverage that low, is a case for an early refit, and the book's rule is to refit early. We did not test an early refit on a day of its own, so that rule is a rule of thumb and not a measured result.

The third trigger is a library change. Libraries release often, and a later release can change an output even when the code stays the same. The loop depends on 1.1.0 and 4.7.0. Prophet, which Chapter 9 pins at 1.5.0, is not part of this loop, but it is another pinned library, and its release history shows how often such a library moves (PyPI release history). A release is a reason to run this chapter's checks again. It is not, by itself, a reason to retire a model.

These checks are the forecast log, the flags and the coverage of the bands. They are not a monitoring system. A monitoring system covers alerts, dashboards, data quality across many feeds and the people who respond. A later book on monitoring models in production can continue this case, and this chapter ends where that book would begin.

Working rule: Refit early when flags run on several days in a row with no calendar cause, or when the 80% band covers far below 80% of readings on several days, and record the trigger with the log. Retire the model when an early refit does not clear the flags. Re-run this chapter's checks when a pinned library is released, and keep the pins until the checks pass on the new version.

Qué sale mal en producción

Un flujo de datos puede detenerse en mitad de un historial. El bucle no rellena una lectura que el flujo nunca entregó. Un hueco en medio desplazaría todos los retardos, así que el código lanza un error en su lugar. Solo se rellenan las horas del cambio de reloj, mediante la regla del capítulo 3. Una lectura que sigue faltando al final de un historial es otra cosa, y la regla de datos tardíos se encarga de ella.

Un reentrenamiento puede filtrar información. Si un reentrenamiento lee las lecturas del día que está a punto de predecir, la validación retrospectiva parece mejor de lo que será la ejecución en vivo. Lo notarías como un MASE en vivo muy superior al de la validación retrospectiva para los mismos días. El bucle lo evita con su regla de historial, y esa regla es lo único que debes conservar al reescribir el bucle. Conserva las comprobaciones de fuga del capítulo 3, la prueba de desplazamiento, y las del capítulo 7, la comprobación de envenenamiento. La comprobación de envenenamiento escribe valores erróneos en todas las lecturas posteriores a un punto de corte, y luego confirma que el reentrenamiento y la predicción en ese punto de corte no cambian.

Una alerta sobre la media de treinta clientes puede ocultar un cambio en un solo cliente. Un cambio grande en un cliente mueve el MASE diario solo en la variación del MASE diario de ese cliente dividida entre treinta. El ejemplo de estrés mueve todos los clientes a la vez, así que las alertas se activan. No probamos un cambio en un solo cliente por separado. Lo notarías como un MASE propio de ese cliente muy por encima de su mediana de calibración. Es la primera brecha que cerraríamos, quizá con una segunda alerta sobre el MASE de cada cliente.

Una biblioteca con versión fijada puede cambiar de comportamiento al actualizar la fijación. El error por valores nulos de la sección de puntuación es un comportamiento de mlforecast 1.1.0. Una versión posterior podría rellenar, descartar o aceptar el hueco, y la predicción cambiaría. Actualizar la versión fijada es un cambio en la predicción, y exige volver a ejecutar las comprobaciones.

El último fallo es el registro escrito a posteriori. Nada en un ejemplo impide que un equipo reconstruya un registro más tarde, y la salida reconstruida parecería correcta. Las dos columnas de llegada y sus comprobaciones son lo que lo pone de manifiesto. Cuando se eliminan esas comprobaciones, el registro deja de demostrar nada.

Regla práctica: Mantén tres comprobaciones en cada ejecución: la regla de historial que impide que el futuro entre en cada reentrenamiento y cada predicción, las dos comprobaciones de llegada en cada fila del registro, y las comprobaciones de fuga de los capítulos 3 y 7. Cuando una de ellas falle, detén el bucle y corrige la causa antes de la siguiente predicción. No repares a mano un historial ni un registro, porque una reparación manual es el tipo de cambio que las comprobaciones existen para detectar.

Decisiones que tomó este capítulo

Último cambio en la edición 2026.11.5
  • Frecuencia de reentrenamiento: cada siete días, los lunes. La frecuencia semanal tuvo el MASE medio más bajo en las ventanas de decisión, por 0.008, una diferencia dentro de la dispersión que produce por sí sola la antigüedad del modelo, así que se aplica el criterio de desempate y el libro toma la frecuencia con menos reentrenamientos.
  • Una sola escala de MASE: se calcula a partir de las lecturas anteriores al 25 de noviembre de 2014 y se usa en todas las ejecuciones de este capítulo, siguiendo la regla del Capítulo 2. Un día de decisión, una ventana de calibración y un día de prueba se evalúan así con la misma medida, y ninguna hora evaluada ayudó a fijarla.
  • Regla de marcado: un día se marca si supera el doble de la mediana del MASE diario de las ventanas de calibración, del 9 al 20 de diciembre de 2014. El factor de dos es una regla práctica etiquetada como tal, que se conserva por su margen frente a las ventanas de decisión habituales.
  • Bandas: solo al 80 %, porque el disparador de retiro lee ese nivel; el Capítulo 8 también ofrece el 95 %. Las bandas usan los residuos escalados de la misma hora, agrupados entre los treinta clientes, de las doce ventanas de calibración, fijados antes de la semana de prueba. No se registra ningún pronóstico total, banda total ni cuantil de compra, así que el registro verifica los pronósticos por cliente y no la compra que el Capítulo 8 hace frente al total. Un proveedor que compre según el total añadiría ese cuantil al registro.
  • Lecturas tardías: se excluyen del reentrenamiento, se rellenan con la misma hora de la semana anterior para el pronóstico, se cuentan en el registro, se evalúan cuando llegan y nunca se usan para rehacer un pronóstico. El relleno se eligió en las ventanas de decisión. La regla no tiene una fuente externa y es propia del libro.
  • Alcance: siete días para treinta clientes. Una semana incluye un festivo, una lectura tardía y un reentrenamiento semanal que cae dentro de ella, así que muestra cada regla. Una ejecución más larga mediría con qué frecuencia se marcan los días ordinarios, cosa que este capítulo no mide.
  • Límite del monitoreo: solo las comprobaciones de este capítulo. El sistema de monitoreo que las vigilaría a lo largo del tiempo queda fuera de este libro.
  • Tu propio caso: la última decisión del libro te devuelve el trabajo. El caso del proveedor termina aquí: un reentrenamiento semanal, un registro que verifica qué leyó cada pronóstico, evaluación a medida que llegan las lecturas y una marca frente a la retroprueba (backtest). Tu caso requiere tomar de nuevo estas decisiones con tus propios datos: la frecuencia de reentrenamiento en tus ventanas de decisión habituales, la regla de datos tardíos sobre la fuente que realmente recibes, el factor de marcado en tus ventanas de calibración y el nivel de banda que necesita tu regla de compra. Toma cada una de ellas con días anteriores a tu semana de prueba.

Este capítulo, en esta edición

Edición 2026.11.11Ejemplos verificados el 20 de nov de 2026Superan la prueba 5 de 5 ejemplos ejemplos de este capítulo

Traducido del libro en inglés, edición 2026.11.11.

Cita esta sección

Formato

Cada formato cita el libro en inglés, que esta traducción sigue.

Cada formato nombra esta edición. Su enlace abre la edición actual, donde el encabezado de cada sección indica cuándo cambió su texto por última vez. Las fechas de acceso y de recuperación son el día en que lo abres.

En esta página

Capítulo 10 de 10: Keep the forecast running

  1. Reentrenar según un calendario
  2. Registra cada pronóstico antes de que lleguen sus valores reales
  3. Score the log as actuals arrive
  4. Marcar la deriva frente al backtest
  5. Know when to retire a model
  6. Qué sale mal en producción
  7. Decisiones que tomó este capítulo

Volver arribaTodos los capítulos