Backtesting sin mirar hacia adelante

Unos 26 minutos de lectura, con 7 ejemplos en 10 secciones.

Edición 2026.11.11 Ejemplos verificados el 20 de nov de 2026 41 de 41 ejemplos pasan Qué ha cambiado

Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros

Traducido del libro en inglés, edición 2026.11.11. Lee el original

Este capítulo te enseña a puntuar un pronóstico del día siguiente a lo largo de un año de fechas de corte, sin dejar que el futuro entre en su historia; a manejar las dos horas de cambio de horario que aparecen en los datos; y a ejecutar una prueba de desplazamiento que detecta una variable que lee más allá de su fecha de corte. Necesitas lo que te dio el capítulo 2: la línea base estacional ingenua, el MAE y una escala tomada del historial. El método sigue siendo el mismo. Lo que cambia es cuántas veces lo puntúas y con cuánto cuidado recortas los datos en cada una.

Por qué una sola semana de prueba engaña

Último cambio en la edición 2026.11.11

Hasta ahora, la evidencia es la semana reservada del capítulo 1: siete pronósticos a un día vista para un cliente, 168 horas evaluadas en total. Una muestra de ese tamaño puede ser fruto de la suerte. Un pronóstico puede acertar en una semana tranquila y fallar en la siguiente, y una sola semana no permite distinguir ambos casos. Antes de que el proveedor confíe en un método para la compra de cada día, necesita saber cómo se comporta un pronóstico a lo largo de muchos días, incluidos los inusuales.

Un backtest responde a esa pregunta con los datos que ya tienes. Realiza un pronóstico en muchos momentos pasados, cada uno con solo las lecturas disponibles en ese momento, y compara cada uno con las lecturas que vinieron después. Cada uno de esos momentos es un corte. Cada corte, junto con las horas que pronostica, es una ventana. Las evaluaciones de todas las ventanas juntas indican cómo se comporta el método a lo largo del año, y no en una sola semana.

Esto importa sobre todo en los cambios de hora. Un año de cortes contiene el cambio de marzo, cuando la hora de las 01:00 no existe en el reloj, y el cambio de octubre, cuando una misma etiqueta de las 01:00 corresponde a dos horas de energía. Una sola semana, como la última de diciembre, no contiene ninguno de los dos. Un backtest que no llegue a esas fechas no puede mostrar qué hace el método en ellas, así que la muestra debe elegirse teniéndolas en cuenta.

Regla práctica: Prefiere un año de cortes antes de confiar en una diferencia entre dos métodos. Cuando el coste obligue a usar menos, indícalo junto a cada evaluación, como hacen los capítulos 4 a 9. Asegúrate de que la muestra alcance los días atípicos del año. Informa de cuántas ventanas y cuántas horas evaluadas respaldan cada cifra. Una cifra basada en una sola semana es una sola muestra, y quien lea debe poder verlo.

Avanza el punto de corte

Último cambio en la edición 2026.11.11

Una ventana tiene tres partes: el punto de corte, el horizonte y el historial. El punto de corte es el momento en que se hace el pronóstico. El horizonte es hasta dónde llega, que aquí son 24 horas, así que el pronóstico cubre las 24 horas que empiezan en el punto de corte. El historial son las lecturas anteriores al punto de corte que el modelo puede usar, que el libro fija en 1,344 horas, u ocho semanas. Mueve el punto de corte un paso y tendrás la siguiente ventana. El paso es de una semana para la muestra de los domingos, y de un día para las muestras diarias de las dos subsecciones sobre el cambio de hora, La hora de marzo que marca cero y La hora de octubre que aparece dos veces.

Dicho con palabras, los objetivos de cada ventana son las 24 horas a partir de su punto de corte, y su historial son las lecturas desde 1,344 horas antes del punto de corte hasta, sin incluirlo, el punto de corte. La siguiente ventana desplaza ambos un paso. Por tanto, una lectura puede ser objetivo en una ventana y historial en una posterior. Es correcto, porque para el punto de corte posterior la lectura queda en el pasado, y es la misma lectura en ambos lugares.

La muestra de los domingos aplica el ingenuo estacional sobre cada domingo de 2014, del 5 de enero al 28 de diciembre de 2014. La UE sitúa cada cambio de hora en el último domingo de marzo y de octubre (Directiva 2000/84/CE, artículos 2 y 3), y ambos cambios de 2014, el 30 de marzo y el 26 de octubre, están en la muestra. La muestra usa SUBSET8, el subconjunto de ocho clientes del libro. Aquí el año se puntúa sobre esos ocho clientes, ventana por ventana:

backtest-sundays-2014.py Python 3.13.16 · holidays 0.110.dev20261118063242 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Seasonal naive over the 52 Sunday cutoffs of 2014, for eight clients, with no clock-change rule: how much history eachwindow gets, then the year's scores. The prose's headline rests on the mean per-client MASE line."""import pandas as pdfrom holidays import country_holidaysfrom statsforecast import StatsForecastfrom statsforecast.models import SeasonalNaivefrom lib.backtest import forecast_windows, history_beforefrom lib.electricity import loadfrom lib.quirks import year_scoresfrom lib.scoring import book_scale, clients_left_outfrom lib.settings import HISTORY_HOURS, HORIZON, SUBSET8, showCOLS = ["unique_id", "ds", "y"]cutoffs = pd.date_range("2014-01-05", "2014-12-28", freq="W-SUN")  # 52 Sundays, both clock changes among themdf = load(SUBSET8)[COLS + ["quirk"]]sf = StatsForecast(models=[SeasonalNaive(season_length=24)], freq="h", n_jobs=1)  # 24 hourly readings a day: each hour copies the same hour of the day beforeforecasts = forecast_windows(sf, df[COLS], cutoffs, h=HORIZON)scored = forecasts.merge(df, on=["unique_id", "ds"])  # attaches each forecast hour's reading and its quirk flagscale = book_scale(df, cutoffs[0])  # the MASE scale: every reading before the first cutoff, from 2013 onsizes = pd.concat([history_before(df, c).groupby("unique_id").size() for c in cutoffs])  # history rows per client in each windowassert sizes.min() == sizes.max() == HISTORY_HOURS  # every window's history is the same length, the prose's claimholidays = country_holidays("PT", years=[2014])show("windows", len(cutoffs))show("history hours per series, min over windows", sizes.min())show("history hours per series, max over windows", sizes.max())show("Sunday windows on a Portuguese holiday", sum(c.date() in holidays for c in cutoffs))show("client left out of MASE", ", ".join(clients_left_out(df, cutoffs[0])))for label, value in year_scores(scored, scale).items():  # pooled MAE and RMSE, per-client MASE, the largest client's share    show(label, value)
Salidapython backtest-sundays-2014.py
windows: 52
history hours per series, min over windows: 1344
history hours per series, max over windows: 1344
Sunday windows on a Portuguese holiday: 1
client left out of MASE: MT_115
scored hours: 9936
scored hours before a first reading: 48
MAE: 382.02
RMSE: 1369.57
largest client by absolute error: MT_370
largest client's share of absolute error, percent: 88.69
clients in MASE: 7
mean MASE: 0.97
lowest client MASE: 0.77
highest client MASE: 1.26

El historial de cada ventana contiene las mismas 1344 horas por cliente, las ocho semanas que especifica el libro, y el ejemplo afirma que la longitud es la misma en cada ventana. Las 52 ventanas puntúan 9936 horas: ocho clientes, 24 horas cada uno, multiplicado por las ventanas, menos las horas de un cliente que empieza tarde antes de su primera lectura, lo que explican los párrafos siguientes.

El resultado principal es el MASE medio por cliente, no el error agrupado. La escala del MASE es un número por cliente, y scoring.book_scale lo calcula para todo el libro: cada lectura anterior al primer punto de corte, con las horas del cambio de hora enmascaradas y los ceros iniciales de cada cliente eliminados. El primer punto de corte es el 5 de enero de 2014, así que la escala de esta muestra se lee desde el 1 de enero de 2013 hasta el 4 de enero de 2014. La media de los valores de MASE por cliente es 0.97, con el más bajo en 0.77 y el más alto en 1.26, sobre 7 clientes.

El MAE agrupado, 382.02 kWh sobre las horas puntuadas, compara métodos sobre los mismos clientes y ventanas, pero no puede comparar clientes entre sí. Su cliente más grande, MT_370, concentra el 88.69 por ciento del error absoluto, porque ese cliente usa miles de kilovatios-hora por hora, así que sus errores también son de miles. El RMSE es 1369.57 kWh.

El cliente MT_115 no tiene ninguna lectura antes del 14 de enero de 2014. Hasta entonces el contador informa ceros, y la ficha de datos indica que esos ceros no son demanda. El código deja fuera de cada puntuación las 48 horas anteriores a su primera lectura, que son las dos primeras ventanas. Su historial sigue conteniendo esos ceros, porque la regla de inicio para los historiales corresponde al capítulo 4. Su MASE se omite por otra razón: su escala se lee de las lecturas anteriores al 5 de enero de 2014, y no tiene ninguna. La salida indica que ese cliente queda fuera del MASE, y la regla de inicio se deja para ese capítulo.

La biblioteca statsforecast tiene una función para este bucle, cross_validation, y es posible llamarla sin la ventana que querías. En la versión 2.1.1, el tramo de entrenamiento de cada ventana empieza en la primera lectura de la serie, salvo que pases input_size. El historial entonces crece de una ventana a la siguiente, y la regla de las ocho semanas no se aplica. Hyndman y Athanasopoulos enuncian el principio de que el conjunto de entrenamiento consiste solo en observaciones anteriores al conjunto de prueba (Forecasting: Principles and Practice, 3.ª ed., capítulo 5). El código que hay detrás de cross_validation decide la longitud de ese conjunto (statsforecast 2.1.1, statsforecast/core.py). Su punto de corte es la última hora con la que entrena una ventana, mientras que el punto de corte de este capítulo es la primera hora que pronostica, así que los dos nombres difieren en una hora. Este capítulo construye el historial de cada ventana por sí mismo, desde el punto de corte hacia atrás. Eso da las mismas 1,344 horas en cada ventana y hace visible la regla en el código.

Regla práctica: Fija la longitud del historial de forma explícita, en horas, y comprueba que es la misma para cada ventana. Cuando una biblioteca recorre las ventanas por ti, revisa cómo fija el tramo de entrenamiento antes de confiar en su salida, porque su valor por defecto puede ser una ventana creciente en lugar de la longitud que elegiste.

Mantén el futuro fuera de la historia

Último cambio en la edición 2026.11.5

Una evaluación retrospectiva tiene fuga cuando el modelo de una ventana ve una lectura de las horas que debe pronosticar. La lectura puede llegar al modelo de varias maneras: a través de la historia, de una variable derivada o de una escala calculada con datos que incluyen el objetivo. Hewamalage, Ackermann y Bergmeir describen la evaluación de origen rodante como propensa justamente a esto, porque los datos de prueba de una ventana se convierten en datos de entrenamiento de la siguiente. En pronóstico, señalan, la fuga es más fácil de cometer y más difícil de evitar que en otras tareas de aprendizaje automático (2022, sección 3.4).

Una regla cierra la vía de la historia. La historia de cada ventana son las lecturas cuyas marcas de tiempo caen en las ocho semanas anteriores a su punto de corte, y ninguna en el corte ni después de él. En el código del libro, history_before conserva las filas con ds desde el corte menos 1,344 horas hasta, sin incluirlo, el corte. La lectura en el propio corte pertenece al día objetivo, así que la misma comparación la excluye. La pertenencia se decide por las marcas de tiempo, no por las posiciones de las filas, de modo que una fila ausente no puede desplazar una ventana una hora. history_before además genera un error a menos que cada cliente tenga exactamente 1,344 filas en la ventana.

La primera hora propia de la ventana es el corte, así que un corte una hora demasiado generoso introduce en la historia la primera lectura del objetivo, y nada en un pronóstico lo muestra. Un recuento de filas puede detectarlo, y el ejemplo siguiente cuenta las filas.

history-cut-check.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · utilsforecast 0.2.17 Superado
"""One window's history, cut by its cutoff: its first and last timestamps, and what a cut that keeps the cutoff hour adds.The prose's timestamps rest on the first two lines, and its off-by-one point on the row countswith the cutoff hour in and out."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.settings import HISTORY_HOURS, LEAD, showdf = load([LEAD])  # the lead client's readings only: one series is enough to show the cutcutoff = pd.Timestamp("2014-12-29")  # the window's cutoff at midnight, which is also its first forecast hourhist = history_before(df, cutoff)  # the 1,344 hours before the cutoff; the cutoff hour itself is not in itshow("history rows", len(hist))show("first history timestamp", hist["ds"].min().strftime("%Y-%m-%d %H:%M"))show("last history timestamp", hist["ds"].max().strftime("%Y-%m-%d %H:%M"))wrong = df[(df["ds"] >= cutoff - pd.Timedelta(hours=HISTORY_HOURS)) & (df["ds"] <= cutoff)]  # the off-by-one cut: <= keeps the cutoff hourshow("history rows with ds at or before the cutoff", len(wrong))show("target-day readings in that cut", int((wrong["ds"] == cutoff).sum()))
Salidapython history-cut-check.py
history rows: 1344
first history timestamp: 2014-11-03 00:00
last history timestamp: 2014-12-28 23:00
history rows with ds at or before the cutoff: 1345
target-day readings in that cut: 1

Incluir la hora del corte añade una fila, y el recuento lo muestra. La historia para el corte del 29 de diciembre de 2014 va de 2014-11-03 00:00 a 2014-12-28 23:00 y contiene 1344 filas. Un corte con ds <= cutoff contiene 1345 filas, porque la primera lectura del día objetivo, la hora del corte, ha entrado en la historia. Un recuento con una fila de más es la señal de ese error.

El mismo cuidado se aplica a la escala. evaluate en utilsforecast toma un marco de entrenamiento para su escala, y solo lo recorta por tiempo cuando el marco de pronóstico tiene una columna cutoff. Entonces conserva las filas de entrenamiento con ds en o antes del corte, lo que incluye la propia hora del corte (utilsforecast 0.2.17, evaluation.py). Este capítulo no usa esa opción. Su escala proviene de scoring.book_scale, que pasa solo las filas anteriores al primer corte, y el marco que puntúa no tiene una columna cutoff.

Regla práctica: Recorta la historia de cada ventana por su punto de corte, nunca por el inicio de su ventana de prueba, y pasa a una biblioteca solo las filas que puede usar. Revisa la primera y la última marca de tiempo de cada historia, y asegúrate de que la última sea una hora anterior al corte.

Conoce los cambios de hora

Último cambio en la edición 2026.11.5

Los datos contienen dos horas que rompen la imagen sencilla de una lectura por hora del reloj. El día del cambio de marzo, el reloj local pasa de 00:59 a 02:00, así que la hora de las 01:00 no existe en el reloj. La parte continental de Portugal usa la hora del meridiano de Greenwich en invierno, y la UE cambia los relojes a las 01:00 de la hora del meridiano de Greenwich, que equivale a las 02:00 de la hora local (Directiva 2000/84/CE, artículo 2). El día del cambio de octubre, el reloj retrocede de las 02:00 a las 01:00, así que la hora de las 01:00 ocurre dos veces. El archivo tiene una fila para las 01:00 por día, marcada en los datos del libro como clock_change_gap o clock_change_repeat.

El libro lee el archivo bajo un supuesto explícito, en el que se apoyan todos los capítulos posteriores. La marca de tiempo ds de una lectura es el inicio de su hora en hora local del reloj, y el índice es un único índice horario ingenuo, sin zona horaria. La evidencia de marzo respalda esta lectura. La nota propia del conjunto de datos, en Conjunto de datos 321 del UCI Machine Learning Repository, indica que los valores de las 01:00 del día del cambio de marzo son cero para todos los clientes. El archivo coincide en su mayor parte, como muestra la primera subsección, y la segunda muestra las dos horas en la etiqueta de octubre.

La hora de marzo que marca cero

Último cambio en la edición 2026.11.5

El 30 de marzo de 2014, la etiqueta de las 01:00 marca cero para 5 de los ocho clientes del subconjunto. Los demás marcan una cantidad pequeña, no una hora de demanda. El censo cubre los treinta clientes.

clock-change-census.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""The clock-change hours of all thirty clients, each against its neighbours. The point that the March hours read near zerorests on the gap rows below 5 percent of their neighbours, with the zero count and the median ratio beside them."""from lib.electricity import loadfrom lib.quirks import clock_ratiosfrom lib.settings import showr = clock_ratios(load())  # each clock-change hour divided by the mean of the hour before and the hour aftergap = r[r["quirk"] == "clock_change_gap"]  # the file's flag: 01:00 on the March change day, an hour the clock skipsrepeat = r[r["quirk"] == "clock_change_repeat"]  # the file's flag: 01:00 holds two hours on the October change dayshow("gap rows", len(gap))show("gap rows that read zero", int((gap["y"] == 0).sum()))show("gap rows that read above zero", int((gap["y"] > 0).sum()))show("gap rows below 5 percent of their neighbours", int((gap["ratio"] < 0.05).sum()))  # a NaN ratio, where both neighbours are zero, counts in neither lineshow("gap rows at or above 5 percent of their neighbours", int((gap["ratio"] >= 0.05).sum()))show("median gap ratio to neighbours", gap["ratio"].median(), digits=3)show("repeat rows", len(repeat))show("median repeat ratio to neighbours", repeat["ratio"].median(), digits=3)
Salidapython clock-change-census.py
gap rows: 57
gap rows that read zero: 40
gap rows that read above zero: 17
gap rows below 5 percent of their neighbours: 55
gap rows at or above 5 percent of their neighbours: 2
median gap ratio to neighbours: 0.000
repeat rows: 58
median repeat ratio to neighbours: 1.948

La mayoría de las horas marcadas marcan cerca de cero: 55 de las 57 horas-cliente marcadas en los dos días de cambio de marzo están por debajo del 5 por ciento de sus horas vecinas, que es lo que este capítulo entiende por cerca de cero. La mediana de la razón respecto a las vecinas es 0.000.

El archivo coincide en gran medida con la nota del conjunto de datos: 40 de las 57 marcan exactamente cero, y 17 marcan por encima de cero.

Los datos indican cero o cerca de cero, lo suficiente para la regla. El medidor no registró nada en una hora que no existió en el reloj, así que la lectura no es demanda.

El método estacional ingenuo (naive) copia hacia adelante los valores del último día, así que el pronóstico para las 01:00 del 30 de marzo es la demanda del 29 de marzo a las 01:00. Es una hora ordinaria, y cuando la lectura es cero, el error es todo el pronóstico.

Haz una estimación antes de la siguiente ejecución. El corte del 31 de marzo mira hacia atrás 24 horas, y esas horas incluyen el cero. ¿Qué tan grande es el error a las 01:00 del 31 de marzo comparado con una hora ordinaria? La ejecución cubre los 15 cortes diarios desde el 23 de marzo hasta el 6 de abril de 2014, primero sin regla y luego con la regla de la siguiente sección:

clock-gap-daily-cutoffs.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Seasonal naive around the March clock change, for eight clients: the raw failure, then the rule. The prose's claims reston the gap-hour and next-day 1am lines, with and without the rule, the median client ratios, and the count of missingforecasts without the fill."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.quirks import filled_history, mae_of, mask_clock_changes, median_client_ratio, seasonal_naive_atfrom lib.settings import SUBSET8, showcutoffs = pd.date_range("2014-03-23", "2014-04-06", freq="D")  # 15 daily cutoffs around Mar 30, 2014next_day = pd.Timestamp("2014-03-31 01:00")  # 01:00 the day after the change: the forecast that copies the zerodf = load(SUBSET8)[["unique_id", "ds", "y", "quirk"]]masked = mask_clock_changes(df)  # a copy with the gap and repeat hours set to NaNraw = seasonal_naive_at(df, cutoffs, lambda c: history_before(df, c))  # no rule: the history keeps the zeros as the file has themgap = raw["quirk"] == "clock_change_gap"  # the file's flag marks the gap hoursat_next_day = raw["ds"] == next_dayshow("gap hours in actuals", int(gap.sum()))show("gap hours that read zero", int((raw[gap]["y"] == 0).sum()))show("gap-hour MAE with no rule", mae_of(raw[gap]))show("other-hour MAE with no rule", mae_of(raw[~gap]))# per client: the mean error at gap hours over the mean at other hours, then the median across clientsshow("median client ratio, gap hour to other hours, no rule", median_client_ratio(raw, gap, ~gap))show("next-day MAE at 1am with no rule", mae_of(raw[at_next_day]))# a forecast of exactly zero is the March zero copied forward from the day beforeshow("next-day 1am forecasts that are zero, no rule", int((raw[at_next_day]["SeasonalNaive"] == 0).sum()))show("median client ratio, next-day 1am to other hours, no rule", median_client_ratio(raw, at_next_day, ~gap))no_fill = seasonal_naive_at(masked, cutoffs, lambda c: history_before(masked, c))  # masked history, no fill: a NaN copies forward and stays NaNshow("NaN forecasts without the fill", int(no_fill["SeasonalNaive"].isna().sum()))fixed = seasonal_naive_at(masked, cutoffs, lambda c: filled_history(masked, c))  # the rule: masked hours filled from the history before each cutoffshow("next-day MAE at 1am with the rule", mae_of(fixed[fixed["ds"] == next_day]))show("other-hour MAE with the rule", mae_of(fixed[fixed["quirk"] != "clock_change_gap"]))
Salidapython clock-gap-daily-cutoffs.py
gap hours in actuals: 8
gap hours that read zero: 5
gap-hour MAE with no rule: 2322.69
other-hour MAE with no rule: 234.21
median client ratio, gap hour to other hours, no rule: 7.93
next-day MAE at 1am with no rule: 2393.01
next-day 1am forecasts that are zero, no rule: 5
median client ratio, next-day 1am to other hours, no rule: 9.92
NaN forecasts without the fill: 8
next-day MAE at 1am with the rule: 274.41
other-hour MAE with the rule: 228.31

Para el cliente mediano, el error a las 01:00 del 31 de marzo es 9.92 veces su error en otras horas. El pronóstico para esa hora copia el cero para 5 clientes.

La hora de cambio en sí también falla. Su error agrupado es de 2322.69 kWh, frente a 234.21 kWh en otras horas, y la razón del cliente mediano es 7.93. Ambas cifras agrupadas están determinadas sobre todo por el cliente más grande, mientras que la mediana por cliente cuenta a cada cliente una sola vez.

Agrupado, el error del día siguiente a las 01:00 es de 2393.01 kWh, casi tanto como el de la hora de cambio. El método se equivoca en la hora de cambio, y se equivoca casi tanto al día siguiente, porque copió el cero.

Regla práctica: Trata una lectura de cero a las 01:00 en un día de cambio de hora de marzo como una hora faltante, no como demanda cero. Sácala del historial de un modelo y de las puntuaciones, y no dejes que un método estacional la copie en el día siguiente.

La hora de octubre que contiene dos

Último cambio en la edición 2026.11.5

El 26 de octubre de 2014, la etiqueta de las 01:00 contiene unas dos horas de energía. El censo sitúa la razón mediana de esa hora respecto a sus vecinas en 1.948, sobre las 58 horas-cliente marcadas en el archivo. La nota de UCI coincide: los valores de las 01:00 agregan dos horas de consumo.

El fallo es el inverso del de marzo. El día del cambio, la estacional ingenua pronostica la etiqueta de las 01:00 a partir del día anterior, que es una hora ordinaria, y el valor real es aproximadamente el doble de esa cifra. El corte del 27 de octubre copia el valor duplicado, de modo que el pronóstico para las 01:00 del 27 de octubre equivale a unas dos horas ordinarias, mientras que el valor real es ordinario.

La misma comparación se aplica a los 15 cortes diarios del 19 de octubre al 2 de noviembre de 2014:

clock-repeat-daily-cutoffs.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Seasonal naive around the October clock change, for eight clients: the raw failure, then the rule. The prose's claims reston the repeat-hour and next-day 1am lines, the median client ratios, and the count of missing forecasts without the fill."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.quirks import filled_history, mae_of, mask_clock_changes, median_client_ratio, seasonal_naive_atfrom lib.settings import SUBSET8, showcutoffs = pd.date_range("2014-10-19", "2014-11-02", freq="D")  # 15 daily cutoffs around Oct 26, 2014next_day = pd.Timestamp("2014-10-27 01:00")  # 01:00 the day after the change: the forecast that copies the doubled valuedf = load(SUBSET8)[["unique_id", "ds", "y", "quirk"]]masked = mask_clock_changes(df)  # a copy with the gap and repeat hours set to NaNraw = seasonal_naive_at(df, cutoffs, lambda c: history_before(df, c))  # no rule: the history keeps the doubled 01:00 valuerepeat = raw["quirk"] == "clock_change_repeat"  # the file's flag: two hours of energy in one 01:00 labelat_next_day = raw["ds"] == next_dayshow("repeat hours in actuals", int(repeat.sum()))show("repeat-hour MAE with no rule", mae_of(raw[repeat]))show("other-hour MAE with no rule", mae_of(raw[~repeat]))# per client: the mean error at the repeat hour over the mean at other hours, then the median across clientsshow("median client ratio, repeat hour to other hours, no rule", median_client_ratio(raw, repeat, ~repeat))show("next-day MAE at 1am with no rule", mae_of(raw[at_next_day]))show("median client ratio, next-day 1am to other hours, no rule", median_client_ratio(raw, at_next_day, ~repeat))no_fill = seasonal_naive_at(masked, cutoffs, lambda c: history_before(masked, c))  # masked history, no fill: a NaN copies forward and stays NaNshow("NaN forecasts without the fill", int(no_fill["SeasonalNaive"].isna().sum()))fixed = seasonal_naive_at(masked, cutoffs, lambda c: filled_history(masked, c))  # the rule: masked hours filled from the history before each cutoffshow("next-day MAE at 1am with the rule", mae_of(fixed[fixed["ds"] == next_day]))show("other-hour MAE with the rule", mae_of(fixed[fixed["quirk"] != "clock_change_repeat"]))
Salidapython clock-repeat-daily-cutoffs.py
repeat hours in actuals: 8
repeat-hour MAE with no rule: 637.18
other-hour MAE with no rule: 397.96
median client ratio, repeat hour to other hours, no rule: 6.98
next-day MAE at 1am with no rule: 1524.26
median client ratio, next-day 1am to other hours, no rule: 7.53
NaN forecasts without the fill: 8
next-day MAE at 1am with the rule: 184.22
other-hour MAE with the rule: 394.23

Las cifras agregadas subestiman el fallo de la hora del cambio. En esa hora el pronóstico es una hora ordinaria y el valor real es el doble, así que el error agregado es de 637.18 kWh, frente a 397.96 kWh en las demás horas. La diferencia parece menor de lo que es, porque los errores del cliente más grande son grandes a todas horas. Para el cliente mediano, el error en la hora del cambio es 6.98 veces su error en las demás horas.

El valor duplicado causa el mayor daño al día siguiente. El pronóstico para las 01:00 del 27 de octubre lo copia, así que el error agregado allí es de 1524.26 kWh, el mayor de los tres, y la razón mediana del cliente es 7.53. Quien trate la etiqueta cruda de octubre como una hora ordinaria subestimará una hora y sobreestimará la siguiente.

Regla práctica: Trata la etiqueta de las 01:00 de octubre como dos horas de energía en una sola franja, y nunca como una hora ordinaria. No la dividas a la mitad para que parezca una sola hora, por la razón que explica la siguiente sección.

Marca las horas del cambio de hora como faltantes

Último cambio en la edición 2026.11.5

La regla que usa el libro es una elección, y esta sección la enuncia en un solo lugar para que todos los capítulos posteriores puedan llamar al mismo código. Ambas horas de la 01:00, el hueco de marzo y la repetición de octubre, se fijan como faltantes en el historial y en las puntuaciones, de modo que una hora enmascarada nunca se puntúa. Un modelo que acepta valores faltantes omite esa hora. Un modelo que no puede hacerlo, como el ingenuo estacional, lee en su lugar un valor rellenado, porque un valor faltante se copiaría en el pronóstico del día siguiente. En ambos casos la hora no se puntúa, y el pronóstico sigue produciendo un valor para su etiqueta, porque la cuadrícula de salida debe permanecer completa. El relleno es la media de la hora anterior y la hora posterior, tomada solo del historial anterior al punto de corte. Es una regla práctica para una hora que se sitúa entre dos horas ordinarias, y así se etiqueta.

Dividir a la mitad la etiqueta de octubre daría a cada hora real la mitad de su lectura, lo que supone que ambas horas usaron la misma energía. La ficha de datos no muestra eso, así que el libro no lo hace.

Sin el relleno, el pronóstico de las 01:00 del día siguiente a cada cambio falta para 8 de los ocho clientes en marzo, y para 8 en octubre.

Con el relleno, el error del día siguiente a esa hora baja de 2393.01 a 274.41 kWh en marzo, y de 1524.26 a 184.22 kWh en octubre, mientras que el error en las demás horas apenas cambia.

El año de cortes en domingo es una prueba distinta, porque aplica la máscara a las puntuaciones y el relleno no interviene. Puntuar el año dos veces, sin y con máscara, muestra cuánto influyeron las dos horas en el resultado principal.

clock-masked-backtest.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""The Sunday backtest of 2014 for eight clients, scored twice: as the readings stand, and with the clock-change rule, whichleaves the masked hours out of the scores and fills the history. The prose's comparison rests on the masked-hour count,the two pooled MAE lines, the two mean MASE lines and the two scored-hour lines."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.quirks import CLOCK_CHANGE_QUIRKS, filled_history, mask_clock_changes, seasonal_naive_at, year_scoresfrom lib.scoring import book_scalefrom lib.settings import SUBSET8, showcutoffs = pd.date_range("2014-01-05", "2014-12-28", freq="W-SUN")  # the same 52 Sunday cutoffs as the plain backtestdf = load(SUBSET8)[["unique_id", "ds", "y", "quirk"]]masked = mask_clock_changes(df)  # a copy with the gap and repeat hours set to NaN; the rule's scores skip themscale = book_scale(df, cutoffs[0])  # book_scale masks the clock-change hours itself, so both runs share this one scaleplain = seasonal_naive_at(df, cutoffs, lambda c: history_before(df, c))  # as the readings stand: the zeros and the doubled hour stay inruled = seasonal_naive_at(masked, cutoffs, lambda c: filled_history(masked, c))  # the rule: history filled from before each cutoffshow("masked hours in scored windows", int(plain["quirk"].isin(CLOCK_CHANGE_QUIRKS).sum()))  # counted in the plain run, where the flags are still presentfor tag, scored in [("without the mask", plain), ("with the mask", ruled)]:    result = year_scores(scored, scale)    show(f"scored hours {tag}", result["scored hours"])    show(f"MAE {tag}", result["MAE"])    show(f"mean MASE {tag}", result["mean MASE"])
Salidapython clock-masked-backtest.py
masked hours in scored windows: 16
scored hours without the mask: 9936
MAE without the mask: 382.02
mean MASE without the mask: 0.97
scored hours with the mask: 9920
MAE with the mask: 380.25
mean MASE with the mask: 0.96

La máscara quita 16 horas enmascaradas de las ventanas puntuadas, las horas de marzo y octubre del subconjunto, y el MAE agrupado cambia solo un poco, de 382.02 kWh a 380.25 kWh.

El MASE medio pasa de 0.97 a 0.96, sobre 9920 horas puntuadas en lugar de 9936. La diferencia proviene de las horas eliminadas.

La muestra de domingos no puede mostrar el relleno en absoluto, porque el ingenuo estacional lee solo el día anterior a cada corte, que es un sábado en todos los cortes de domingo, y ningún sábado contiene un cambio de hora.

Regla práctica: Marca ambas horas del cambio de hora como faltantes en cada historial y en cada puntuación, cuenta las horas enmascaradas en tu informe, y rellénalas con el historial anterior al punto de corte solo cuando el modelo no pueda aceptar valores faltantes. Si el recuento de horas enmascaradas cambia de una ejecución a otra, han cambiado la muestra o las marcas del archivo, y debes averiguar por qué antes de volver a calcular las puntuaciones.

Comprueba una prueba retrospectiva en busca de fugas de datos

Último cambio en la edición 2026.11.11

Cada ventana de una prueba retrospectiva debe construirse con datos disponibles en su fecha de corte, así que la comprobación de una fuga es sencilla de enunciar. Una variable para una ventana debe tener el mismo valor tanto si se calcula a partir del historial cortado en la fecha de corte como si se calcula a partir de la serie completa. Si los dos valores difieren, la variable leyó un dato posterior al corte, y la prueba retrospectiva favorece al método. La prueba de desplazamiento compara una variable calculada a partir del historial cortado en la fecha de corte con esa misma variable calculada a partir de la serie completa. Es barata de ejecutar y detecta un error que la prueba retrospectiva no puede detectar por sí sola, porque una variable con fuga puntúa bien por diseño.

La prueba tiene dos mitades, y cada una detecta lo que la otra no ve. Tomemos el cliente principal, MT_014, y tres variables sobre sus lecturas horarias. La primera es una media móvil hacia atrás: el promedio de las 24 horas hasta cada hora inclusive, que no lee nada posterior a su hora. La segunda es la misma media desplazada una hora hacia adelante, de modo que cada valor es el promedio de una ventana que termina una hora después, y lee la primera hora posterior al corte. La tercera es un retardo de una hora, la fuga más común de un día para otro. La mitad del historial compara cada variable en las filas de las ocho semanas previas a cada uno de los tres cortes de evaluación, del 29 al 31 de diciembre de 2014. La mitad del objetivo compara las 24 horas que pronostica cada corte, calculadas solo a partir de las lecturas anteriores al corte. Ambas versiones parten de la misma primera lectura, de modo que el periodo de arranque de una media móvil coincida en los dos lados. Si se calcularan desde inicios distintos, el arranque y el redondeo de punto flotante aparecerían como diferencias falsas, por eso la comprobación compara con una tolerancia:

leakage-shift-check.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 Superado
"""Shift test: a feature must read nothing from its cutoff on, on the history rows and on the target hours. The prose'spoint rests on the counts of differing rows: an honest feature shows zero, and a leaking one shows its leak."""from lib.electricity import loadfrom lib.leakage import history_test, lag, peeking_mean, target_test, trailing_meanfrom lib.settings import EVAL_CUTOFFS, LEAD, showy = load([LEAD]).set_index("ds")["y"]  # indexed by timestamp, so each feature can be cut at a cutoff by timecompared, honest = history_test(y, trailing_mean)  # rows compared, and the rows where cutting at the cutoff changes the feature_, peeking = history_test(y, peeking_mean)  # the leaking feature: its last value before each cutoff reads the cutoff hour_, lag1_history = history_test(y, lag(1))  # lag 1 reads only the past on history rows, so this half passes itshow("cutoffs", len(EVAL_CUTOFFS))show("rows compared", compared)show("rows differing for the trailing mean", honest)show("rows differing for the peeking mean", peeking)show("rows differing for lag 1", lag1_history)targets, lag1_target = target_test(y, lag(1))  # target hours compared, and the hours that differ, over the 24 hours of each cutoff_, lag24_target = target_test(y, lag(24))show("target hours compared", targets)show("target hours differing for lag 1", lag1_target)show("target hours differing for lag 24", lag24_target)
Salidapython leakage-shift-check.py
cutoffs: 3
rows compared: 4032
rows differing for the trailing mean: 0
rows differing for the peeking mean: 3
rows differing for lag 1: 0
target hours compared: 72
target hours differing for lag 1: 69
target hours differing for lag 24: 0

En las filas del historial, la media desplazada difiere en 3 de las 4032 comparadas, una en cada corte: la última hora antes de cada corte, cuyo valor depende de la lectura en el propio corte. La media móvil hacia atrás difiere en 0 de ellas.

El retardo de una hora es el caso que la mitad del historial no puede detectar. Difiere en 0 filas del historial, porque cada fila que lee está en el pasado, de modo que la mitad del historial por sí sola lo aprueba.

En las 72 horas objetivo difiere en 69, ya que para cada hora objetivo posterior a la primera, la lectura que usa está en el día que se pronostica. El retardo de 24 horas difiere en 0 de ellas, porque lee la misma hora del día anterior, que se conocía en cada corte.

La prueba de desplazamiento solo comprueba variables y nada más. No comprueba la escala, el relleno ni el código propio del modelo, por eso las secciones anteriores fijan esas reglas por separado. Ejecútala sobre cada variable que lea un modelo, en varios cortes repartidos a lo largo del año, e incluye un corte en un día de cambio de hora si la variable lee la hora anterior.

Cuando una variable no supera la prueba, no corrijas la puntuación. Retrasa la variable hasta que solo lea lo que se conocía en su fecha de corte, y luego vuelve a ejecutar la prueba hasta que el recuento sea cero.

Regla práctica: Mantén cada retardo al menos igual al horizonte, 24 horas, de modo que la lectura que usa un retardo para cualquier hora objetivo se conociera en el corte. Antes de confiar en una prueba retrospectiva con variables, ejecuta las dos mitades de la prueba de desplazamiento sobre cada variable, en varios cortes repartidos a lo largo del año, y exige cero filas diferentes para cada variable que lea el modelo. Una variable que difiere está leyendo el futuro, así que corrígela o elimínala antes de puntuar nada.

Qué sale mal en producción

Último cambio en la edición 2026.11.5

Un backtest es una muestra del pasado, y la muestra se elige. Cada cambio de hora cae en el último domingo de marzo o de octubre (Directiva 2000/84/CE, artículos 2 y 3), así que una muestra de domingos alcanza todos los cambios. Una muestra de lunes llegaría al día siguiente de cada cambio sin llegar a la hora del cambio, de modo que la elección de los días altera lo que el backtest puede ver. Registra las fechas que cubre la muestra y vuelve a ejecutar la comprobación del reloj cuando cambien las fechas de la muestra.

Los efectos del calendario son un problema de muestra distinto. El domingo de Pascua, 20 de abril de 2014, es un festivo portugués, que el paquete holidays incluye para Portugal, y la ejecución lo cuenta: 1 de 52 ventanas. La semana reservada contiene el 25 de diciembre de 2014, festivo nacional en Portugal, y una semana de días ordinarios con un festivo da una puntuación distinta a la de una semana formada solo por días ordinarios. Un backtest que usa variables de festivos debe contar los festivos de sus ventanas e indicar cuántos caen en la muestra.

Un error agregado oculta las ventanas que fallaron. Un año de ventanas puede promediar una cifra respetable mientras un mes, o un cliente, concentra el error. Desglosa las puntuaciones por mes y por cliente antes de informar una sola cifra, y revisa las peores ventanas, no solo el promedio.

El recuento de horas enmascaradas sigue la marca del calendario, no las lecturas. Cambia cuando cambian las fechas de la muestra o las marcas del archivo, y no puede detectar una deriva en las lecturas. Cuenta las horas enmascaradas en cada ejecución y lanza una alarma ante un cambio en el recuento, porque es la señal más barata de que la muestra o el archivo han cambiado. La deriva en las lecturas requiere el censo: las horas de hueco que leen cero y las horas repetidas frente a sus vecinas. El capítulo 10 vuelve sobre esto en el registro de ejecución.

Por último, un backtest que supera la prueba de desplazamiento aún puede filtrar información a través de la escala o del relleno, si cualquiera de los dos se calcula con datos posteriores al corte. Las comprobaciones de este capítulo cubren esas vías en los ejemplos y las reglas, no en cada biblioteca que pueda usar un lector. Quien añada una biblioteca debe leer cómo recorta sus datos de entrenamiento, como muestra el valor por defecto de cross_validation.

Regla práctica: Ejecuta de nuevo las comprobaciones del reloj y del desplazamiento en cada actualización de datos, y antes de cualquier cambio en las fechas de la muestra, en la longitud del historial o en la escala. Guarda el recuento de horas enmascaradas, los recuentos del censo y los recuentos de la prueba de desplazamiento en el registro de ejecución, junto a las puntuaciones, para que un cambio posterior en cualquiera de ellos pueda rastrearse hasta su causa.

Decisiones que tomó este capítulo

Último cambio en la edición 2026.11.5
  • La prueba retrospectiva usa los puntos de corte de los domingos de 2014. Cada cambio de hora cae en domingo, así que la muestra alcanza cada cambio, y los dos cambios de 2014 están incluidos.
  • El historial de cada ventana son las 1,344 horas anteriores a su punto de corte, recortado por el punto de corte, y la longitud se fija en el código, no se deja al valor por defecto de una biblioteca.
  • La marca de tiempo ds es el inicio de su hora en hora local, sin zona horaria, y el libro lee el archivo bajo esa suposición.
  • Ambas horas de cambio de hora se enmascaran en todo historial y en toda puntuación. Un modelo que no admite valores faltantes toma la media de las horas vecinas del historial anterior al punto de corte.
  • Se descarta dividir a la mitad la hora de octubre, porque supone que las dos horas reales usaron la misma energía, lo que los datos no muestran.
  • La cifra principal es el MASE medio por cliente, en la escala única del Capítulo 2 a scoring.book_scale. El MAE agrupado es la segunda línea, con la participación del cliente más grande impresa.
  • Toda cifra que cita el texto permanece vinculada a una línea etiquetada de la salida de su ejemplo, como estableció el Capítulo 1, de modo que una actualización de la biblioteca cambia la cifra del capítulo y nadie la vuelve a escribir.
  • Un cliente sin ninguna lectura antes del primer punto de corte queda fuera del MASE. Las horas de un cliente que empieza tarde anteriores a su primera lectura quedan fuera de toda puntuación. El Capítulo 4 define la regla de inicio para los historiales.
  • La prueba de desplazamiento se aplica a cada variable, en ambas mitades. Todo retardo es al menos igual al horizonte, y no se usa ninguna variable que cambie en algún punto de corte.

Este capítulo, en esta edición

Edición 2026.11.11Ejemplos verificados el 20 de nov de 2026Superan la prueba 7 de 7 ejemplos ejemplos de este capítulo

Traducido del libro en inglés, edición 2026.11.11.

Cita esta sección

Formato

Cada formato cita el libro en inglés, que esta traducción sigue.

Cada formato nombra esta edición. Su enlace abre la edición actual, donde el encabezado de cada sección indica cuándo cambió su texto por última vez. Las fechas de acceso y de recuperación son el día en que lo abres.

En esta página

Capítulo 3 de 10: Backtesting sin mirar hacia adelante

  1. Por qué una sola semana de prueba engaña
  2. Avanza el punto de corte
  3. Mantén el futuro fuera de la historia
  4. Conoce los cambios de hora
  5. La hora de marzo que marca cero
  6. La hora de octubre que contiene dos
  7. Marca las horas del cambio de hora como faltantes
  8. Comprueba una prueba retrospectiva en busca de fugas de datos
  9. Qué sale mal en producción
  10. Decisiones que tomó este capítulo

Volver arribaTodos los capítulos