Establece las líneas base que un modelo debe superar

Unos 25 minutos de lectura, con 2 ejemplos en 7 secciones.

Edición 2026.11.11 Ejemplos verificados el 20 de nov de 2026 41 de 41 ejemplos pasan Qué ha cambiado

Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros

Traducido del libro en inglés, edición 2026.11.11. Lee el original

En este capítulo calculas tres líneas base para la previsión con un día de antelación de un cliente: ingenua, ingenua estacional y promedio de semanas, y escalas el error de un cliente con MASE, usando una escala que solo lee las lecturas anteriores a la semana prevista.

El capítulo 1 terminó con dos puntuaciones sobre la semana reservada, y ninguna de las dos puede juzgarse todavía, porque un error en kWh no significa nada por sí solo. El suministrador, cuya compra depende de la previsión de cada hora, tiene que comparar el error de cada modelo con lo que obtiene la previsión más sencilla en esas mismas horas, y con cuánto se mueve la demanda del cliente de un día a otro. Este capítulo construye ambas comparaciones. El suministrador las necesita antes de poder afirmar que un modelo vale lo que cuesta.

Cada error es un fallo en kilovatios hora para una hora, y las puntuaciones que aquí se presentan son promedios horarios de esos fallos. La puntuación de una línea base es del mismo tipo de número. Indica cuántos kilovatios hora de error deja la regla más simple para una hora media del día, y un modelo que no supera esa cifra no justifica su coste adicional. Por eso cada puntuación se lee tanto frente a la demanda media del cliente principal como frente a las demás filas.

Por qué un modelo de referencia va primero

Último cambio en la edición 2026.11.11

Un modelo de referencia es un pronóstico que no necesita ajuste. Copia un valor que el historial ya contiene, así que cuesta casi nada ejecutarlo, y fija una vara que cualquier modelo debe superar. Un modelo se gana su lugar solo si supera a un pronóstico que no costó nada. El tiempo de ajuste, la calibración y el mantenimiento de un modelo en funcionamiento son costos, y la puntuación del modelo de referencia mide lo que esos costos aportan.

Aquí importan tres términos. El corte es la hora en la que se hace un pronóstico. El corte es la primera hora que cubre el pronóstico, y el historial es cada lectura anterior al corte. El horizonte es hasta dónde llega un pronóstico hacia adelante, aquí 24 horas. Una ventana es un corte junto con el horizonte que cubre, y una prueba retrospectiva es la puntuación de muchas ventanas, cada una hecha como se habría hecho en su día.

La comparación tiene que ser justa, o medirá la configuración y no el modelo. Un modelo de referencia puntuado en horas distintas, con un historial distinto o con una rutina de puntuación diferente no dice nada sobre el modelo que tiene al lado. Por eso cada método de este capítulo toma sus cortes de held_out_cutoffs(), los siete cortes diarios a las 00:00 de la semana reservada, lee su historial mediante history_before(), que toma las ocho semanas de horas anteriores a un corte, y se puntúa con el mismo código. Estas son las siete ventanas que usó el capítulo 1.

Regla práctica: Puntúa cada modelo de referencia en las mismas ventanas, historiales y código de puntuación que el modelo con el que se comparará, y cuenta los pronósticos faltantes de cada modelo de referencia antes de leer su puntuación. Un modelo que supera a una referencia puntuada en horas distintas no la ha superado.

Tres líneas base que superar

Último cambio en la edición 2026.11.11

Cada línea base copia el historial de una manera distinta. Naive arrastra la última hora que ha visto a lo largo de todo el día. Naive estacional copia el día anterior, hora por hora. Promedio de semanas toma la media de esa hora en ese día de la semana durante las cuatro semanas anteriores.

Cada regla cubre las 24 horas posteriores a un punto de corte. Llamemos al punto de corte T, la hora en que se hace el pronóstico, y dejemos que k vaya de 0 a 23 a lo largo de las horas que cubre el pronóstico. Las tres reglas son estas:

  • Naive repite la última lectura anterior al punto de corte: forecast(T + k) = y(T - 1).
  • Naive estacional repite la lectura de un día antes: forecast(T + k) = y(T + k - 24).
  • Promedio de semanas toma la media de la misma hora del mismo día de la semana durante las cuatro semanas anteriores: forecast(T + k) = (y(T + k - 168) + y(T + k - 336) + y(T + k - 504) + y(T + k - 672)) / 4.

Los retardos están en horas, así que 168 es una semana. Cada lectura que usa una regla proviene de antes del punto de corte: la de naive es la hora anterior, las de naive estacional son las 24 horas previas, y promedio de semanas retrocede entre una y cuatro semanas. Tomemos como caso trabajado la ventana de las 00:00 del 25 de diciembre de 2014. Naive asigna a cada hora del 25 de diciembre la lectura de las 23:00 del 24 de diciembre, así que el pronóstico es plano. Naive estacional asigna a las 00:00 del 25 de diciembre la lectura de las 00:00 del 24 de diciembre, y por tanto copia toda la forma del día anterior. Promedio de semanas asigna a las 00:00 del 25 de diciembre la media de las lecturas de las 00:00 de los días 18 y 11 de diciembre, y 4 y 27 de noviembre. Esa media suaviza un día inusual, pero también incorpora cualquier cambio de nivel a lo largo de las cuatro semanas.

Cada regla falla de una forma conocida. Naive asigna a cada hora del día el mismo valor, así que no puede seguir el pico diario en absoluto. Naive estacional copia un solo día, de modo que un día inusual se copia en el pronóstico del día siguiente, como muestran más adelante en esta sección los errores por día de la semana reservada. Promedio de semanas necesita cuatro semanas limpias, y un festivo en cualquiera de ellas entra en la media con el mismo peso que un día ordinario. La puntuación de una línea base describe, por tanto, su regla sobre las ventanas en que se ejecutó, y estos fallos solo aparecen en las ventanas donde ocurren.

Naive y naive estacional provienen de statsforecast (2.1.1), cuyas clases Naive y SeasonalNaive están en statsforecast/models.py. La regla de naive estacional es la que Hyndman y Athanasopoulos dan para datos estacionales: el pronóstico es el último valor observado de la misma temporada. Promedio de semanas no es un método de la biblioteca, así que examples/lib/baselines.py lo calcula en pandas, donde la regla puede leerse, y cada ventana lee solo su propio historial. Un retardo que falte en ese historial provoca un error en lugar de omitirse. Un solo script puntúa las tres reglas a lo largo de esas siete ventanas, y sus primeras líneas cuentan las ventanas, las horas puntuadas y los pronósticos ausentes, para que puedas comprobarlos antes de leer una puntuación.

naive-baselines-held-out-week.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Score the three baselines for the lead client over the held-out week, on the same seven windows. The point rests on the missing-forecasts line, which must be zero for the scores to compare, and on the three MAE lines."""import pandas as pdfrom lib.backtest import held_out_cutoffs, score_windows, window_maefrom lib.baselines import BASELINES, baseline_forecastsfrom lib.electricity import loadfrom lib.settings import LEAD, showcutoffs = held_out_cutoffs()                                 # seven daily cutoffs at 00:00; every baseline uses these same windowsdf = load([LEAD])[["unique_id", "ds", "y"]]                  # unique_id, ds and y only: the baselines read no other columnforecasts = baseline_forecasts(df, cutoffs)                  # one row per forecast hour, one column per baseline; each window reads its own historylabels = ["naive", "seasonal naive", "average of weeks"]     # printed names, in the order of BASELINES, which the loops below zip withshow("windows", len(cutoffs))show("scored hours", len(forecasts))show("missing forecasts", int(forecasts[BASELINES].isna().sum().sum()))   # NaN marks a forecast that could not be made; the two sums count them over every columnshow("mean demand", df[df["ds"].isin(forecasts["ds"])]["y"].mean())       # the mean over the scored hours only, not over the whole historyfor model, label in zip(BASELINES, labels):    show(f"{label} MAE", score_windows(df, forecasts, model)["mae"])      # pooled over every scored hour; the result is keyed by metric namefor model, label in zip(BASELINES, labels):    per_window = window_mae(df, forecasts, model)                         # one MAE per window, keyed by the day its forecast hours fall on    show(f"{label} worst window MAE", per_window.max())    show(f"{label} worst window", per_window.idxmax().strftime("%b %d, %Y"))    for day in ["2014-12-25", "2014-12-26"]:                              # Dec 25 is the holiday and Dec 26 the day after: the two windows the prose reads        show(f"{label} MAE {pd.Timestamp(day):%b %d} window", per_window[pd.Timestamp(day)])   # windows are keyed by midnight of their day, so a Timestamp at 00:00 finds one
Salidapython naive-baselines-held-out-week.py
windows: 7
scored hours: 168
missing forecasts: 0
mean demand: 46.62
naive MAE: 8.16
seasonal naive MAE: 8.36
average of weeks MAE: 8.96
naive worst window MAE: 11.01
naive worst window: Dec 30, 2014
naive MAE Dec 25 window: 5.84
naive MAE Dec 26 window: 10.36
seasonal naive worst window MAE: 12.16
seasonal naive worst window: Dec 26, 2014
seasonal naive MAE Dec 25 window: 9.41
seasonal naive MAE Dec 26 window: 12.16
average of weeks worst window MAE: 22.09
average of weeks worst window: Dec 25, 2014
average of weeks MAE Dec 25 window: 22.09
average of weeks MAE Dec 26 window: 12.33

Las tres puntuaciones solo son comparables porque cubren las mismas horas: 168 horas puntuadas en 7 ventanas, una para cada hora de los siete días, y 0 pronósticos ausentes entre las tres reglas. Ese recuento es el que pide la regla práctica de la primera sección, y cero es el único valor que permite comparar las tres sobre las mismas horas.

Compara cada error siguiente con la demanda media del cliente principal, de 46.62 kWh. Cada puntuación de abajo es un MAE, el error absoluto medio en kWh que define el Capítulo 1. Las tres líneas base obtienen:

  • naive: 8.16 kWh
  • naive estacional: 8.36 kWh
  • promedio de semanas: 8.96 kWh

La regla más sencilla tiene el menor error en esta semana, y promedio de semanas, que promedia cuatro semanas, es la más débil. Nada de lo aquí presentado explica ese orden, y se trata de un solo cliente y una sola semana, así que es un resultado válido solo para esta semana. El Capítulo 3 es donde el libro somete a backtesting a naive estacional a través de muchos puntos de corte.

Los totales ocultan dónde se concentran los errores. La semana comienza el 25 de diciembre de 2014, un festivo nacional en Portugal, y su primera ventana es donde las reglas se separan. Naive tiene el menor error en ella, con 5.84 kWh, frente a 9.41 kWh de naive estacional. Promedio de semanas es peor todavía, y su mayor error de la semana cae en esa ventana, con 22.09 kWh, porque sus cuatro retardos son días ordinarios y el festivo no tiene equivalente entre ellos.

El día después del festivo es donde copiar le cuesta a naive estacional. Su mayor error de la semana cae en Dec 26, 2014, con 12.16 kWh, porque esa ventana copia el patrón del festivo. Ese día naive sigue siendo la más baja, con 10.36 kWh.

Recomendamos informar las tres líneas base cada vez. Usa naive estacional como referencia principal para MASE, porque conserva el ciclo diario que hace predecible la demanda horaria, y mantén naive junto a ella, porque en algunas semanas la regla plana es la más sólida.

Regla práctica: Parte de naive y naive estacional, ambas de la biblioteca, y añade promedio de semanas cuando la serie tenga un ritmo semanal que merezca probarse. Comprueba a mano un pronóstico frente a su fórmula antes de confiar en una línea base: elige un punto de corte, calcula una hora a partir de las lecturas de su historial y compara el resultado con el pronóstico.

Escalar los errores con MASE

Último cambio en la edición 2026.11.11

Un error de kilovatios-hora significa cosas distintas para clientes distintos. Un fallo de 8.36 kWh por hora es pequeño para un cliente que consume 46.62 kWh por hora, y ese mismo fallo sería grande para un cliente hipotético que consume 4 kWh por hora. Escalar el error elimina esa diferencia. Un error escalado divide cada error absoluto entre una escala, es decir, el error típico de un método simple sobre el propio historial del mismo cliente. MASE, el error absoluto escalado medio, es la media de los errores escalados. Hyndman y Koehler lo introdujeron en un artículo de 2006 en el International Journal of Forecasting. El enlace es el preprint de los autores, fechado en 2005. Señalaron que el error escalado no depende de las unidades de los datos, de modo que el mismo número puede leerse al comparar clientes de tamaños muy distintos. Este capítulo evalúa a un solo cliente, así que la comparación entre clientes es la razón de la escala, no un resultado que aquí se muestre.

El artículo de 2006 escala por el error naive de un paso: la diferencia absoluta media entre cada lectura y la anterior. Esa es la escala natural para series no estacionales. Para la demanda horaria, este libro usa la forma estacional que Hyndman y Athanasopoulos dan para datos estacionales, porque la comparación que quiere el lector es con naive estacional: con la escala estacional, el denominador es el error de naive estacional sobre el propio historial del cliente. Un MASE menor que 1 indica entonces que el error del pronóstico en las horas evaluadas es menor que el error de naive estacional sobre ese historial. Una escala de un paso compararía el resultado con un método que este libro no usa para la demanda horaria.

Las dos fórmulas son estas:

  • scale = mean of |y(t) - y(t - 24)| sobre cada lectura t anterior al primer día de prueba, excluyendo los pares que tocan una hora enmascarada cuando cambia el reloj
  • MASE = mean of |actual(t) - forecast(t)| / scale sobre las horas evaluadas

La escala lee todas las lecturas anteriores al primer día de prueba, 17352 horas, unos dos años. Eso es más largo que el historial de ocho semanas de cada ventana, y un historial más largo da una estimación más estable de la oscilación habitual del cliente. Una sola escala para la semana también significa que cada ventana se compara con el mismo número. La función seasonal_scale de examples/lib/baselines.py la calcula para un cliente o para muchos, y devuelve un valor por cliente. Para ver si el corte importa, evalúa los tres métodos base sobre la semana de prueba dos veces: con la escala del historial y con la escala de toda la serie, ambas con las lecturas de cambio de reloj enmascaradas.

mase-scale-leak-check.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Superado
"""Score the lead client's held-out week in MASE with a scale from history and with one from the whole series, both with the clock-change readings masked. The point rests on the two last-reading lines, which show where each scale stops, and on the MASE ratio lines."""import pandas as pdfrom lib.backtest import held_out_cutoffsfrom lib.baselines import BASELINES, baseline_forecasts, mase_scores, scale_history, seasonal_scalefrom lib.electricity import loadfrom lib.quirks import mask_clock_changesfrom lib.settings import HELD_OUT_WEEK, LEAD, showLABELS = ["naive", "seasonal naive", "average of weeks"]    # printed names, in the order of BASELINESfirst_day = pd.Timestamp(HELD_OUT_WEEK[0])                   # the first test day: the history scale may read only readings before itfull = load([LEAD])                                          # every reading of the lead client, with the quirk column that marks clock-change hoursdf = full[["unique_id", "ds", "y"]]                          # the three columns the baselines and mase_scores read; quirk is for masking onlyforecasts = baseline_forecasts(df, held_out_cutoffs())       # the same windows and history rule as naive-baselines-held-out-week.pyhistory = scale_history(full, first_day)                     # keeps only rows strictly before the first test day, so no test hour reaches this scalemasked_history = mask_clock_changes(history)                 # clock-change hours set to NaN, so the pairs that touch them drop out of the meanmasked_whole = mask_clock_changes(full)                      # the same masking on the whole series, so the test week is the only differencetest_rows = len(full[full["ds"] >= first_day])               # readings from the first test day on: the test week's rowsshow("scale rows from history", len(history))show("last scale reading from history", history["ds"].max().strftime("%b %d, %Y %H:%M"))   # this must be the hour before the first test day; the line is the checkshow("scale rows from whole series", len(full))show("last reading of whole series", full["ds"].max().strftime("%b %d, %Y %H:%M"))show("test week share of whole-series rows in percent", 100 * test_rows / len(full), digits=3)show("clock-change rows in scale history", int(history["quirk"].ne("normal").sum()))   # every quirk but normal; for the lead client these are the clock-change hours, as it has no late startshow("test week own mean day-to-day difference", seasonal_scale(full[full["ds"] >= first_day - pd.Timedelta(hours=24)]).loc[LEAD], digits=4)   # starts 24 hours early, so its first pair is the first test day against the day beforeshow("scale from history as recorded", seasonal_scale(history).loc[LEAD], digits=4)          # seasonal_scale returns one value per client, so .loc picks the lead client; the clock-change pairs are kept hereshow("scale from history clock changes masked", seasonal_scale(masked_history).loc[LEAD], digits=4)   # pairs with a NaN are left out of the meanshow("scale from whole series clock changes masked", seasonal_scale(masked_whole).loc[LEAD], digits=4)hist = mase_scores(df, forecasts, BASELINES, masked_history).loc[LEAD]   # the scale comes from the rows passed as train, not from df; that choice is what this example testswhole = mase_scores(df, forecasts, BASELINES, masked_whole).loc[LEAD]for model, label in zip(BASELINES, LABELS):    show(f"{label} MASE from history scale", hist[model])    show(f"{label} MASE from whole-series scale", whole[model])    show(f"{label} MASE ratio whole-series over history", whole[model] / hist[model], digits=4)   # both MASEs share the same errors, so this ratio is the history scale over the whole-series scaleshow("seasonal naive MASE from history scale at four decimals", hist["SeasonalNaive"], digits=4)   # two decimals hide the leak, so the last two lines print fourshow("seasonal naive MASE from whole-series scale at four decimals", whole["SeasonalNaive"], digits=4)
Salidapython mase-scale-leak-check.py
scale rows from history: 17352
last scale reading from history: Dec 24, 2014 23:00
scale rows from whole series: 17520
last reading of whole series: Dec 31, 2014 23:00
test week share of whole-series rows in percent: 0.959
clock-change rows in scale history: 4
test week own mean day-to-day difference: 8.3607
scale from history as recorded: 7.1121
scale from history clock changes masked: 7.1005
scale from whole series clock changes masked: 7.1126
naive MASE from history scale: 1.15
naive MASE from whole-series scale: 1.15
naive MASE ratio whole-series over history: 0.9983
seasonal naive MASE from history scale: 1.18
seasonal naive MASE from whole-series scale: 1.18
seasonal naive MASE ratio whole-series over history: 0.9983
average of weeks MASE from history scale: 1.26
average of weeks MASE from whole-series scale: 1.26
average of weeks MASE ratio whole-series over history: 0.9983
seasonal naive MASE from history scale at four decimals: 1.1775
seasonal naive MASE from whole-series scale at four decimals: 1.1755

La escala del historial es de 7.1005 kWh, la diferencia media entre cada hora y la misma hora del día anterior, y se lee frente a la demanda media de la misma forma que un MAE. Una escala que es una parte grande de la media indica que la oscilación de un día a otro del propio cliente es grande, y cada error de ese cliente se lee frente a esa oscilación. Dividiendo el MAE de 8.36 kWh de naive estacional entre la escala se obtiene su MASE, 1.18. La función mase de utilsforecast, a la que se llega a través del auxiliar mase_scores, calcula este MASE dividiendo el mismo MAE entre la misma escala estacional (utilsforecast 0.2.17, utilsforecast/losses.py, función mase), de modo que la división a mano da la misma cifra.

utilsforecast (0.2.17) calcula MASE con su función mase en utilsforecast/losses.py. La función toma su escala del train_df que recibe, y desplaza ese marco por filas, no por tiempo, así que una hora que falta desplaza todos los retardos posteriores y nada lo advierte. Además, necesita entrada ordenada. Su filtro temporal solo se ejecuta cuando el marco evaluado tiene una columna cutoff (función _create_train_with_cutoffs). Por tanto, la biblioteca no decide qué lecturas puede leer la escala. Lo decide quien hace el cálculo, y la siguiente sección trata de esa elección.

Regla práctica: Informa del MASE junto al MAE siempre que los clientes que compares difieran en tamaño, y di en la misma frase de qué historial procede la escala. Lee el MASE como una razón entre dos errores medios, uno de las horas evaluadas y otro del historial. No es una ganancia porcentual sobre naive estacional, aunque el MASE esté muy por debajo de 1.

Tomar la escala de MASE desde el historial

Último cambio en la edición 2026.11.11

Una escala describe el historial anterior al primer día de prueba, no la serie completa. Si la escala lee la serie completa, también lee las horas sobre las que se evalúa el pronóstico, de modo que la semana reservada entra en el denominador de su propio error. Eso es una fuga, y no produce ningún error. El MASE que resulta se ve como cualquier otro. La regla de este libro es que una escala lee solo las lecturas anteriores al primer día de prueba de la semana que puntúa, que para la semana reservada es el 25 de diciembre de 2014.

Una escala de la serie completa parece la opción más segura, porque usa más lecturas. Pero usa más lecturas del período equivocado. Las lecturas adicionales son justamente aquellas por las que se juzga el pronóstico, así que la escala ya no mide lo que se conocía en el corte. Más datos no lo corrige. Solo lo corrige el corte.

El script de la sección anterior imprime las filas que lee cada escala, y esas líneas son la comprobación. La escala del historial lee 17352 lecturas, y su última lectura es Dec 24, 2014 23:00, la hora anterior al primer día de prueba. Una fecha posterior allí significaría que las horas de prueba llegaron a la escala.

La escala de la serie completa lee 17520 lecturas, hasta Dec 31, 2014 23:00, lo que cubre toda la semana reservada. Ambas escalas tienen enmascaradas sus lecturas de cambio de hora, de modo que la semana reservada es la única diferencia entre ellas.

La escala de la serie completa es la más grande, así que cada MASE calculado con ella es menor. Con dos decimales, ambas escalas dan para el naïve estacional 1.18, por lo que la fuga no se ve. Con cuatro decimales sí se ve: el MASE del naïve estacional es 1.1775 frente a 1.1755, y el factor siguiente es la lección, no el redondeo.

Las escalas son 7.1005 kWh desde el historial y 7.1126 kWh desde la serie completa, y el mismo factor, 0.9983, reduce cada una de las tres reglas.

La fuga es pequeña en esta semana porque la semana reservada es una parte pequeña de la serie. Representa el 0.959 por ciento de las lecturas de la serie completa, de modo que la escala de la serie completa es aproximadamente la escala del historial desplazada hacia la oscilación propia de la semana reservada en esa proporción. La diferencia media propia de la semana reservada entre días consecutivos es 8.3607 kWh, frente a 7.1005 kWh del historial, así que la semana oscila más que el historial. La proporción multiplicada por esa diferencia es la fuga, y el cociente anterior es su tamaño. La fuga crece de dos maneras. Crece cuando más filas de la escala son horas de prueba, como en un período de prueba mucho más largo que una semana, por ejemplo el año de cortes del Capítulo 3. También crece cuando la oscilación de la semana reservada se aleja más de la del historial. Una semana más tranquila bajaría la escala de la serie completa y haría que todos los MASE fueran mayores, así que la misma fuga puede favorecer a un modelo en una semana y perjudicarlo en otra.

Los cambios de hora son un segundo punto, más pequeño, y este capítulo los trata como lo hace el Capítulo 3. El historial contiene 4 lecturas de cambio de hora: las dos horas que faltan y las dos horas repetidas de los cambios de marzo y octubre de 2013 y 2014. Las horas omitidas por el salto marcan cero, y las horas repetidas contienen la energía de dos, como describe la ficha de datos; el Capítulo 3 muestra el efecto. Tal como se registraron, esos pares dan una escala de 7.1121 kWh. Enmascarados, la escala es de 7.1005 kWh, porque los pares que tocan una lectura enmascarada quedan fuera de la media. Una lectura enmascarada no es cero ni una copia; está ausente. La escala del capítulo las enmascara, y el Capítulo 3 explica la razón, que las marca como ausentes en cada conjunto de entrenamiento y en cada puntuación.

Regla práctica: Pasa a una escala solo las lecturas anteriores al primer día de prueba, enmascara sus lecturas de cambio de hora e imprime la última lectura que usa. Comprueba que esa lectura es la hora anterior al primer día de prueba. Una pequeña diferencia entre las dos escalas no demuestra que el procedimiento sea correcto. La comprobación de filas sí.

Lee la puntuación de una línea base

Último cambio en la edición 2026.11.5

El MASE compara el pronóstico con el error de la regla de naive estacional sobre el historial propio del cliente. Por debajo de 1, el error del pronóstico en las horas evaluadas es menor que el error que cometió la naive estacional en ese historial; por encima de 1, es mayor. Hyndman y Koehler exponen esta lectura en su artículo para la escala de un paso, y la aritmética es la misma para la escala estacional. El libro no fija un umbral para una buena puntuación. Qué se considera bueno depende de lo que cuesta un fallo al proveedor, algo que el proveedor conoce y este libro no.

La tabla pone las tres líneas base una al lado de la otra, una fila por cada una. El MAE está en kWh, y el MASE usa la escala del historial con los cambios de hora enmascarados. La filtración de la sección anterior no se aprecia con dos decimales, así que la tabla tiene una sola columna de MASE.

Línea base MAE (kWh) MASE
Naive 8.16 1.15
Naive estacional 8.36 1.18
Promedio de semanas 8.96 1.26

Los tres valores de MASE están por encima de 1, así que cada línea base falló por más que el error típico de la naive estacional en el historial. Para la propia naive estacional, la variación día a día de la semana fue mayor que la del historial. Su MAE es igual a la diferencia media día a día de la semana de prueba, 8.3607 kWh, frente a 7.1005 kWh del historial. Para naive y promedio de semanas, la escala los compara con la naive estacional, no con su propio pasado, así que esta tabla no dice cómo se comportaron esas dos reglas en el historial. La semana empieza con un festivo nacional, y la sección anterior muestra la ventana festiva como el mayor error del promedio de semanas. El libro no prueba aquí los días restantes.

El orden es el mismo en ambas medidas: naive primero, naive estacional segundo y promedio de semanas tercero. Esa coincidencia no es un hallazgo. El MASE divide cada MAE entre la misma escala, así que el orden no puede diferir entre MAE y MASE para un mismo cliente.

La tabla también plantea la pregunta del proveedor: ¿basta con la regla más sencilla para comprar? Eso depende de lo que cuesta una hora de error, y el MASE no lo valora. Lo que el MASE le da al proveedor es una comparación que puede repetir. Un modelo posterior puede evaluarse con las mismas funciones auxiliares, y su MASE se coloca junto a estas filas sin cambiar de unidades.

Lee la tabla en este orden. Primero, confirma con la sección anterior que cada fila evalúa las mismas horas, sin pronósticos faltantes. Segundo, lee la columna de MASE frente a 1. Tercero, compara cada fila con las demás, no con un número de un libro de texto. Un modelo ajustado que solo iguala a la mejor fila no ha demostrado gran cosa, y uno que supera a la mejor por menos del redondeo impreso no ha demostrado nada.

Regla práctica: Lee el MASE de cada línea base frente a 1 y frente a las otras líneas base, y no declares un ganador con una sola semana. Un modelo solo se considera mejor cuando supera a la mejor línea base en más de un conjunto de ventanas, y cuando el margen es mayor que el redondeo de las puntuaciones impresas.

Qué sale mal en producción

Último cambio en la edición 2026.11.5

Si se puntúa un método de referencia en otras horas, o con otro historial, la comparación deja de significar lo que dice. Un equipo puede puntuar su modelo sobre un año de puntos de corte y su referencia sobre una sola semana, o dar al modelo un historial más largo que el de la referencia. La comparación entonces mide la configuración, y las cifras impresas parecen una prueba. La comprobación es la que usa este capítulo. Cada método toma sus puntos de corte de held_out_cutoffs y su historial de history_before, y se imprime el recuento de pronósticos faltantes en cada ejecución.

La fuga en la escala deja un MASE que parece cualquier otro y no produce ningún error. En este capítulo multiplica cada MASE de referencia estacional ingenua por 0.9983, un cambio que dos decimales ocultan. Una fuga mayor en otra semana tendría el mismo aspecto en la página. La comprobación es el recuento de filas impreso y la última lectura que usa la escala, ambos en una sola línea de salida que un revisor puede leer sin volver a ejecutar nada.

Un hueco en el desfase estacional da una escala incorrecta que ninguna salida señala. Con una hora faltante, un desfase de 24 filas llega a 25 horas atrás, de modo que cada par del día siguiente compara las horas equivocadas. El mase de la biblioteca no incluye una comprobación propia de huecos. La función auxiliar seasonal_scale comprueba que las horas de cada cliente sean continuas, y mase_scores ejecuta la misma comprobación sobre las filas de la escala antes de que la biblioteca las lea. La comprobación lanza un error en lugar de usar una aserción, porque Python elimina las aserciones con -O. Las horas puntuadas solo se comprueban por lectura y por duplicados. Una ejecución en producción debe contar las horas del flujo de datos antes de calcular cualquier escala, porque una comprobación dentro de la función auxiliar informa del problema después de que ya haya llegado a la escala.

El desfase estacional también puede elegirse para el ciclo equivocado. Un desfase de 24 sirve para una demanda horaria con ciclo diario. Los datos diarios tienen un ciclo semanal, y los datos horarios con un ritmo semanal pueden necesitar, en cambio, un desfase de 168. Una escala calculada con la estación equivocada sigue siendo un número, así que nada en la salida muestra el error. La comprobación consiste en nombrar la estación junto a la escala en el texto y confirmarla con el ciclo de los datos antes de usar la escala.

Elegir un parámetro sobre la semana de prueba estropea la comparación. El promedio de semanas tiene una elección incluida: cuántas semanas promediar. Si ese número se escoge porque da la mejor puntuación en la semana de prueba, la referencia se ha ajustado a la misma semana en la que se la juzga, y la comparación con los modelos deja de ser justa. Este libro fijó cuatro semanas antes de imprimir cualquier puntuación, y este capítulo lo mantiene en todas las ventanas. Un cambio en ese valor corresponde a la lista de decisiones al final del capítulo, y debe hacerse antes de ver las puntuaciones.

Regla práctica: Revisa las entradas de una referencia, y las de su escala, en este orden: las mismas ventanas para todos los métodos, una escala que lea solo lecturas anteriores con su última lectura impresa, un historial horario continuo para el desfase estacional, y una estación que coincida con el ciclo de los datos. Cada comprobación es una línea de salida o un recuento, y una comprobación fallida detiene la comparación hasta que se corrija.

Decisiones que tomó este capítulo

Último cambio en la edición 2026.11.5

Siete decisiones dieron forma a este capítulo, y la última es su traspaso al Capítulo 3. La mayoría están en examples/lib/baselines.py, las funciones auxiliares de las líneas base, de modo que una corrección allí llega a todos los capítulos que las llaman. La longitud del historial y el horizonte son los ajustes de examples/lib/settings.py, los mismos que usó el Capítulo 1, así que ninguna línea base de este capítulo lee un historial distinto del de los pronósticos que tiene al lado.

  • La escala de MASE es estacional, con un desfase de 24 horas. No se usa la escala de un paso del artículo de 2006.
  • La escala es un número por cliente para la semana reservada, calculado con cada lectura anterior al 25 de diciembre de 2014. Es más larga que el historial de cada ventana, como se explicó antes. utilsforecast puede aceptar una escala por cada fecha de corte cuando el marco incluye una columna de cortes, pero este capítulo no usa esa opción. Si la añades, ten en cuenta que su filtro conserva ds <= cutoff, de modo que la propia hora de corte queda incluida. En este libro, un corte es la primera hora que cubre un pronóstico, y su lectura no forma parte del historial. Por tanto, una columna de cortes construida a partir de los cortes de este libro debe retrasarse una hora antes de usarse.
  • El promedio de semanas usa las cuatro semanas anteriores a cada día pronosticado, se calcula en pandas y solo lee su propio historial de ocho semanas.
  • Naive y naive estacional son las clases de statsforecast. Las puntuaciones se agrupan sobre todas las horas evaluadas de la semana y se imprimen con dos decimales.
  • La escala enmascara sus 4 lecturas del cambio de hora, siguiendo la regla del Capítulo 3. La escala impresa del historial es entonces 7.1005 kWh.
  • Las líneas base no generan números aleatorios, así que los ejemplos no fijan una semilla.
  • El Capítulo 3 conserva el naive estacional y estas funciones auxiliares, y las aplica a un año de cortes en domingo, con una escala por cliente tomada de cada lectura anterior al primer corte, la regla que este capítulo expone. Una sola semana no puede dar esa prueba.

Este capítulo, en esta edición

Edición 2026.11.11Ejemplos verificados el 20 de nov de 2026Superan la prueba 2 de 2 ejemplos ejemplos de este capítulo

Traducido del libro en inglés, edición 2026.11.11.

Cita esta sección

Formato

Cada formato cita el libro en inglés, que esta traducción sigue.

Cada formato nombra esta edición. Su enlace abre la edición actual, donde el encabezado de cada sección indica cuándo cambió su texto por última vez. Las fechas de acceso y de recuperación son el día en que lo abres.

En esta página

Capítulo 2 de 10: Establece las líneas base que un modelo debe superar

  1. Por qué un modelo de referencia va primero
  2. Tres líneas base que superar
  3. Escalar los errores con MASE
  4. Tomar la escala de MASE desde el historial
  5. Lee la puntuación de una línea base
  6. Qué sale mal en producción
  7. Decisiones que tomó este capítulo

Volver arribaTodos los capítulos