Ajuste de un modelo estadístico para cada cliente
Unos 26 minutos de lectura, con 6 ejemplos en 10 secciones.
Traducido con IA. Verificado por personas en inglés. Cómo hacemos los libros
Traducido del libro en inglés, edición 2026.11.11. Lee el original
En esta página
- Por qué un modelo estadístico viene después
- Ajustar suavizamiento exponencial
- Ajustar un ARIMA estacional fijo
- Comparar modelos con los mismos cortes
- Conoce a los clientes que empiezan tarde
- Una historia que empieza con ceros
- Empieza cada serie en su primera lectura
- Por qué el libro evita AutoARIMA con estacionalidad 24
- Qué sale mal en producción
- Decisiones que tomó este capítulo
Aquí ajustarás AutoETS y un ARIMA estacional fijo para cada cliente sobre el mismo backtest, compararás ambos con el naive estacional y aprenderás a iniciar un cliente que empieza tarde en su primera lectura. El capítulo supone las líneas base y los backtests de los dos capítulos anteriores.
Cada cliente del proveedor necesita su propio pronóstico para el día siguiente, y el naive estacional del capítulo 2 da a todos la misma respuesta: la misma hora del día anterior. Esa regla no estima el nivel ni la tendencia de un cliente, y los clientes difieren en ambas cosas. Por eso este capítulo ajusta un modelo estadístico para cada cliente y se pregunta si el trabajo adicional merece la pena.
Por qué un modelo estadístico viene después
Capítulo 2 fijó la referencia. Estacional ingenuo pronostica cada hora como la misma hora del día anterior, y el error escalado, MASE, compara clientes con cargas distintas en una sola escala. Capítulo 3 sometió ese pronóstico a una validación retrospectiva en muchos puntos de corte. Un punto de corte es el momento en que se hace un pronóstico, y su historial termina ahí. Una ventana es un punto de corte y las 24 horas posteriores a él, que es el horizonte. El historial de cada ventana termina en su punto de corte, así que ninguna hora se pronostica con datos de su propio día.
Un modelo estadístico añade algo a ese ciclo. Una serie tiene un estado. El nivel de una serie es su lectura típica, la tendencia es la deriva lenta del nivel, la estacionalidad es la forma diaria de la carga, y lo que ninguna de estas explica es el error. Un modelo estadístico mantiene una estimación de cada parte del estado de una serie, actualiza las estimaciones a medida que llega cada lectura y las proyecta sobre el horizonte. El estacional ingenuo no tiene ese estado. Copia el día anterior, así que capta el nivel de un cliente solo tan bien como lo captó el día anterior.
Un modelo por cliente es un ajuste para cada cliente, usando solo el historial de ese cliente, así que el costo es un ajuste por cliente por ventana. El subconjunto que usa este capítulo, SUBSET8, tiene ocho clientes. En los tres puntos de corte estándar del libro, del 29 al 31 de diciembre de 2014, los últimos tres días de la semana reservada y las ventanas que informan todos los capítulos posteriores, eso son 24 ajustes por cada modelo. El código ejecuta los ajustes en un solo trabajador (n_jobs=1), lo que mantiene la salida idéntica de una ejecución a otra. Todos los modelos de este capítulo reciben los mismos tres puntos de corte y las mismas 1,344 horas de historial antes de cada uno. Los puntos de corte caen en la semana reservada, y el subconjunto incluye al cliente que empezó tarde y que una sección posterior necesita.
Regla práctica: Ajusta un modelo por cliente solo después de tener una referencia y una validación retrospectiva. Cuenta los ajustes antes de elegir el número de ventanas: clientes por ventanas, por reajustes si ejecutas el modelo cada día. Usa los mismos puntos de corte e historial para todos los modelos de una comparación. De lo contrario, la comparación mide las ventanas, no los modelos.
Ajustar suavizamiento exponencial
El naive estacional solo conserva el dato de ayer, así que el primer candidato conserva un nivel en su lugar. El suavizamiento exponencial mueve su nivel hacia cada nueva lectura. La forma más simple actualiza el nivel como level_t = alpha * y_t + (1 - alpha) * level_(t-1). La constante alfa, entre 0 y 1, fija qué tan rápido sigue el nivel a los datos. El pronóstico para cada hora del horizonte es el último nivel. Las lecturas recientes cuentan más que las antiguas, y los pesos disminuyen con la antigüedad.
ETS, por error, tendencia y estacionalidad (error, trend and season), extiende la forma más simple del suavizamiento exponencial. Cada parte se elige de una lista corta. La tendencia puede ser nula, aditiva o amortiguada. El error puede ser aditivo o multiplicativo, y la estacionalidad puede ser nula, aditiva o multiplicativa. Un nombre como ETS(A,N,A) se lee en ese orden: error aditivo, sin tendencia, estacionalidad aditiva. ETS(M,Ad,M) tiene un error multiplicativo, una tendencia amortiguada y una estacionalidad multiplicativa.
AutoETS elige la forma ETS por ti. Su criterio predeterminado es AICc, el criterio de información de Akaike corregido, que penaliza a un modelo por cada parámetro y corrige para muestras pequeñas, como indica la documentación de AutoETS en statsforecast 2.1.1 (statsforecast/models.py). Dos de sus valores predeterminados importan para la demanda horaria. La longitud de la estacionalidad es 1 por defecto, lo que significa que no hay estacionalidad alguna, y el modelo no emite advertencia si la dejas así. El argumento model toma por defecto "ZZZ", lo que permite que el modelo elija las tres partes. Para la demanda horaria con un patrón diario, la llamada fija season_length=24.
¿Qué forma elige AutoETS para cada cliente, y sus pronósticos superan al naive estacional? Las líneas que imprime responden ambas preguntas.
1"""Backtest AutoETS and seasonal naive for the eight clients of SUBSET8 over the three standard cutoffs, and score both.2The fits lines count the forms AutoETS chose, and the MASE and coverage lines are the scores the comparison table quotes."""3from collections import Counter, defaultdict45import numpy as np6import pandas as pd7from statsforecast import StatsForecast8from statsforecast.models import AutoETS, SeasonalNaive910from lib.scoring import book_scale11from lib.electricity import load12from lib.quirks import filled_history, mask_clock_changes13from lib.settings import EVAL_CUTOFFS, HORIZON, SEED, SUBSET8, show14from lib.subsets import score_clients, show_client_lines15np.random.seed(SEED) # the seed from lib/settings.py, set before any fit16masked = mask_clock_changes(load(SUBSET8)) # clock-change hours become NaN, so they are never scored; filled_history fills them from their neighbours before each fit17scale = book_scale(load(SUBSET8), EVAL_CUTOFFS[0]) # MASE scale: rows before the first cutoff, from each client's first reading18# season_length=24 for hourly demand; the default of 1 would mean no season at all. n_jobs=1 keeps the output the same from run to run.19sf = StatsForecast(models=[AutoETS(season_length=24), SeasonalNaive(season_length=24)], freq="h", n_jobs=1)20parts, forms, by_client = [], Counter(), defaultdict(list)21for c in pd.to_datetime(EVAL_CUTOFFS):22 sf.fit(df=filled_history(masked, c)[["unique_id", "ds", "y"]]) # the eight weeks before c, clock hours filled from them23 part = sf.predict(h=HORIZON, level=[95]) # level=[95] asks for the 95% interval the coverage line scores24 # the first forecast hour must be the cutoff itself, or the window is misaligned25 if part["ds"].min() != c:26 raise ValueError(f"forecast for {c:%Y-%m-%d} does not start at the cutoff")27 parts.append(part)28 for i, uid in enumerate(sf.uids):29 form = sf.fitted_[i, 0].model_["method"] # model 0 is AutoETS; its method name is the form, such as ETS(A,N,A)30 forms[form] += 131 by_client[uid].append(form)32forecasts = pd.concat(parts, ignore_index=True)33summary, per_client = score_clients(forecasts, masked, ["AutoETS", "SeasonalNaive"], scale, interval_model="AutoETS")34show("horizon hours", HORIZON)35show("windows", len(parts))36for form, n in sorted(forms.items()):37 show(f"fits that chose {form}", n)38# the form reads ETS(error,trend,season): a multiplicative part is an M in any of the three slots39show("fits with a multiplicative part", sum(n for form, n in forms.items() if "M" in form[4:-1].split(",")))40for label, value in summary.items():41 show(label, value, digits=3 if label.startswith("coverage") else 2) # coverage is a share, to three decimals; the rest are kWh or ratios42show("clients where AutoETS has lower MASE", int((per_client["AutoETS"] < per_client["SeasonalNaive"]).sum()))43show_client_lines(by_client, per_client, ["AutoETS", "SeasonalNaive"])
python autoets-subset-backtest.pyhorizon hours: 24
windows: 3
fits that chose ETS(A,Ad,A): 1
fits that chose ETS(A,N,A): 8
fits that chose ETS(A,N,N): 9
fits that chose ETS(M,Ad,M): 2
fits that chose ETS(M,N,A): 3
fits that chose ETS(M,N,M): 1
fits with a multiplicative part: 6
clients: 8
scored hours per client: 72
MAE AutoETS: 362.11
RMSE AutoETS: 537.20
MASE AutoETS: 1.30
MAE SeasonalNaive: 423.68
RMSE SeasonalNaive: 591.25
MASE SeasonalNaive: 1.16
coverage 95 AutoETS: 0.910
clients where AutoETS has lower MASE: 4
forms MT_014, one per cutoff: ETS(A,N,N) ETS(A,N,N) ETS(A,N,N)
MASE MT_014 AutoETS: 1.18
MASE MT_014 SeasonalNaive: 0.97
forms MT_064, one per cutoff: ETS(A,N,N) ETS(A,N,N) ETS(A,N,N)
MASE MT_064 AutoETS: 2.32
MASE MT_064 SeasonalNaive: 1.08
forms MT_115, one per cutoff: ETS(M,N,A) ETS(M,N,A) ETS(M,N,A)
MASE MT_115 AutoETS: 0.95
MASE MT_115 SeasonalNaive: 1.31
forms MT_166, one per cutoff: ETS(A,Ad,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_166 AutoETS: 1.18
MASE MT_166 SeasonalNaive: 1.29
forms MT_217, one per cutoff: ETS(M,N,M) ETS(M,Ad,M) ETS(M,Ad,M)
MASE MT_217 AutoETS: 1.76
MASE MT_217 SeasonalNaive: 1.25
forms MT_268, one per cutoff: ETS(A,N,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_268 AutoETS: 0.94
MASE MT_268 SeasonalNaive: 0.89
forms MT_319, one per cutoff: ETS(A,N,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_319 AutoETS: 1.11
MASE MT_319 SeasonalNaive: 1.26
forms MT_370, one per cutoff: ETS(A,N,N) ETS(A,N,N) ETS(A,N,N)
MASE MT_370 AutoETS: 0.96
MASE MT_370 SeasonalNaive: 1.25
La forma elegida cambia de un cliente a otro, y en algunos clientes de un punto de corte al siguiente. En los 24 ajustes, AutoETS eligió ETS(A,N,N), sin estacionalidad, en 9 de ellos, y ETS(A,N,A), con estacionalidad aditiva, en 8. ETS(A,Ad,A), una tendencia amortiguada con estacionalidad aditiva, apareció en 1 de los ajustes. Los demás ajustes usaron una parte multiplicativa, en el error, la estacionalidad o ambos. Las líneas bajo los totales dan las tres formas de cada cliente. Tres clientes, MT_014, MT_064 y MT_370, toman la forma plana en los tres puntos de corte. MT_014 es el cliente principal, el que presentó el Capítulo 1.
Que gane una forma plana parece extraño cuando la forma estacional la contiene. ETS(A,N,N) es ETS(A,N,A) con la parte estacional desactivada, así que el mejor ajuste estacional no puede tener una verosimilitud menor que el ajuste plano sobre la misma historia. Ajustar ambas formas en cada una de las 24 ventanas muestra si eso ocurre.
1"""For each subset window, fit the flat form ETS(A,N,N) and the additive-season form ETS(A,N,A) on the same history, and count where the seasonal fit has the lower likelihood.2The two counts printed last are the ones the prose quotes."""3import numpy as np4import pandas as pd5from statsforecast import StatsForecast6from statsforecast.models import AutoETS78from lib.electricity import load9from lib.quirks import filled_history, mask_clock_changes10from lib.settings import EVAL_CUTOFFS, SEED, SUBSET8, show1112np.random.seed(SEED) # the seed from lib/settings.py, set before any fit13masked = mask_clock_changes(load(SUBSET8))14windows = seasonal_lower_loglik = seasonal_higher_aicc = 015for c in pd.to_datetime(EVAL_CUTOFFS):16 hist = filled_history(masked, c)[["unique_id", "ds", "y"]]17 # ANN is additive error, no trend, no season: the flat form. ANA is the same with an additive season.18 sf = StatsForecast(models=[AutoETS(model="ANN", season_length=24, alias="flat"),19 AutoETS(model="ANA", season_length=24, alias="seasonal")], freq="h", n_jobs=1)20 sf.fit(df=hist)21 for i in range(len(sf.uids)):22 flat = sf.fitted_[i, 0].model_ # models are fitted in the order listed: 0 is the flat fit23 seasonal = sf.fitted_[i, 1].model_ # 1 is the seasonal fit24 windows += 125 # ANA contains ANN, so a lower seasonal likelihood points to a fit that stopped short of its best26 seasonal_lower_loglik += int(seasonal["loglik"] < flat["loglik"])27 # AICc charges each parameter, so this count can differ from the likelihood count28 seasonal_higher_aicc += int(seasonal["aicc"] > flat["aicc"])29show("windows", windows)30show("seasonal fit has the lower log-likelihood", seasonal_lower_loglik)31show("seasonal fit has the higher AICc", seasonal_higher_aicc)
python flat-form-check.pywindows: 24
seasonal fit has the lower log-likelihood: 9
seasonal fit has the higher AICc: 9
El ajuste estacional pierde en verosimilitud, no solo en AICc. Su log-verosimilitud es menor en 9 de las 24 ventanas, y su AICc es mayor en 9. Esas son las mismas nueve ventanas en las que la ejecución predeterminada eligió la forma plana. AICc penaliza a un modelo por cada parámetro, y la forma estacional tiene 24 más. Esa penalización se suma a la diferencia; no la causa, porque la verosimilitud del ajuste estacional ya es menor antes de cualquier penalización. Lo más probable es que el ajuste estacional se detuviera antes de su mejor valor, y que la forma plana ganara por defecto. El libro no persigue al optimizador; pone a prueba la elección con una estacionalidad forzada.
Capítulo 1 forzó una estacionalidad aditiva en el cliente principal, con model="ZZA", y aun así el naive estacional tuvo el menor error allí. ¿Se mantiene eso en los ocho? La ejecución forzada cubre los mismos ocho clientes, junto a la predeterminada.
1"""Backtest AutoETS with the season forced to additive (model ZZA) and seasonal naive, for the eight clients of SUBSET8 over the three standard cutoffs.2The ZZA lines are the forced-season scores that the comparison table and the forced-season paragraph quote."""3from collections import Counter, defaultdict45import numpy as np6import pandas as pd7from statsforecast import StatsForecast8from statsforecast.models import AutoETS, SeasonalNaive910from lib.scoring import book_scale11from lib.electricity import load12from lib.quirks import filled_history, mask_clock_changes13from lib.settings import EVAL_CUTOFFS, HORIZON, SEED, SUBSET8, show14from lib.subsets import score_clients, show_client_lines15np.random.seed(SEED) # the seed from lib/settings.py, set before any fit16masked = mask_clock_changes(load(SUBSET8)) # clock-change hours become NaN, so they are never scored; filled_history fills them from their neighbours before each fit17scale = book_scale(load(SUBSET8), EVAL_CUTOFFS[0]) # MASE scale: rows before the first cutoff, from each client's first reading18# ZZA: Z lets the model choose the error and the trend, A forces an additive season. alias names the output columns.19sf = StatsForecast(models=[AutoETS(model="ZZA", season_length=24, alias="ZZA"), SeasonalNaive(season_length=24)],20 freq="h", n_jobs=1)21parts, forms, by_client = [], Counter(), defaultdict(list)22for c in pd.to_datetime(EVAL_CUTOFFS):23 sf.fit(df=filled_history(masked, c)[["unique_id", "ds", "y"]]) # the eight weeks before c, clock hours filled from them24 part = sf.predict(h=HORIZON, level=[95]) # level=[95] asks for the 95% interval the coverage line scores25 # the first forecast hour must be the cutoff itself, or the window is misaligned26 if part["ds"].min() != c:27 raise ValueError(f"forecast for {c:%Y-%m-%d} does not start at the cutoff")28 parts.append(part)29 for i, uid in enumerate(sf.uids):30 form = sf.fitted_[i, 0].model_["method"] # model 0 is the forced AutoETS; its method name is the form31 forms[form] += 132 by_client[uid].append(form)33forecasts = pd.concat(parts, ignore_index=True)34summary, per_client = score_clients(forecasts, masked, ["ZZA", "SeasonalNaive"], scale, interval_model="ZZA")35show("horizon hours", HORIZON)36show("windows", len(parts))37for form, n in sorted(forms.items()):38 show(f"fits that chose {form}", n)39for label, value in summary.items():40 show(label, value, digits=3 if label.startswith("coverage") else 2)41show("clients where ZZA has lower MASE", int((per_client["ZZA"] < per_client["SeasonalNaive"]).sum()))42show_client_lines(by_client, per_client, ["ZZA", "SeasonalNaive"])
python autoets-forced-season-backtest.pyhorizon hours: 24
windows: 3
fits that chose ETS(A,Ad,A): 1
fits that chose ETS(A,N,A): 17
fits that chose ETS(M,N,A): 6
clients: 8
scored hours per client: 72
MAE ZZA: 365.24
RMSE ZZA: 553.11
MASE ZZA: 1.17
MAE SeasonalNaive: 423.68
RMSE SeasonalNaive: 591.25
MASE SeasonalNaive: 1.16
coverage 95 ZZA: 0.925
clients where ZZA has lower MASE: 4
forms MT_014, one per cutoff: ETS(A,N,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_014 ZZA: 1.08
MASE MT_014 SeasonalNaive: 0.97
forms MT_064, one per cutoff: ETS(A,N,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_064 ZZA: 1.27
MASE MT_064 SeasonalNaive: 1.08
forms MT_115, one per cutoff: ETS(M,N,A) ETS(M,N,A) ETS(M,N,A)
MASE MT_115 ZZA: 0.95
MASE MT_115 SeasonalNaive: 1.31
forms MT_166, one per cutoff: ETS(A,Ad,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_166 ZZA: 1.18
MASE MT_166 SeasonalNaive: 1.29
forms MT_217, one per cutoff: ETS(M,N,A) ETS(M,N,A) ETS(M,N,A)
MASE MT_217 ZZA: 1.78
MASE MT_217 SeasonalNaive: 1.25
forms MT_268, one per cutoff: ETS(A,N,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_268 ZZA: 0.94
MASE MT_268 SeasonalNaive: 0.89
forms MT_319, one per cutoff: ETS(A,N,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_319 ZZA: 1.11
MASE MT_319 SeasonalNaive: 1.26
forms MT_370, one per cutoff: ETS(A,N,A) ETS(A,N,A) ETS(A,N,A)
MASE MT_370 ZZA: 1.05
MASE MT_370 SeasonalNaive: 1.25
En el MASE medio, forzar la estacionalidad acerca a AutoETS casi al nivel del naive estacional, aunque sin bajar de él: 1.17 frente a 1.30 para la predeterminada y 1.16 para el naive estacional.
La estacionalidad forzada ayuda a algunos clientes y perjudica a otros. Reduce el MASE del cliente principal, de 1.18 a 1.08, y también el de MT_064, pero sube el de MT_370, de 0.96 a 1.05. Así que forzar la estacionalidad es un cambio que hay que probar en cada cliente, no una corrección que aplicar a todos.
Regla práctica: Empieza con AutoETS para la demanda horaria con season_length=24, e imprime las formas elegidas en cada backtest. Cuando un cliente toma una forma plana, comprueba que su forma estacional no esté fallando. Si el ajuste estacional tiene la menor verosimilitud, fuerza la estacionalidad con model="ZZA", y evalúa ambas formas en ventanas anteriores antes de quedarte con cualquiera: puntos de corte anteriores a la semana de prueba que el informe no evalúa, como los cuatro días ordinarios de finales de noviembre y principios de diciembre de 2014, que el Capítulo 5 reserva para las elecciones. Los puntos de corte estándar muestran la comparación aquí, pero no la deciden. Cuando un pronóstico empeora, busca primero una forma que haya cambiado entre puntos de corte.
Ajustar un ARIMA estacional fijo
El segundo candidato modela lo que el naive estacional deja sin explicar. Los backtests del Capítulo 3 son la prueba de lo que aporta. Un modelo ARIMA escribe la siguiente lectura como una suma ponderada de lecturas anteriores y errores anteriores, después de diferenciar: restar a una lectura la lectura de una temporada antes. El modelo se escribe ARIMA(p,d,q)(P,D,Q)[m]. La parte no estacional tiene p términos autorregresivos, d diferencias y q términos de media móvil. La parte estacional tiene los mismos tres, en rezagos que son múltiplos de la longitud de la temporada m.
El modelo del libro es ARIMA(1,0,0)(1,1,0)[24]. Tiene un término autorregresivo, sin diferencia ordinaria, sin término de media móvil, una diferencia estacional en el rezago 24 y un término autorregresivo estacional en el rezago 24. Escrito explícitamente, con B el operador de retroceso, de modo que B y_t es y_(t-1):
(1 - phi1 B)(1 - Phi1 B^24)(1 - B^24) y_t = e_t
El término (1 - B^24) reemplaza cada lectura por su cambio respecto de la misma hora del día anterior. El rezago de 24 es lo esencial del modelo para la demanda horaria. Cada hora se compara con la misma hora del día anterior, que es la comparación que hace el naive estacional, y los términos autorregresivos modelan entonces lo que esa comparación deja sin explicar. La diferencia estacional elimina el nivel, así que el modelo no tiene término de media. El ARIMA de statsforecast omite el término de media en las series diferenciadas por defecto (statsforecast/models.py, la documentación de ARIMA).
Fijamos el orden en lugar de buscarlo, y la sección sobre la búsqueda automática explica por qué. Antes de que el orden entre en un backtest, ajústalo una vez con 0.15.0 de statsmodels sobre el historial del cliente principal anterior al primer punto de corte estándar, e imprime los nombres de los parámetros ajustados. Eso muestra si el modelo tiene los términos que escribiste.
1"""Fit the fixed seasonal ARIMA with statsmodels on the lead client's history before the first standard cutoff, and print its parameter names. The parameter lines are what the prose reads."""2import pandas as pd3from statsmodels.tsa.statespace.sarimax import SARIMAX45from lib.backtest import history_before6from lib.electricity import load7from lib.settings import EVAL_CUTOFFS, LEAD, show89hist = history_before(load([LEAD]), pd.Timestamp(EVAL_CUTOFFS[0]))10y = pd.Series(hist["y"].to_numpy(), index=pd.DatetimeIndex(hist["ds"], freq="h"))11res = SARIMAX(y, order=(1, 0, 0), seasonal_order=(1, 1, 0, 24)).fit(disp=False)12show("hours of history", len(y))13for name in res.params.index:14 show("parameter", name)
python arima-summary-look.pyhours of history: 1344
parameter: ar.L1
parameter: ar.S.L24
parameter: sigma2
La lista tiene tres nombres: ar.L1, ar.S.L24 y sigma2. El primero es el término autorregresivo, que indica cuánto del cambio de una hora respecto de la misma hora del día anterior se traslada a la hora siguiente. El segundo es el término estacional en el rezago 24, que indica cuánto del cambio de un día a una hora se traslada a la misma hora del día siguiente. El tercero es la varianza del error. La lista no tiene intercepto. statsmodels añade uno a un ARIMA estacional solo cuando trend está activado, así que la lista no mostraría ninguno esté o no diferenciada la serie, y el modelo con diferencia estacional no necesita ninguno en cualquier caso. Un resumen completo de statsmodels también muestra cada valor. Este libro no los cita. Los valores cambian con la ventana y con la versión de la biblioteca, así que te sirve más entender qué significa cada término que conocer su número.
El modelo fijo es entonces un candidato más en el backtest, junto con AutoETS y el naive estacional. Sus puntuaciones aparecen en la sección de comparación más adelante.
Regla práctica: Cuando una búsqueda es demasiado lenta para ejecutarla en cada punto de corte, fija el orden y escríbelo en la llamada. Imprime el resumen una vez y comprueba que los términos que lista son los que pretendías. Reajusta el orden fijo en cada punto de corte, como harías con cualquier otro modelo. El orden permanece fijo. Los coeficientes no.
Comparar modelos con los mismos cortes
Cuatro pronósticos cubren ahora las mismas 24 horas en los mismos tres cortes, a partir de las mismas ocho semanas de historial, para los mismos ocho clientes: naïve estacional, AutoETS, AutoETS con la estacionalidad forzada y ARIMA. Cada backtest es un script separado, de modo que cada uno termina muy por debajo de los 45 segundos que el libro permite a un ejemplo en dos CPU.
Falta todavía una puntuación: la del ARIMA fijo, sobre las mismas ventanas y con las mismas medidas.
1"""Backtest the fixed seasonal ARIMA(1,0,0)(1,1,0)[24] and seasonal naive for the eight clients of SUBSET8 over the three standard cutoffs.2The MASE gap and the count of clients where ARIMA wins, printed last, are the figures the comparison section quotes."""3import numpy as np4import pandas as pd5from statsforecast import StatsForecast6from statsforecast.models import ARIMA, SeasonalNaive78from lib.scoring import book_scale9from lib.electricity import load10from lib.quirks import filled_history, mask_clock_changes11from lib.settings import EVAL_CUTOFFS, HORIZON, SEED, SUBSET8, show12from lib.subsets import score_clients1314np.random.seed(SEED) # the seed from lib/settings.py, set before any fit15masked = mask_clock_changes(load(SUBSET8)) # clock-change hours become NaN, so they are never scored; filled_history fills them from their neighbours before each fit16scale = book_scale(load(SUBSET8), EVAL_CUTOFFS[0]) # MASE scale: rows before the first cutoff, from each client's first reading17# The order is fixed, not searched: one AR term, one seasonal difference and one seasonal AR term, all at lag 24.18# n_jobs=1 keeps the output the same from run to run.19sf = StatsForecast(models=[ARIMA(order=(1, 0, 0), season_length=24, seasonal_order=(1, 1, 0)),20 SeasonalNaive(season_length=24)], freq="h", n_jobs=1)21parts = []22for c in pd.to_datetime(EVAL_CUTOFFS):23 sf.fit(df=filled_history(masked, c)[["unique_id", "ds", "y"]]) # the eight weeks before c, clock hours filled from them24 part = sf.predict(h=HORIZON)25 # the first forecast hour must be the cutoff itself, or the window is misaligned26 if part["ds"].min() != c:27 raise ValueError(f"forecast for {c:%Y-%m-%d} does not start at the cutoff")28 parts.append(part)29forecasts = pd.concat(parts, ignore_index=True)3031summary, per_client = score_clients(forecasts, masked, ["ARIMA", "SeasonalNaive"], scale)32show("horizon hours", HORIZON)33show("windows", len(parts))34for label, value in summary.items():35 show(label, value)36show("MASE gap, SeasonalNaive minus ARIMA", summary["MASE SeasonalNaive"] - summary["MASE ARIMA"])37show("clients where ARIMA has lower MASE", int((per_client["ARIMA"] < per_client["SeasonalNaive"]).sum()))
python arima-subset-backtest.pyhorizon hours: 24
windows: 3
clients: 8
scored hours per client: 72
MAE ARIMA: 386.13
RMSE ARIMA: 576.30
MASE ARIMA: 1.09
MAE SeasonalNaive: 423.68
RMSE SeasonalNaive: 591.25
MASE SeasonalNaive: 1.16
MASE gap, SeasonalNaive minus ARIMA: 0.07
clients where ARIMA has lower MASE: 5
El MAE está en kilovatios hora, y el RMSE, la raíz del error cuadrático medio, castiga más los errores grandes. Ambos se calculan para cada cliente sobre sus 72 horas evaluadas y luego se promedian sobre los ocho clientes, de modo que cada cliente cuenta una vez. El MASE divide el MAE de cada cliente entre el MAE que el naïve estacional comete en su propio historial, sobre cada lectura anterior al 29 de diciembre de 2014, desde la primera lectura de cada cliente y excluyendo las horas del cambio de hora, y después promedia sobre los clientes. Un MASE de 1 significa que el modelo es tan preciso como lo fue el naïve estacional en su propio pasado. La cobertura de AutoETS es la proporción de horas evaluadas que caen dentro de su intervalo de predicción del 95 %, el rango que el modelo da para cada hora.
| Modelo | MAE (kWh) | RMSE (kWh) | MASE | Clientes que superan al naïve estacional en MASE |
|---|---|---|---|---|
| SeasonalNaive | 423.68 | 591.25 | 1.16 | no aplica |
| AutoETS | 362.11 | 537.20 | 1.30 | 4 |
| AutoETS, estacionalidad forzada (ZZA) | 365.24 | 553.11 | 1.17 | 4 |
| ARIMA | 386.13 | 576.30 | 1.09 | 5 |
Lee la última columna como un recuento sobre los ocho clientes, no como una puntuación. Los intervalos de AutoETS cubren 0.910 de las horas evaluadas, y los intervalos con estacionalidad forzada cubren 0.925. La proporción nominal es 0.95, así que en esta muestra los intervalos son un poco estrechos. La cobertura comprueba los intervalos, no el pronóstico puntual. Un intervalo que cubre muy poco es demasiado estrecho, y un planificador que compre según él se quedará corto con más frecuencia de lo que indica su etiqueta. El capítulo 8 vuelve a los intervalos y muestra cómo calibrarlos en ventanas anteriores.
Las dos medidas no coinciden con respecto a AutoETS. Su MAE medio es el más bajo de las cuatro filas, y su MASE medio es el más alto. El MAE en kilovatios hora da más peso a los clientes con cargas grandes, porque sus errores son grandes. El MASE escala el error de cada cliente según el historial propio de ese cliente, de modo que todos cuentan más o menos lo mismo. Las líneas por cliente de la ejecución de AutoETS muestran de dónde sale el MASE. MT_064 tiene un MASE de 2.32, frente a 1.08 del naïve estacional, y es uno de los clientes de forma plana. MT_217 tiene 1.76, frente a 1.25, y su forma cambia de un corte al siguiente. La clasificación depende de la medida, así que la elección de la medida forma parte de la decisión.
Tres ventanas son una muestra pequeña, como explica el capítulo 3. AutoETS supera al naïve estacional en 4 de los ocho clientes, y ARIMA en 5. ARIMA es mejor que el naïve estacional en ambas medidas, y en MASE por 0.07. Tres ventanas no pueden resolver una diferencia tan pequeña.
Regla práctica: Puntúa cada candidato sobre los mismos cortes, con el mismo historial y la misma escala, e informa el MAE y el MASE uno junto al otro. Cuando ambos no coincidan, di cuál necesita la decisión. Recomendamos más ventanas antes de elegir entre dos modelos que difieren en menos de una décima de MASE, aproximadamente. Ese umbral es un juicio basado en esta muestra, no una medición.
Conoce a los clientes que empiezan tarde
Uno de los clientes del subconjunto empieza tarde. La primera lectura distinta de cero de MT_115 es a las 00:00 del 14 de enero de 2014. Antes de eso, el medidor reporta ceros, y los datos marcan esas horas como before_first_reading. Esos ceros no indican un consumo bajo. Un modelo que los lee aprende un nivel que el cliente no tiene. Un cliente que empieza tarde es aquel cuya primera lectura cae dentro del historial que lee su modelo. La solución es la regla de inicio: una serie comienza en su primera lectura. Esto importa para la decisión del proveedor. Un nivel estimado demasiado bajo significa comprar muy poco para ese cliente, el más costoso de los dos errores del proveedor.
En los cortes de diciembre, las ocho semanas previas a cada uno son todas lecturas, así que esta sección usa cortes de febrero: el 1 de febrero de 2014, el 15 de febrero de 2014 y el 28 de febrero de 2014. Sus historiales de ocho semanas aún se remontan a antes de la primera lectura, así que el caso está presente en ellos. El capítulo 6 aplica la misma regla a los treinta clientes.
Una historia que empieza con ceros
Empieza con el historial sin procesar, las ocho semanas anteriores a cada fecha de corte de febrero con sus ceros incluidos. La proporción de horas en cero en ese historial es 68% el 1 de febrero de 2014, 43% el 15 de febrero de 2014 y 20% el 28 de febrero de 2014. La proporción baja a medida que el corte avanza más allá de la primera lectura.
Empezar el historial en la primera lectura quizá lo corrija. Ajustar AutoETS dos veces en cada corte de febrero, una vez sobre las ocho semanas sin procesar y otra sobre el historial de inicio, que comienza en la primera lectura de MT_115, muestra si así ocurre, evaluado sobre las 24 horas posteriores a cada corte.
1"""Backtest AutoETS for MT_115, a late starter, on three February cutoffs: once on its raw eight weeks and once on its history from its first reading.2The start-rule counts, printed first, and the three-window MAE lines are the figures the point rests on."""3import numpy as np4import pandas as pd5from statsforecast import StatsForecast6from statsforecast.models import AutoETS78from lib.backtest import history_before9from lib.electricity import load10from lib.quirks import fill_clock_change_hours, mask_clock_changes11from lib.settings import HORIZON, SEED, SUBSET8, show12from lib.starts import check_start_rule, history_from_start1314LATE = "MT_115" # the one late starter in SUBSET8, first non-zero reading on Jan 14, 201415# February cutoffs: at the December cutoffs every hour of the history is a reading, so the rule changes nothing there16CUTOFFS = pd.to_datetime(["2014-02-01", "2014-02-15", "2014-02-28"])1718np.random.seed(SEED) # the seed from lib/settings.py, set before any fit19dropped, flagged = check_start_rule(load(SUBSET8)) # raises unless the rule drops exactly the flagged rows, so the counts agree20show("start rule drops, SUBSET8", dropped)21show("flagged before_first_reading, SUBSET8", flagged)22masked = mask_clock_changes(load([LATE]))[["unique_id", "ds", "y", "quirk"]]232425def fit_and_score(hist, c):26 """Fit AutoETS on one history, forecast the 24 hours from c, and score it on those hours."""27 sf = StatsForecast(models=[AutoETS(season_length=24)], freq="h", n_jobs=1)28 sf.fit(df=fill_clock_change_hours(hist)[["unique_id", "ds", "y"]]) # clock-change hours filled from their neighbouring hours, as elsewhere29 fc = sf.predict(h=HORIZON)30 actual = masked[(masked["ds"] >= c) & (masked["ds"] < c + pd.Timedelta(hours=HORIZON))] # the day's 24 readings, to score against31 joined = fc.merge(actual[["ds", "y"]], on="ds", how="left")32 # the form's method name, the mean forecast, the day's MAE, and the mean of the readings33 return sf.fitted_[0, 0].model_["method"], float(joined["AutoETS"].mean()), float((joined["y"] - joined["AutoETS"]).abs().mean()), float(joined["y"].mean())343536maes = {"raw": [], "start": []}37for c in CUTOFFS:38 raw_hist = history_before(masked, c) # the eight weeks before c, zeros included; it insists on exactly 1,344 rows39 # the share of hours that read zero, including the leading zeros before the first reading40 show(f"zero percent before {c:%Y-%m-%d}", round(100 * (raw_hist["y"] == 0).mean()))41 # the start history begins at the first reading, so it is shorter wherever the client starts late42 for label, hist in [("raw", raw_hist), ("start", history_from_start(masked, c))]:43 form, fc_mean, window_mae, actual_mean = fit_and_score(hist, c)44 show(f"{label} history hours {c:%Y-%m-%d}", len(hist))45 show(f"{label} form {c:%Y-%m-%d}", form)46 show(f"{label} mean forecast {c:%Y-%m-%d}", fc_mean)47 show(f"{label} mean actual {c:%Y-%m-%d}", actual_mean)48 show(f"MAE {label} {c:%Y-%m-%d}", window_mae)49 maes[label].append(window_mae)50for label in maes:51 show(f"MAE {label}, three windows", np.mean(maes[label]))52 show(f"MAE {label}, 2014-02-15 and 2014-02-28", np.mean(maes[label][1:])) # [1:] skips Feb 1, the first cutoff
python late-starter-trim.pystart rule drops, SUBSET8: 9072
flagged before_first_reading, SUBSET8: 9072
zero percent before 2014-02-01: 68
raw history hours 2014-02-01: 1344
raw form 2014-02-01: ETS(A,N,N)
raw mean forecast 2014-02-01: 16.43
raw mean actual 2014-02-01: 24.06
MAE raw 2014-02-01: 8.81
start history hours 2014-02-01: 432
start form 2014-02-01: ETS(M,Ad,A)
start mean forecast 2014-02-01: 23.88
start mean actual 2014-02-01: 24.06
MAE start 2014-02-01: 3.72
zero percent before 2014-02-15: 43
raw history hours 2014-02-15: 1344
raw form 2014-02-15: ETS(A,N,A)
raw mean forecast 2014-02-15: 24.54
raw mean actual 2014-02-15: 27.11
MAE raw 2014-02-15: 4.29
start history hours 2014-02-15: 768
start form 2014-02-15: ETS(M,Ad,A)
start mean forecast 2014-02-15: 23.84
start mean actual 2014-02-15: 27.11
MAE start 2014-02-15: 4.77
zero percent before 2014-02-28: 20
raw history hours 2014-02-28: 1344
raw form 2014-02-28: ETS(A,N,A)
raw mean forecast 2014-02-28: 23.73
raw mean actual 2014-02-28: 23.54
MAE raw 2014-02-28: 2.93
start history hours 2014-02-28: 1080
start form 2014-02-28: ETS(M,Ad,A)
start mean forecast 2014-02-28: 22.48
start mean actual 2014-02-28: 23.54
MAE start 2014-02-28: 2.73
MAE raw, three windows: 5.34
MAE raw, 2014-02-15 and 2014-02-28: 3.61
MAE start, three windows: 3.74
MAE start, 2014-02-15 and 2014-02-28: 3.75
El daño está en el nivel, y es peor el 1 de febrero. AutoETS ajusta el historial sin procesar sin ningún error y pronostica sin ninguna advertencia. El 1 de febrero de 2014 elige la forma plana, ETS(A,N,N), y su pronóstico promedia 16.43 kWh por hora a lo largo del día. Las lecturas que siguieron promedian 24.06 kWh. El MAE de ese día es 8.81 kWh. La causa probable son los ceros: arrastran el nivel hacia abajo, y el modelo no puede distinguir que no son consumo.
Los otros dos días los errores del historial sin procesar son mucho menores, de 4.29 kWh el 15 de febrero de 2014 y de 2.93 kWh el 28 de febrero de 2014. Así que el daño depende de cuántos ceros contenga la ventana. La regla es correcta sea cual sea la proporción de ceros, porque los ceros iniciales no son consumo.
Empieza cada serie en su primera lectura
La regla de inicio establece que una serie comienza en su primera lectura. Descarta toda lectura anterior a la primera lectura distinta de cero del cliente, y conserva toda lectura posterior, incluidos los ceros, porque los ceros posteriores al inicio son un consumo bajo real que un modelo necesita. Una ventana que comienza después de la primera lectura conserva todas sus horas, ya que la regla solo elimina los ceros iniciales. La regla vive en examples/lib/starts.py, de modo que los capítulos posteriores llaman al mismo código. Su función history_from_start(df, cutoff) devuelve el historial de un corte bajo la regla: las lecturas de las ocho semanas anteriores al corte, desde la primera lectura en adelante. Encuentra esa primera lectura usando solo las filas anteriores al corte, de modo que ninguna lectura posterior al corte llega al modelo. Genera un error si un cliente no tiene ninguna lectura anterior al corte, o si tiene menos de 48 horas de historial.
Antes de usar la regla, comprueba que hace lo que indica la marca. check_start_rule cuenta las filas que la regla descartaría en toda la serie, y genera un error a menos que esas filas sean exactamente las filas marcadas como before_first_reading. En el subconjunto, la regla descarta 9072 horas, y la marca señala 9072. Coinciden. El único inicio tardío del subconjunto es MT_115.
La regla acorta más el historial en el primer corte, 432 horas frente a 1,344, y menos a medida que el corte avanza más allá de la primera lectura: 768 horas el 15 de febrero y 1080 el 28 de febrero.
El historial de inicio elige ETS(M,Ad,A) en los tres cortes, una forma con error multiplicativo, tendencia amortiguada y estacionalidad aditiva. El historial bruto cambia de forma entre días, pasando de la forma plana del 1 de febrero a ETS(A,N,A) el 15 de febrero de 2014 y a ETS(A,N,A) el 28 de febrero de 2014.
El MAE de las tres ventanas baja de 5.34 kWh a 3.74 kWh. La mejora es desigual entre las ventanas, y toda esa mejora proviene del 1 de febrero, donde el MAE baja de 8.81 a 3.72 kWh.
El 15 de febrero la regla obtiene peores resultados, y el 28 de febrero, algo mejores. En conjunto, en esos dos días, el historial bruto obtiene un resultado ligeramente mejor, con un MAE medio de 3.61 kWh frente a 3.75.
Los ajustes muestran por qué la regla pierde el 15 de febrero. El historial de inicio sigue siendo corto, 768 horas, y su pronóstico de tendencia amortiguada es más bajo que el del ajuste bruto: 23.84 kWh por hora en promedio, frente a 24.54 del ajuste bruto, cuando las lecturas promediaron 27.11 kWh. Ese pronóstico bajo es el costo que advierte el caso. Un cliente y tres días son una muestra pequeña, así que las cifras ilustran la regla en lugar de demostrarla.
Regla práctica: Cuando el historial de un cliente contiene ceros, comprueba si su primera lectura distinta de cero cae dentro del historial. Si es así, aplica la regla de inicio antes de que cualquier modelo vea el historial, sea cual sea la proporción de ceros, porque los ceros iniciales no son consumo. Ejecuta check_start_rule primero sobre la serie completa, y si falla, averigua por qué antes de recortar nada. Imprime la longitud del historial en cada corte, porque un historial corto es la primera señal de que la regla ha recortado demasiado.
Por qué el libro evita AutoARIMA con estacionalidad 24
AutoARIMA busca los órdenes en lugar de fijarlos. Ejecuta una búsqueda paso a paso sobre órdenes candidatos, elige el mejor según AICc, que es su valor por defecto, y se detiene después de un máximo de 94 modelos candidatos (statsforecast 2.1.1, statsforecast/models.py, y el mensaje de parada en statsforecast/arima.py). Cada candidato es un ajuste completo de espacio de estados. Con una estacionalidad de 24, cada candidato que tiene términos estacionales en el rezago 24 es lento, y la búsqueda prueba decenas de ellos, así que tarda mucho más que los ajustes de este capítulo.
Con la configuración fijada por el libro, dos CPU con statsforecast 2.1.1, una ventana para un cliente tardó unos 75 segundos. Fue una sola ejecución sobre MT_014 en el primer punto de corte estándar. El subconjunto necesita 24 ventanas de este tipo, así que un backtest del subconjunto tardaría cerca de media hora, frente a los 45 segundos que el libro permite a un ejemplo. Esta es una medición propia del libro, no un ejemplo dentro de él, y depende de la configuración, así que mídela en tu propia máquina antes de planificar un calendario en torno a ella. El orden fijo cuesta un ajuste por ventana, y esa es la diferencia que importa aquí. Su punto débil es un cliente cuyo patrón difiere de los supuestos del orden. El backtest es la verificación para ese caso, y las puntuaciones de la sección de comparación son el lugar donde mirar.
Un orden fijo es un juicio, no un hallazgo. Elegimos (1,0,0)(1,1,0) con una estacionalidad de 24 porque los datos tienen un patrón diario y los backtests de este capítulo necesitan un modelo que termine. El orden está en la llamada, donde tú puedes verlo y cambiarlo. Los capítulos posteriores se comparan con él en las mismas ventanas, así que un cambio en el orden se refleja en las puntuaciones.
Regla práctica: No ejecutes una búsqueda automática con una estacionalidad de 24 sobre datos horarios en una programación que reajusta el modelo cada día. Mide el tiempo de la búsqueda en un cliente antes de comprometerte con ella. Si es demasiado lenta, fija el orden y prueba ese orden en el backtest.
Qué sale mal en producción
- Una temporada que falta. Una longitud de temporada dejada en 1 produce un modelo sin patrón diario, y no aparece ningún error. La señal es que todos los clientes eligen una forma sin temporada, como ETS(A,N,N). Que pocos clientes lo hagan es otro caso: un ajuste estacional que falla, que comprueba el control de formas planas de la sección de suavizado exponencial. Registra las formas elegidas en cada reajuste.
- Los ceros de un cliente tardío. Un cliente que empieza dentro del historial ve su nivel arrastrado hacia abajo hasta que su primera lectura sale de la ventana. La señal es un pronóstico que se queda bajo durante días después del inicio. Cuenta la proporción de ceros del historial de cada cliente antes de cada reajuste, y aplica la regla de inicio a cualquier cliente cuya primera lectura caiga dentro del historial.
- Formas que cambian. La forma elegida puede cambiar entre reajustes para un mismo cliente. Eso no es erróneo en sí mismo, pero un cambio de una forma estacional a una sin temporada merece comprobarse frente a las lecturas. Conserva las formas en el registro de ejecución.
- Costos que se acumulan. El número de ajustes escala con los clientes, multiplicados por las ventanas y por los reajustes. Cuéntalos antes de añadir clientes a un calendario.
- Intervalos que fallan. Los intervalos de AutoETS cubrieron 0.910 de las horas de esta muestra, por debajo del 0.95 nominal. El capítulo 8 muestra cómo calibrar las bandas con ventanas anteriores, y mientras una banda no esté calibrada de esa forma, no la presentes como un rango del 95 %.
- Cómo lo notarías. Ejecuta el naive estacional junto a cada modelo estadístico en las ventanas de cada día, y registra la brecha de MASE. Una brecha que cambia de signo de un día a otro es la señal para revisar el modelo, no un resultado que reportar.
Decisiones que tomó este capítulo
- AutoETS con una estacionalidad de 24. Se informan tanto el
model="ZZZ"predeterminado como la ejecución con estacionalidad forzada,model="ZZA", porque una elección plana puede ser un ajuste estacional fallido. Este capítulo no elige entre ambas formas: la comparación con el corte estándar se informa, no se usa para elegir, y la elección corresponde a ventanas anteriores. El capítulo 1 forzóZZAen el cliente principal, y este capítulo muestra la ejecución forzada para los ocho. - Un ARIMA(1,0,0)(1,1,0)[24] fijo, sin búsqueda. Es un juicio declarado, y la validación retrospectiva es lo que lo pone a prueba.
- Ocho clientes, no treinta. El capítulo 6 ajusta los treinta clientes con un solo modelo. Un ajuste por cliente de AutoETS para los treinta en tres ventanas tarda unos 97 segundos en la configuración fijada, frente a los 45 segundos que el libro permite a un ejemplo, así que este capítulo usa el subconjunto.
- El subconjunto, los cortes y la escala.
SUBSET8, los tres cortes estándar, del 29 al 31 de diciembre de 2014, 1,344 horas de historia, y el naive estacional como referencia en cada comparación. La escala de MASE toma cada cliente desde su primera lectura, excluyendo las horas de cambio de hora. - Las horas de cambio de hora. Cada ejemplo del subconjunto las enmascara y las rellena a partir de la historia, como expone el Capítulo 3. Ninguna de las tres ventanas contiene una hora de cambio de hora, así que el enmascaramiento no altera ningún pronóstico ni ninguna hora evaluada. Sí cambia la escala de MASE, porque la escala lee toda la historia anterior al 29 de diciembre de 2014, y cuenta
MT_115desde el 14 de enero de 2014. - Clientes de inicio tardío: cortes de febrero y regla de inicio. Los cortes de diciembre no se encuentran con el inicio tardío de
MT_115, así que los de febrero sí. El capítulo 6 aplica la regla a los treinta clientes. - Cobertura solo para las dos ejecuciones de AutoETS. La validación retrospectiva de ARIMA se evalúa aquí sin intervalos.
- No se citan valores ajustados. El script de ARIMA imprime solo los nombres de los parámetros, y la comprobación de la forma plana imprime solo recuentos. Los errores se redondean a dos decimales y la cobertura a tres.
- Una referencia estadística para el capítulo 5. Las puntuaciones de AutoETS y ARIMA por cliente en estas ventanas son el listón que debe superar el modelo de gradient boosting.
- Qué conviene recordar. Una forma plana puede ser un ajuste estacional fallido, así que lee las formas elegidas junto a cada puntuación. MAE y MASE pueden ordenar los modelos de forma distinta, así que indica cuál necesita la decisión. Empieza cada serie en su primera lectura y añade ventanas antes de elegir entre modelos cercanos.
Este capítulo, en esta edición
Edición 2026.11.11Ejemplos verificados el 20 de nov de 2026Superan la prueba 6 de 6 ejemplos ejemplos de este capítulo
Traducido del libro en inglés, edición 2026.11.11.