Mantenha a previsão em funcionamento

Cerca de 32 minutos min de leitura, com 5 exemplos em 7 seções.

Edição 2026.11.11 Exemplos aprovados em 20 de nov de 2026 41 de 41 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.11. Leia o original

Quando uma previsão roda todos os dias, a pergunta deixa de ser se ela teve um bom desempenho e passa a ser se ela ainda vale no dia em que é usada. Este capítulo constrói o ciclo que responde a essa pergunta. Você vai reajustar uma previsão em um cronograma fixo, registrar a previsão de cada dia antes que as leituras existam, verificar se o registro usou apenas o que já havia chegado, pontuar as leituras à medida que entram, sinalizar um dia cujo erro destoa do observado no backtest e dizer quando um modelo deve ser aposentado.

O que está em jogo é a próxima rodada de compra. A fornecedora compra energia para o dia seguinte com base na previsão, então uma previsão que deu errado sem que ninguém percebesse custa dinheiro nessa compra. Este capítulo não reduz esse risco a zero. Ele torna o risco visível no dia em que aparece, usando apenas o que a fornecedora sabia naquele momento.

Os capítulos anteriores verificaram a previsão da fornecedora com dados passados. Cada método foi avaliado depois do ocorrido, nos últimos dias de 2014, com todas as leituras em mãos. Em operação, a ordem é outra. A fornecedora compra energia para 29 de dezembro de 2014 a partir de uma previsão feita às 00:00 de 29 de dezembro, o corte do dia, usando apenas o que sabe naquele momento, e só descobre o que aconteceu um dia depois. Uma previsão que se sustentou no backtest pode se desviar. Os clientes mudam, um feriado cai dentro da janela, ou a alimentação de um medidor para por algumas horas. A fornecedora precisa ver isso antes da próxima rodada de compra, e não numa revisão no fim do trimestre.

Este capítulo roda o ciclo para os últimos sete dias de 2014, de 25 a 31 de dezembro. Cada dia recebe uma previsão para cada um dos trinta clientes, feita a partir do seu próprio corte à meia-noite. Todos os horários deste capítulo são horários de dados. Um corte é 00:00 do seu dia, e uma leitura chega ao fim da sua hora. As rodadas de decisão e de calibração começam em 25 de novembro e 9 de dezembro de 2014, e o ciclo de reajuste está ancorado na segunda-feira, 24 de novembro de 2014. Todas essas datas começam depois de 16 de janeiro de 2014, que é a primeira meia-noite em que a regra de início admite os trinta clientes em um único modelo: a primeira leitura de MT_115 é às 00:00 de 14 de janeiro de 2014, e a regra exige 48 horas de histórico a partir dela, como o Capítulo 6 explica.

Uma previsão diz o que as leituras vão fazer. Ela não diz por que elas fazem isso. O ciclo pode informar à fornecedora que a demanda se afastou da previsão. Não pode dizer qual hábito, preço ou clima causou o desvio, e este capítulo não tenta fazer isso. Uma previsão que se sustenta não é uma afirmação causal, e nenhum sinal deste capítulo se transforma em uma.

Refit em cronograma

Última alteração na edição 2026.11.5

Um refit reestima os parâmetros do modelo sobre o histórico conhecido em um ponto de corte. Entre os refits, o modelo mantém as suas árvores. Cada previsão ainda lê as leituras mais recentes para montar as suas entradas de defasagem, de modo que a previsão reflete as últimas horas mesmo quando as árvores não o fazem.

Um detalhe costuma passar despercebido. O mlforecast 1.1.0 reajusta a escala de cada cliente sempre que faz uma previsão a partir de um novo histórico: predict com new_df ajusta as transformações da variável-alvo sobre esse histórico (forecast.py, linhas 1374 a 1412, e core.py, linhas 536 a 540, da versão fixada). Assim, a média e a dispersão de cada cliente vêm do histórico conhecido em cada ponto de corte, e apenas as árvores esperam por um refit. Isso não é vazamento, porque esse histórico é conhecido no ponto de corte.

O termo exige uma ressalva. Em Forecasting: Principles and Practice, 3ª ed. (FPP3), de Hyndman e Athanasopoulos, refit() aplica um modelo ajustado sem reestimá-lo (FPP3, Capítulo 13). Aqui, "refit" significa reestimar as árvores.

Um refit não pode usar as leituras que está prestes a prever. Um refit no ponto de corte c pode ler apenas leituras que tenham chegado até c. O laço garante isso por construção. O histórico de um refit, assim como o de toda previsão, contém apenas leituras que já tinham chegado até o ponto de corte, de modo que os valores reais do dia previsto nunca entram nele.

A escolha que resta é a do cronograma. Consideramos dois cronogramas: um refit a cada dia ou um refit a cada sete dias. Ambos preveem cada dia a partir do seu próprio ponto de corte, com o mesmo modelo global do Capítulo 6: um LightGBM escalonado sobre os trinta clientes, com defasagens de 24 e 168 horas e o identificador do cliente. O modelo global é usado aqui porque é o melhor modelo escolhível nas janelas de decisão: os modelos registrados no Capítulo 9 não têm previsões nelas, portanto não podem ser escolhidos. Os dois cronogramas diferem apenas na frequência com que as árvores são reestimadas. O ciclo semanal está ancorado em segunda-feira, 24 de novembro de 2014, de modo que os seus refits caem às segundas-feiras: 24 de novembro, 1º de dezembro, 8 de dezembro e assim por diante. As datas de refit de uma execução, portanto, não dependem do dia em que a execução começa. Cada previsão usa o modelo ajustado na segunda-feira anterior ou igual ao seu ponto de corte.

Escolhemos entre os cronogramas nas quatro janelas de decisão comuns, 25 e 26 de novembro e 2 e 3 de dezembro de 2014. Nenhuma delas é feriado em Portugal, e a semana reservada não é usada. A regra é a menor MASE média (MASE) nessas áreas. Todas as execuções deste capítulo usam uma escala por cliente, lida a partir das leituras anteriores a 25 de novembro de 2014 segundo a regra do Capítulo 2. As áreas de decisão, as janelas de calibração e a semana reservada compartilham essa mesma referência. Os históricos de decisão e de calibração remontam à mudança de horário de 26 de outubro de 2014. O laço preenche essa hora das 01:00 com as horas vizinhas, como faz o Capítulo 3.

Os dois cronogramas são executados nas quatro janelas de decisão. Como o modelo semanal tem um ou dois dias de idade nessas áreas, um modelo de cada idade de 0 a 6 dias também prevê esses dias.

refit-cadence-decision.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Choose the refit cadence on the four decision days, Nov 25 to Dec 3, 2014: a refit every day or every seven days onMondays, with the global model from Chapter 6. The cadence with the lower `mean MASE` line is the one the rule takes, andthe `model aged` lines show how far a model's age alone moves that score. The held-out week is not used."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import DECISION_DAYS, daily_mase, feed, fit_at, forecast_at, prepare, run_days, scale_from, with_actualsfrom lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)  # one MASE scale, read before Nov 25, used by every run in the chaptershow("decision days", len(DECISION_DAYS))# feed returns (train, known, pending count, read_by); [0] is trainshow("rows read by one refit", len(feed(df, DECISION_DAYS[0])[0]))names = {1: "daily", 7: "weekly"}  # the keys are the refit interval in daysmeans = {}for every in names:    scored = with_actuals(run_days(df, DECISION_DAYS, refit_every=every), df)  # refit_every: a refit every this many days    means[every] = daily_mase(scored, scale).mean()  # the mean over the four decision days of each day's MASE    show(f"refits, {names[every]}", scored["refit"].nunique())  # the distinct refit days the decision days use    show(f"MAE, {names[every]}", scored["ae"].mean())    show(f"mean MASE, {names[every]}", means[every], digits=3)show("mean MASE, daily minus weekly", means[1] - means[7], digits=3)  # positive when the weekly cadence has the lower meanshow("chosen cadence", names[min(means, key=means.get)])  # the lower mean wins; the close-call tie-break is made in the prosemodels = {}for age in range(7):    parts = []    for day in DECISION_DAYS:        fit_day = day - pd.Timedelta(days=age)  # a model aged `age` days, fitted that many days before the decision day        if fit_day not in models:  # a model is fitted once and reused by every decision day it serves            models[fit_day] = fit_at(df, fit_day)[0]  # fit_at returns (model, read_by); [0] is the model        # forecast_at returns (forecast, pending count, read_by); the first is the forecast        part, _, _ = forecast_at(models[fit_day], df, day)        parts.append(part.assign(cutoff=day))  # daily_mase groups each forecast by its cutoff    show(f"mean MASE, model aged {age} days", daily_mase(with_actuals(pd.concat(parts), df), scale).mean(), digits=3)
Saídapython refit-cadence-decision.py
decision days: 4
rows read by one refit: 40320
refits, daily: 4
MAE, daily: 66.81
mean MASE, daily: 0.754
refits, weekly: 2
MAE, weekly: 67.64
mean MASE, weekly: 0.746
mean MASE, daily minus weekly: 0.008
chosen cadence: weekly
mean MASE, model aged 0 days: 0.754
mean MASE, model aged 1 days: 0.747
mean MASE, model aged 2 days: 0.748
mean MASE, model aged 3 days: 0.741
mean MASE, model aged 4 days: 0.748
mean MASE, model aged 5 days: 0.758
mean MASE, model aged 6 days: 0.750

Nas áreas de decisão, o cronograma semanal tem a menor MASE média, por 0.008, e exige metade dos ajustes nesses quatro dias: o cronograma diário executa 4 refits, e o cronograma semanal, 2. Cada refit lê 40320 linhas, que correspondem a trinta clientes vezes 1,344 horas de histórico. Em operação, um cronograma semanal exige um sétimo dos ajustes.

Um modelo com até seis dias de idade pontua perto de um modelo recém-ajustado nas áreas de decisão, e isso é tudo o que a verificação de idade afirma. A sua MASE média vai de 0.741 com três dias, a menor entre as idades de 0 a 6, até 0.758 com cinco dias, a maior, enquanto um modelo recém-ajustado fica em 0.754. A idade não mostra tendência, e a dispersão entre as sete idades é maior do que a diferença entre os dois cronogramas. Essa diferença é pequena, e quatro dias não bastam para separar os cronogramas, de modo que o exemplo não mostra que o semanal seja melhor. Um leitor com um modelo maior ou um horizonte mais longo deve fazer a mesma verificação nas suas próprias áreas de decisão.

A regra escolhe o semanal, porque a sua média é menor. Essa diferença fica dentro da dispersão que a idade do modelo, por si só, produz, de modo que os dois cronogramas são próximos. Quando são próximos, a regra prática adota o que tem menos refits, e o livro o declara aqui: semanal.

Regra prática: Escolha o cronograma de refit nos dias comuns que vêm antes da semana reservada, avaliados sobre uma única escala lida antes do primeiro desses dias. Adote o cronograma com a menor MASE média e, quando os dois estiverem próximos, adote o que tem menos refits e declare isso. Nunca reestime com leituras do dia que você está prevendo.

Registre cada previsão antes de chegarem os valores reais

Última alteração na edição 2026.11.5

Um registro de previsões é uma tabela com uma linha para cada cliente e hora. Cada linha guarda o corte (cutoff) em que a previsão foi feita, o momento em que a linha foi escrita, o cliente, a hora, a previsão, seus limites inferior e superior, o dia de reajuste do modelo, dois horários de chegada descritos abaixo e a quantidade de leituras preenchidas para essa previsão. O registro tem uma única função. Ele comprova o que a previsão dizia na época e o que o ciclo podia ver quando a disse. Sem ele, ninguém consegue saber se um relatório posterior usou a previsão que foi feita, ou uma previsão reconstruída depois a partir de um modelo mais recente e dos valores reais. Um registro reconstruído é vazamento disfarçado, porque sabe o que a previsão deveria ter sido.

A faixa de cada linha é construída da mesma forma que o Capítulo 8 a constrói. Ela é a previsão somada aos resíduos escalonados da mesma hora, extraídos das janelas de calibração, de 9 a 20 de dezembro de 2014. Eles antecedem todos os dias de teste e são fixados antes do início da semana. Os resíduos de cada hora são agrupados entre os trinta clientes, de modo que cada hora tem 360 deles, e não doze. As faixas por cliente do Capítulo 8 agrupam os mesmos resíduos e também são oferecidas a 95%. Este ciclo registra apenas o nível de 80%, porque o gatilho de aposentadoria da última seção lê a faixa de 80%, e um único nível mantém o registro e o gatilho alinhados. A faixa é calculada a partir da previsão registrada e dos resíduos de calibração fixados, por isso não precisa de nenhuma leitura do dia que ela cobre.

Um registro comprova menos do que parece, a menos que suas verificações possam falhar. A regra é que um modelo e uma previsão leiam apenas leituras que já tinham chegado no momento em que foram feitos. Por isso, o registro guarda dois horários de chegada para cada linha. fit_read_by é a última chegada entre as leituras com que o modelo foi ajustado, e não pode ser posterior ao dia de reajuste do modelo. read_by é a última chegada entre as leituras que a previsão leu, e não pode ser posterior ao corte. Uma comparação de written_at com a chegada de uma leitura não testaria isso. A reexecução grava written_at como o corte, de modo que essa comparação passa para qualquer código. Em produção, written_at viria do relógio do armazenamento somente de acréscimo. Uma reexecução só pode rotulá-lo. As duas verificações são executadas em cada linha da semana de teste, e a verificação do modelo é executada de novo em uma semana deliberadamente vazada, que ela deve detectar.

rolling-refit-seven-days.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Runs the held-out week, Dec 25 to Dec 31, 2014: one forecast a day from its own midnight cutoff, with the weekly refitcycle and the late-data fill, each logged when it is made. The `log rows` lines show both arrival checks pass, and theleaky run fails the first. The `MAE` and `coverage 80` lines give each day's mean absolute error and how often its 80%band held. The 80% bands use calibration days Dec 9 to Dec 20, 2014, earlier than every scored day."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import CAL_DAYS, HELD_OUT_DAYS, REFIT_EVERY, band, coverage_by_day, prepare, run_days, scale_from, with_actualsfrom lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)cal = with_actuals(run_days(df, CAL_DAYS), df)  # the residuals that set the bands, from days earlier than the weekbands = band(with_actuals(run_days(df, HELD_OUT_DAYS), df), cal, scale)# leak=True refits each day's model on the next day's readingsleaky = with_actuals(run_days(df, HELD_OUT_DAYS, leak=True), df)# refit dates in the week; the Dec 22 refit is dated before itin_week = sorted({d for d in bands["refit"] if d >= HELD_OUT_DAYS[0]})show("refit every (days)", REFIT_EVERY)show("refit days in the week", ", ".join(f"{d:%Y-%m-%d}" for d in in_week))show("models used in the week", bands["refit"].nunique())show("log rows", len(bands))# hour 0 holds 12 calibration days times 30 clientsshow("calibration residuals per hour, pooled over clients", cal.dropna(subset=["e"]).groupby("hour").size().iloc[0])# a model may read only readings that had arrived by its refit dayshow("log rows whose model read only readings in by its refit day", int((bands["fit_read_by"] <= bands["refit"]).sum()))# a forecast may read only readings that had arrived by its cutoffshow("log rows whose forecast read only readings in by its cutoff", int((bands["read_by"] <= bands["cutoff"]).sum()))show("leaky log rows whose model read only readings in by its refit day", int((leaky["fit_read_by"] <= leaky["refit"]).sum()))# a reading arrives at the end of its hour, so any other arrival is lateshow("readings that arrived late", int((bands["arrives"] != bands["ds"] + pd.Timedelta(hours=1)).sum()))# every row of a cutoff has the same count, so the first row gives itshow("forecast inputs filled, Dec 29", int(bands.loc[bands["cutoff"] == "2014-12-29", "filled"].iloc[0]))# the last of Dec 28's readings to arrivedone = bands.loc[bands["cutoff"] == "2014-12-28", "arrives"].max()show("Dec 28 complete at", f"{done:%H:%M on %b %d, %Y}")mae = bands.groupby("cutoff")["ae"].mean()cov = coverage_by_day(bands)for day in mae.index:    show(f"MAE {day:%Y-%m-%d}", mae[day])for day in cov.index:    show(f"coverage 80 {day:%Y-%m-%d}", cov[day], digits=3)show("leaky MAE 2014-12-25", leaky.loc[leaky["cutoff"] == "2014-12-25", "ae"].mean())
Saídapython rolling-refit-seven-days.py
refit every (days): 7
refit days in the week: 2014-12-29
models used in the week: 2
log rows: 5040
calibration residuals per hour, pooled over clients: 360
log rows whose model read only readings in by its refit day: 5040
log rows whose forecast read only readings in by its cutoff: 5040
leaky log rows whose model read only readings in by its refit day: 0
readings that arrived late: 6
forecast inputs filled, Dec 29: 6
Dec 28 complete at: 09:00 on Dec 29, 2014
MAE 2014-12-25: 447.59
MAE 2014-12-26: 203.43
MAE 2014-12-27: 54.14
MAE 2014-12-28: 71.67
MAE 2014-12-29: 111.64
MAE 2014-12-30: 87.37
MAE 2014-12-31: 167.15
coverage 80 2014-12-25: 0.232
coverage 80 2014-12-26: 0.431
coverage 80 2014-12-27: 0.790
coverage 80 2014-12-28: 0.764
coverage 80 2014-12-29: 0.713
coverage 80 2014-12-30: 0.782
coverage 80 2014-12-31: 0.701
leaky MAE 2014-12-25: 351.79

O registro tem 5040 linhas, uma para cada uma das 24 horas de trinta clientes em sete dias, e 5040 passam na verificação de chegada do modelo, e 5040 passam na verificação da previsão. A semana usa dois modelos. O ajustado na segunda-feira, 22 de dezembro, atende de 25 a 28 de dezembro, e o reajustado na segunda-feira, 29 de dezembro, atende de 29 a 31 de dezembro, de modo que o reajuste cai dentro da semana.

Uma verificação que nunca falha diz pouco, por isso a semana também é executada com um vazamento. Nessa execução, o modelo de cada dia é reajustado com as leituras do dia seguinte, de modo que ele já viu o dia que prevê, e a verificação do modelo falha em todas as linhas: 0 linhas passam. O vazamento também favorece a previsão. Seu MAE em 25 de dezembro é de 351.79 kWh, contra 447.59 kWh na execução correta. A verificação é o que vale a pena manter. Uma edição que transfira um reajuste para as leituras do dia seguinte faz a contagem impressa virar zero, e a saída registrada então falha.

Regra prática: Escreva as linhas de cada previsão no seu corte, a partir das leituras que tinham chegado até então, com o dia de reajuste e os dois horários de chegada ao lado. Nunca reconstrua um registro passado a partir de um modelo mais recente ou dos valores reais. Se as linhas de um dia forem perdidas, marque esse dia como ausente no registro e não o preencha depois.

Esta parte ainda não foi traduzida, por isso está em inglês.

Score the log as actuals arrive

Última alteração na edição 2026.11.11

A reading scores the forecast logged for its hour when it arrives. The day's score is its daily MASE. The daily MASE takes each client's mean absolute error over the day's 24 hours, divides it by the client's scale, and averages the results over the thirty clients:

daily MASE = mean over clients of (MAE over the day's 24 hours / scale)

The scale is the one set in the refit section, read from before Nov 25, 2014, and it does not change from day to day. A reading enters the score for its own day, and only after it has arrived, so the score never uses a value the supplier did not have at the time. That is the second half of the leakage rule in the log section. A day is scored once its last reading is in. For Dec 29, that is 00:00 on Dec 30.

Most days arrive whole. The held-out week has one day that does not. The lead client's last six readings of Dec 28, 2014, from 18:00 to 23:00, arrive at 09:00 on Dec 29. That is nine hours after the Dec 29 cutoff, so the Dec 29 forecast has to be made without them. The rule for this case is the book's own choice, and no source supports it:

  • A reading that has not arrived at a cutoff is left out of that day's refit.
  • For the forecast at that cutoff, the missing value is filled with the reading of the same hour a week earlier, which had arrived. The log counts how many values were filled.
  • The forecast is not redone when the reading arrives.
  • The reading is scored when it arrives, and its day is scored once its last reading is in.

The first option tried was to leave the missing values as they were. The library refused them. At the pinned version, 1.1.0 raised this error when the forecast was made:

ValueError: y column contains null values.

There are two ways to fill the gap. Forward fill repeats the last reading that arrived. That flattens the evening, because the lead client's 18:00 to 23:00 values all become the 17:00 value, and lag 24 carries that flat evening into the next day's evening forecast. Filling from the same hour a week earlier keeps the evening's shape. We picked the fill on the decision windows, not the held-out week. There the same six readings are made late before each decision cutoff, and both fills forecast from them.

late-fill-decision.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Chooses how a late reading is filled on the decision windows, Nov 25 to Dec 3, 2014: the lead client's last six readingsof the day before arrive at 09:00 on each cutoff day, as the Dec 28 readings do in the held-out week. The`MAE, lead client hours 18 to 23` lines decide between forward fill and a fill from the same hour a week earlier; onlythose hours change, because lag 24 reads them, and the held-out week is not used."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import DECISION_DAYS, LATE_CLIENT, feed, late_copy, prepare, run_days, with_actualsfrom lib.settings import showraw = load(ALL30)df = prepare(raw)# feed returns (train, known, pending count, read_by); [2] is the pending countshow("readings late for each decision cutoff", feed(late_copy(df, DECISION_DAYS[0]), DECISION_DAYS[0])[2])errors = {}for rule in ("forward", "week"):    parts = []    for day in DECISION_DAYS:        # the day before's last six readings arrive at 09:00 on this day, after its cutoff, so the fill applies        scored = with_actuals(run_days(late_copy(df, day), [day], fill=rule), df)        # 18:00 to 23:00 of the day scored, which lag 24 reads from the day before        parts.append(scored.loc[(scored["unique_id"] == LATE_CLIENT) & (scored["hour"] >= 18), "ae"])    errors[rule] = pd.concat(parts).mean()    show(f"hours scored, {rule} fill", len(pd.concat(parts)))    show(f"MAE, lead client hours 18 to 23, {rule} fill", errors[rule])show("chosen late fill", min(errors, key=errors.get))
Saídapython late-fill-decision.py
readings late for each decision cutoff: 6
hours scored, forward fill: 24
MAE, lead client hours 18 to 23, forward fill: 7.92
hours scored, week fill: 24
MAE, lead client hours 18 to 23, week fill: 5.03
chosen late fill: week

The week-earlier fill is the more accurate of the two. Over the lead client's hours from 18:00 to 23:00, across 24 forecast hours, its mean absolute error is 5.03 kWh, against 7.92 kWh with forward fill. The book uses it in every run.

The held-out week shows the rule at work. 6 readings arrived late, and the Dec 29 forecast filled 6 inputs. The Dec 29 refit left the same six readings out, so the branch that leaves a reading out of a refit runs in this week too. Dec 28 was complete at 09:00 on Dec 29, 2014.

A single day's MAE does not say whether the day was bad, because the level of demand changes from day to day. That is why the flag in the next section divides by a reference.

Working rule: Score each day when its last reading arrives, against the forecast logged at its cutoff, on the chapter's one scale. When a reading arrives late, score it then, count it in the log, and leave the logged forecast alone. Never change a forecast after its cutoff, even when the change would improve the score.

Sinalizar desvio em relação ao backtest

Última alteração na edição 2026.11.5

Os escores diários da última seção precisam de uma linha que diga quando um dia está fora do padrão. Uma sinalização é uma pergunta sobre um dia, não um veredito. A regra pergunta se o MASE diário de um dia está fora do padrão em relação ao que o modelo fez antes. Um dia é sinalizado quando seu MASE diário está acima do dobro de uma referência. A referência é a mediana do MASE diário das janelas de calibração, de 9 a 20 de dezembro de 2014. Esses dias são anteriores a todos os dias que a sinalização avalia. Nenhum deles é feriado em Portugal, embora as leituras de defasagem 24 do dia 9 de dezembro remontem a 8 de dezembro, Imaculada Conceição, feriado nacional. Esse eco equivale a um dia, e a mediana o atenua.

O fator dois é uma regra empírica do livro. Não conhecemos nenhum limiar publicado para este tipo de sinalização; portanto, o número é nosso, e o identificamos como tal. Verificamos o número nas janelas de decisão, em que os quatro dias comuns testam se a sinalização dispara sem uma causa conhecida.

drift-flag-rolling.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Flags drift against the backtest: a day is flagged when its daily MASE is above FLAG_FACTOR times the reference, themedian daily MASE of the calibration days, Dec 9 to Dec 20, 2014, which are earlier than the held-out week. The`largest decision day` and `decision days flagged` lines show the ordinary days staying under the line, and the `MASE`and `held-out days flagged` lines show which held-out days cross it."""from lib.electricity import loadfrom lib.panel import ALL30from lib.running import (CAL_DAYS, DECISION_DAYS, FLAG_FACTOR, HELD_OUT_DAYS, daily_mase, flagged, prepare, run_days,                         scale_from, with_actuals)from lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)reference = daily_mase(with_actuals(run_days(df, CAL_DAYS), df), scale).median()  # the median, not the mean, so one unusual calibration day moves it littleshow("reference, median daily MASE", reference)show("flag above, MASE", FLAG_FACTOR * reference)  # FLAG_FACTOR is 2, the chapter's rule of thumbdecision = daily_mase(with_actuals(run_days(df, DECISION_DAYS), df), scale)show("largest decision day, times the reference", decision.max() / reference)show("decision days flagged", len(flagged(decision, reference)))held = daily_mase(with_actuals(run_days(df, HELD_OUT_DAYS), df), scale)for day, value in held.items():    show(f"MASE {day:%Y-%m-%d}", value)show("held-out days flagged", len(flagged(held, reference)))show("flagged held-out days", ", ".join(f"{day:%Y-%m-%d}" for day in flagged(held, reference)))
Saídapython drift-flag-rolling.py
reference, median daily MASE: 0.72
flag above, MASE: 1.43
largest decision day, times the reference: 1.44
decision days flagged: 0
MASE 2014-12-25: 4.62
MASE 2014-12-26: 2.00
MASE 2014-12-27: 0.73
MASE 2014-12-28: 0.76
MASE 2014-12-29: 0.85
MASE 2014-12-30: 0.76
MASE 2014-12-31: 1.14
held-out days flagged: 2
flagged held-out days: 2014-12-25, 2014-12-26

Nenhum dia comum de decisão é sinalizado com fator dois (0 sinalizados). O maior dia de decisão é 1.44 vezes a referência. Um fator menor, como 1.5, deixaria pouca margem sobre esse dia, de modo que um dia comum levemente incomum poderia ser sinalizado. Mantivemos dois por causa dessa margem. Quatro dias comuns não podem mostrar com que frequência dias comuns são sinalizados.

2 dos sete dias reservados estão acima da linha: 25 e 26 de dezembro. O MASE diário deles é 4.62 e 2.00, contra uma linha de sinalização de 1.43. Em seguida vem 31 de dezembro, véspera de Ano Novo, abaixo da linha.

As duas sinalizações têm causa conhecida. 25 de dezembro é o Natal, feriado em Portugal. O modelo não tem entrada de feriados. O capítulo 5 testou colunas de calendário e de feriados nas janelas de decisão do subconjunto, entre elas as de feriados, e nenhuma superou as defasagens simples; por isso o capítulo 6 não incluiu nenhuma delas no modelo global. 26 de dezembro não é feriado em Portugal, mas sua leitura de defasagem 24 é de 25 de dezembro. A previsão para cada hora de 26 de dezembro lê a mesma hora de 25 de dezembro, de modo que o padrão do feriado passa para o dia seguinte. Estes são efeitos de calendário, não desvio, e o laço não consegue distingui-los. Ele apenas sinaliza os dias. Uma pessoa lê cada sinalização e confere o calendário.

Um dia não é um veredito. Um único dia alto pode vir de um feriado, de uma tempestade ou de uma leitura registrada incorretamente. Duas sinalizações seguidas, sem causa de calendário, são motivo para examinar o modelo. A próxima seção diz o que fazer então.

Regra prática: Sinalize um dia quando seu MASE diário estiver acima do dobro da mediana das janelas de calibração anteriores, e então pergunte se uma causa de calendário o explica. Registre a causa ao lado da sinalização quando houver uma. Trate duas sinalizações seguidas sem explicação como o início de uma verificação de aposentadoria, nunca como prova de que o modelo está quebrado.

Saiba quando aposentar um modelo

Última alteração na edição 2026.11.11

Aposentar um modelo significa interromper o seu uso e substituí-lo. Um novo ajuste (refit) é a medida mais leve, e vem primeiro. Este capítulo nomeia três gatilhos para qualquer uma das duas medidas, e cada um deles lê um número que o ciclo já registra. O primeiro gatilho de aposentadoria é o desvio sustentado: sinalizações em dias consecutivos sem causa no calendário. O segundo é uma faixa descoberta: a faixa de 80% cobre bem menos de 80% das leituras em vários dias. O terceiro é uma mudança em uma biblioteca da qual o modelo depende.

O segundo gatilho exige uma noção do que é a cobertura habitual. Nos dias comuns, de 27 a 31 de dezembro, a cobertura a 80% permanece entre 0.701 e 0.790. Dia 29 de dezembro, quando chegam as leituras atrasadas, e dia 31 de dezembro, véspera de Ano Novo, contam aqui como dias comuns. Dia 25 de dezembro fica mais baixo, em 0.232, e dia 26 de dezembro está em 0.431, pelo motivo que as sinalizações indicaram. Dia 25 de dezembro é o feriado, e dia 26 de dezembro o lê através do lag 24. As faixas são um pouco estreitas mesmo nos dias comuns, como o Capítulo 8 mostrou. Portanto, um dia entre 0.70 e 0.80 é normal aqui, e um dia muito abaixo disso não é.

Para mostrar o que as sinalizações e as faixas fazem, o capítulo encena uma mudança. Ela é inventada para o teste, não é um fato sobre os dados do fornecedor. A partir de 27 de dezembro de 2014, cada leitura dos trinta clientes é multiplicada por 0.6, como se a demanda tivesse caído 40%. A semana reservada passa então a rodar sobre as leituras alteradas, com a mesma cadência, referência, regra e faixas de antes.

drift-after-a-change.py Python 3.13.16 · holidays 0.110.dev20261118063242 · lightgbm 4.7.0 · mlforecast 1.1.0 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Shows how a change appears in the flags: a stated test, not a fact about the data, in which every reading from Dec 27,2014 is multiplied by 0.6, as if demand had dropped by 40%. The calibration windows are earlier than the change, so thereference and bands are fixed before it happens. The `held-out days flagged` and `coverage 80` lines show what the flagsand bands do, with the same cadence, reference, rule and bands as the held-out runs in drift-flag-rolling androlling-refit-seven-days."""import pandas as pdfrom lib.electricity import loadfrom lib.panel import ALL30from lib.running import (CAL_DAYS, HELD_OUT_DAYS, band, coverage_by_day, daily_mase, flagged, prepare, run_days,                         scale_from, with_actuals)from lib.settings import showraw = load(ALL30)df = prepare(raw)scale = scale_from(raw)cal = with_actuals(run_days(df, CAL_DAYS), df)  # calibration windows come before the change, so the reference is fixed before itreference = daily_mase(cal, scale).median()changed = df.copy()after = changed["ds"] >= pd.Timestamp("2014-12-27")  # the first changed day, Dec 27, from its midnight onchanged.loc[after, "y"] = changed.loc[after, "y"] * 0.6  # a stated test: every reading from Dec 27 at 60%, as if demand fell 40%held = with_actuals(run_days(changed, HELD_OUT_DAYS), changed)  # the changed readings go through the same loop, refits includedshow("reference, median daily MASE", reference)mase = daily_mase(held, scale)for day, value in mase.items():    show(f"MASE {day:%Y-%m-%d}", value)show("held-out days flagged", len(flagged(mase, reference)))cov = coverage_by_day(band(held, cal, scale))  # the bands use the unchanged calibration days, as in the held-out runfor day, value in cov.items():    show(f"coverage 80 {day:%Y-%m-%d}", value, digits=3)
Saídapython drift-after-a-change.py
reference, median daily MASE: 0.72
MASE 2014-12-25: 4.62
MASE 2014-12-26: 2.00
MASE 2014-12-27: 4.74
MASE 2014-12-28: 2.93
MASE 2014-12-29: 1.68
MASE 2014-12-30: 1.78
MASE 2014-12-31: 1.89
held-out days flagged: 7
coverage 80 2014-12-25: 0.232
coverage 80 2014-12-26: 0.431
coverage 80 2014-12-27: 0.078
coverage 80 2014-12-28: 0.179
coverage 80 2014-12-29: 0.328
coverage 80 2014-12-30: 0.328
coverage 80 2014-12-31: 0.333

Todos os 7 dias reservados são sinalizados. Dias 25 e 26 de dezembro são sinalizados por causa do Natal e do seu eco, como antes, e cada dia a partir de 27 de dezembro, o primeiro dia alterado, também é sinalizado. Em 27 de dezembro o MASE diário é 4.74, e a cobertura cai para 0.078 nesse dia, a menor da semana.

Um retreino programado não eliminou as sinalizações. O retreino de segunda-feira, 29 de dezembro, é o único passo deste teste que retreina com as leituras alteradas, e ele leu 27 e 28 de dezembro no nível mais baixo. O MASE diário caiu cerca de 40%, de 2.93 em 28 de dezembro para 1.68 em 29 de dezembro, mas 30 e 31 de dezembro continuaram acima da linha. A cobertura se recuperou para 0.328 em 29 de dezembro e 0.333 em 31 de dezembro, ainda muito abaixo de 80%.

Uma sequência de sinalizações como esta, com uma cobertura tão baixa, justifica um retreino antecipado, e a regra do livro é retreinar cedo. Não testamos um retreino antecipado em um dia próprio, portanto essa regra é uma regra prática e não um resultado medido.

O terceiro gatilho é a mudança de biblioteca. As bibliotecas são lançadas com frequência, e uma versão posterior pode alterar uma saída mesmo quando o código permanece o mesmo. O ciclo depende de 1.1.0 e de 4.7.0. O Prophet, que o Capítulo 9 fixa em 1.5.0, não faz parte deste ciclo, mas é outra biblioteca fixada, e o seu histórico de lançamentos mostra com que frequência uma biblioteca dessas muda (histórico de lançamentos no PyPI). Um lançamento é um motivo para executar novamente as verificações deste capítulo. Por si só, não é um motivo para aposentar um modelo.

Essas verificações são o registro de previsões, as sinalizações e a cobertura das faixas. Elas não são um sistema de monitoramento. Um sistema de monitoramento cobre alertas, painéis, a qualidade dos dados em muitas fontes e as pessoas que respondem. Um livro posterior sobre monitoramento de modelos em produção pode continuar este caso, e este capítulo termina onde esse livro começaria.

Regra prática: Retreine cedo quando as sinalizações ocorrerem em vários dias seguidos sem causa no calendário, ou quando a faixa de 80% cobrir bem abaixo de 80% das leituras em vários dias, e registre o gatilho junto com o log. Aposente o modelo quando um retreino antecipado não eliminar as sinalizações. Execute novamente as verificações deste capítulo quando uma biblioteca fixada for lançada, e mantenha as versões fixadas até que as verificações passem na nova versão.

O que dá errado em produção

Um feed pode parar no meio de um histórico. O loop não preenche uma leitura que o feed nunca entregou. Uma lacuna no meio deslocaria todos os lags, por isso o código levanta um erro. Apenas as horas da mudança de horário são preenchidas, pela regra do Capítulo 3. Uma leitura que ainda falta no fim de um histórico é diferente, e a regra de dados atrasados a trata.

Uma reestimação pode vazar informação. Se uma reestimação lê as leituras do dia que está prestes a prever, o backtest parece melhor do que a execução ao vivo será. Você perceberia isso como um MASE ao vivo bem acima do MASE do backtest para os mesmos dias. O loop impede isso por meio de sua regra de histórico, e essa é a única coisa a manter quando o loop for reescrito. Mantenha as verificações de vazamento do capítulo 3, o teste de deslocamento, e do capítulo 7, a verificação de envenenamento. A verificação de envenenamento grava valores errados em todas as leituras após um ponto de corte e, em seguida, confirma que a reestimação e a previsão nesse ponto de corte não se alteram.

Um alerta sobre a média de trinta clientes pode ocultar uma mudança em um único cliente. Uma grande mudança em um cliente altera o MASE diário apenas pela variação do MASE diário desse cliente dividida por trinta. O exemplo de estresse altera todos os clientes ao mesmo tempo, por isso os alertas disparam. Não testamos uma mudança em apenas um cliente. Você perceberia isso como o MASE desse cliente muito acima da mediana de calibração dele. Essa é a primeira lacuna que fecharíamos, talvez com um segundo alerta sobre o MASE de cada cliente.

Uma biblioteca fixada ainda pode mudar de comportamento quando a fixação é atualizada. O erro de valor nulo na seção de pontuação é comportamento do mlforecast 1.1.0. Uma versão posterior poderia preencher, descartar ou aceitar a lacuna, e a previsão mudaria. Atualizar a fixação é uma mudança na previsão e exige que as verificações sejam executadas novamente.

A última falha é o log escrito depois do fato. Nada em um exemplo impede uma equipe de reconstruir um log mais tarde, e a saída reconstruída pareceria correta. São as duas colunas de chegada e suas verificações que mostram isso. Quando essas verificações são removidas, o log deixa de provar qualquer coisa.

Regra prática: Mantenha três verificações em cada execução: a regra de histórico, que impede o futuro de entrar em cada reestimação e previsão; as duas verificações de chegada em cada linha do log; e as verificações de vazamento dos capítulos 3 e 7. Quando uma delas falhar, pare o loop e corrija a causa antes da próxima previsão. Não conserte um histórico ou um log à mão, pois um conserto manual é justamente o tipo de mudança que as verificações existem para detectar.

Decisões tomadas neste capítulo

Última alteração na edição 2026.11.5
  • Cadência de retreinamento: a cada sete dias, às segundas-feiras. O retreinamento semanal teve o menor MASE médio nas janelas de decisão, por 0.008, diferença dentro da dispersão que a idade do modelo produz por si só; por isso aplica-se o critério de desempate, e o livro adota a cadência com menos retreinamentos.
  • Uma escala de MASE: lida a partir das leituras anteriores a 25 de novembro de 2014 e usada em todas as execuções deste capítulo, seguindo a regra do Capítulo 2. Um dia de decisão, uma janela de calibração e um dia de teste são, portanto, avaliados numa mesma régua, e nenhuma hora avaliada ajudou a defini-la.
  • Regra de sinalização: um dia é sinalizado quando ultrapassa o dobro da mediana do MASE diário das janelas de calibração, de 9 a 20 de dezembro de 2014. O fator de dois é uma regra prática rotulada como tal, mantida pela folga que oferece sobre as janelas de decisão comuns.
  • Bandas: apenas 80%, porque o gatilho de aposentadoria lê esse nível; o Capítulo 8 também oferece 95%. As bandas usam os resíduos escalonados da mesma hora, agrupados entre os trinta clientes, a partir das doze janelas de calibração, fixados antes da semana de teste. Nenhuma previsão total, banda total ou quantil de compra é registrado, de modo que o registro verifica as previsões por cliente e não a compra que o Capítulo 8 faz com base no total. Um fornecedor que compra com base no total acrescentaria esse quantil ao registro.
  • Leituras atrasadas: excluídas do retreinamento, preenchidas com a leitura da mesma hora da semana anterior para a previsão, contabilizadas no registro, avaliadas quando chegam e nunca usadas para refazer uma previsão. O preenchimento foi escolhido nas janelas de decisão. A regra não tem fonte externa e é própria do livro.
  • Escopo: sete dias para trinta clientes. Uma semana contém um feriado, uma leitura atrasada e um retreinamento semanal que cai dentro dela, de modo que mostra cada regra. Uma execução mais longa mediria com que frequência dias comuns são sinalizados, o que este capítulo não mede.
  • Limite do monitoramento: apenas as verificações deste capítulo. O sistema de monitoramento que as acompanharia ao longo do tempo está fora deste livro.
  • Seu caso: a última decisão do livro devolve o trabalho a você. O caso do fornecedor termina aqui: um retreinamento semanal, um registro que verifica o que cada previsão leu, avaliação à medida que as leituras chegam e uma sinalização contra o backtest. Seu caso exige que essas decisões sejam tomadas novamente com os seus próprios dados: a cadência de retreinamento nas suas janelas de decisão comuns, a regra para dados atrasados sobre o feed que você de fato recebe, o fator de sinalização nas suas janelas de calibração e o nível da banda que a sua regra de compra exige. Tome cada uma delas em dias anteriores à sua semana de teste.

Este capítulo, nesta edição

Edição 2026.11.11Exemplos aprovados em 20 de nov de 20265 de 5 exemplos exemplos deste capítulo passam

Traduzido do livro em inglês, edição 2026.11.11.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.

Nesta página

Capítulo 10 de 10: Mantenha a previsão em funcionamento

  1. Refit em cronograma
  2. Registre cada previsão antes de chegarem os valores reais
  3. Score the log as actuals arrive
  4. Sinalizar desvio em relação ao backtest
  5. Saiba quando aposentar um modelo
  6. O que dá errado em produção
  7. Decisões tomadas neste capítulo

Voltar ao topoTodos os capítulos