Backtest sem olhar para o futuro

Cerca de 31 minutos min de leitura, com 7 exemplos em 10 seções.

Edição 2026.11.11 Exemplos aprovados em 20 de nov de 2026 41 de 41 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.11. Leia o original

Este capítulo ensina você a avaliar uma previsão de um dia à frente ao longo de um ano de pontos de corte, sem deixar o futuro entrar no histórico usado, a tratar as duas horas da mudança de horário presentes nos dados e a executar um teste de deslocamento que detecta uma feature que lê informação posterior ao seu ponto de corte. Você precisa do que o Capítulo 2 lhe deu: a linha de base sazonal ingênua, o MAE e uma escala obtida do histórico. O método permanece o mesmo. O que muda é quantas vezes você o avalia e com que cuidado você corta os dados em cada uma delas.

Por que uma única semana de teste engana

Última alteração na edição 2026.11.11

Até aqui, a evidência é a semana reservada do Capítulo 1: sete previsões de um dia para o outro para um cliente, 168 horas avaliadas no total. Uma amostra desse tamanho pode dar sorte. Uma previsão pode acertar uma semana calma e errar na seguinte, e uma única semana não permite distinguir os dois casos. Antes que o fornecedor confie em um método para a compra de cada dia, ele precisa saber como a previsão se comporta ao longo de muitos dias, inclusive os incomuns.

Um backtest responde a essa pergunta com os dados que você já tem. Ele faz uma previsão em muitos momentos passados, cada um com apenas as leituras disponíveis naquele momento, e avalia cada previsão contra as leituras que vieram depois. Cada um desses momentos é um ponto de corte. Cada ponto de corte, junto com as horas que ele prevê, forma uma janela. As avaliações de todas as janelas juntas mostram como o método se comporta ao longo do ano, e não apenas em uma semana.

Isso importa sobretudo nas mudanças de horário. Um ano de pontos de corte contém a mudança de março, quando a hora das 01:00 não ocorre no relógio, e a mudança de outubro, quando um mesmo rótulo de 01:00 abrange duas horas de energia. Uma única semana, como a última semana de dezembro, não contém nenhuma das duas. Um backtest que não alcança essas datas não mostra o que o método faz nelas, por isso a amostra precisa ser escolhida pensando nelas.

Regra prática: Prefira um ano de pontos de corte antes de confiar em uma diferença entre dois métodos. Quando o custo impuser menos pontos, diga isso junto a cada avaliação, como fazem os Capítulos 4 a 9. Garanta que a amostra alcance os dias atípicos do ano. Informe quantas janelas e quantas horas avaliadas sustentam cada número. Um valor obtido de uma única semana é apenas uma amostra, e o leitor deve conseguir perceber isso.

Avance o ponto de corte

Última alteração na edição 2026.11.11

Uma janela tem três partes: o ponto de corte, o horizonte e o histórico. O ponto de corte é o momento em que a previsão é feita. O horizonte é até onde ela alcança, que aqui são 24 horas, de modo que a previsão cobre as 24 horas que começam no ponto de corte. O histórico são as leituras anteriores ao ponto de corte que o modelo pode usar, que o livro fixa em 1,344 horas, ou oito semanas. Mova o ponto de corte por um passo e você tem a janela seguinte. O passo é de uma semana para a amostra de domingos, e de um dia para as amostras diárias das duas subseções sobre a mudança de horário, A hora de março que marca zero e A hora de outubro que aparece duas vezes.

Em palavras, os alvos de cada janela são as 24 horas a partir do seu ponto de corte, e o seu histórico são as leituras de 1,344 horas antes do ponto de corte até, sem incluí-lo, o próprio ponto de corte. A janela seguinte move ambos em um passo. Uma leitura pode, portanto, ser alvo em uma janela e histórico em uma janela posterior. Isso está correto, porque, no ponto de corte posterior, a leitura já está no passado, e é a mesma leitura nos dois casos.

A amostra de domingos executa o naive sazonal sobre todos os domingos de 2014, de 5 de janeiro a 28 de dezembro de 2014. A UE põe cada mudança de horário no último domingo de março e de outubro (Diretiva 2000/84/CE, artigos 2 e 3), e as duas mudanças de 2014, em 30 de março e 26 de outubro, estão na amostra. A amostra usa SUBSET8, o subconjunto de oito clientes do livro. Aqui o ano é avaliado nesses oito clientes, janela a janela:

backtest-sundays-2014.py Python 3.13.16 · holidays 0.110.dev20261118063242 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Seasonal naive over the 52 Sunday cutoffs of 2014, for eight clients, with no clock-change rule: how much history eachwindow gets, then the year's scores. The prose's headline rests on the mean per-client MASE line."""import pandas as pdfrom holidays import country_holidaysfrom statsforecast import StatsForecastfrom statsforecast.models import SeasonalNaivefrom lib.backtest import forecast_windows, history_beforefrom lib.electricity import loadfrom lib.quirks import year_scoresfrom lib.scoring import book_scale, clients_left_outfrom lib.settings import HISTORY_HOURS, HORIZON, SUBSET8, showCOLS = ["unique_id", "ds", "y"]cutoffs = pd.date_range("2014-01-05", "2014-12-28", freq="W-SUN")  # 52 Sundays, both clock changes among themdf = load(SUBSET8)[COLS + ["quirk"]]sf = StatsForecast(models=[SeasonalNaive(season_length=24)], freq="h", n_jobs=1)  # 24 hourly readings a day: each hour copies the same hour of the day beforeforecasts = forecast_windows(sf, df[COLS], cutoffs, h=HORIZON)scored = forecasts.merge(df, on=["unique_id", "ds"])  # attaches each forecast hour's reading and its quirk flagscale = book_scale(df, cutoffs[0])  # the MASE scale: every reading before the first cutoff, from 2013 onsizes = pd.concat([history_before(df, c).groupby("unique_id").size() for c in cutoffs])  # history rows per client in each windowassert sizes.min() == sizes.max() == HISTORY_HOURS  # every window's history is the same length, the prose's claimholidays = country_holidays("PT", years=[2014])show("windows", len(cutoffs))show("history hours per series, min over windows", sizes.min())show("history hours per series, max over windows", sizes.max())show("Sunday windows on a Portuguese holiday", sum(c.date() in holidays for c in cutoffs))show("client left out of MASE", ", ".join(clients_left_out(df, cutoffs[0])))for label, value in year_scores(scored, scale).items():  # pooled MAE and RMSE, per-client MASE, the largest client's share    show(label, value)
Saídapython backtest-sundays-2014.py
windows: 52
history hours per series, min over windows: 1344
history hours per series, max over windows: 1344
Sunday windows on a Portuguese holiday: 1
client left out of MASE: MT_115
scored hours: 9936
scored hours before a first reading: 48
MAE: 382.02
RMSE: 1369.57
largest client by absolute error: MT_370
largest client's share of absolute error, percent: 88.69
clients in MASE: 7
mean MASE: 0.97
lowest client MASE: 0.77
highest client MASE: 1.26

O histórico de cada janela contém as mesmas 1344 horas para cada cliente, as oito semanas que o livro especifica, e o exemplo verifica que o comprimento é o mesmo em todas as janelas. As 52 janelas pontuam 9936 horas: oito clientes, 24 horas cada, vezes as janelas, menos as horas de um cliente que começa tarde, antes da sua primeira leitura, o que os parágrafos seguintes explicam.

O resultado principal é o MASE médio por cliente, e não o erro agregado. A escala do MASE é um número por cliente, e scoring.book_scale o calcula para o livro inteiro: todas as leituras anteriores ao primeiro ponto de corte, com as horas da mudança de horário mascaradas e os zeros iniciais de cada cliente removidos. O primeiro ponto de corte é 5 de janeiro de 2014, de modo que a escala desta amostra é lida de 1º de janeiro de 2013 a 4 de janeiro de 2014. A média dos valores de MASE por cliente é 0.97, com o menor em 0.77 e o maior em 1.26, sobre 7 clientes.

O MAE agregado, 382.02 kWh nas horas avaliadas, compara métodos com os mesmos clientes e janelas, mas não pode comparar clientes entre si. Seu maior cliente, MT_370, responde por 88.69 por cento do erro absoluto, porque esse cliente usa milhares de quilowatts-hora por hora, de modo que seus erros também estão na casa dos milhares. O RMSE é 1369.57 kWh.

O cliente MT_115 não tem nenhuma leitura antes de 14 de janeiro de 2014. Até então o medidor registra zeros, e a ficha dos dados diz que esses zeros não são demanda. O código deixa as 48 horas anteriores à sua primeira leitura fora de toda pontuação, que são as duas primeiras janelas. O histórico dele ainda contém esses zeros, porque a regra de início para os históricos pertence ao Capítulo 4. O seu MASE fica de fora por outro motivo: sua escala é lida das leituras anteriores a 5 de janeiro de 2014, e ele não tem nenhuma. A saída lista esse cliente como excluído do MASE, e a regra de início fica para aquele capítulo.

A biblioteca statsforecast tem uma função para esse laço, cross_validation, e é possível chamá-la sem a janela que você queria. Na versão 2.1.1, a fatia de treino de cada janela começa na primeira leitura da série, a menos que você passe input_size. O histórico então cresce de uma janela para a seguinte, e a regra das oito semanas deixa de valer. Hyndman e Athanasopoulos enunciam o princípio de que o conjunto de treino consiste apenas em observações anteriores ao conjunto de teste (Forecasting: Principles and Practice, 3ª ed., capítulo 5). O código por trás de cross_validation decide o comprimento desse conjunto (statsforecast 2.1.1, statsforecast/core.py). Seu ponto de corte é a última hora em que a janela treina, enquanto o ponto de corte deste capítulo é a primeira hora que ela prevê, de modo que os dois nomes diferem em uma hora. Este capítulo constrói o histórico de cada janela por conta própria, a partir do ponto de corte para trás. Isso dá as mesmas 1,344 horas em cada janela e torna a regra visível no código.

Regra prática: Defina o comprimento do histórico explicitamente, em horas, e verifique se ele é o mesmo em cada janela. Quando uma biblioteca percorre as janelas por você, leia como ela define a fatia de treino antes de confiar na saída, porque o padrão pode ser uma janela crescente em vez do comprimento que você escolheu.

Mantenha o futuro fora do histórico

Última alteração na edição 2026.11.5

Um backtest vaza quando o modelo de uma janela vê uma leitura das horas que deve prever. A leitura pode chegar ao modelo de várias maneiras: pelo histórico, por uma variável de entrada (feature) ou por uma escala calculada a partir de dados que incluem o alvo. Hewamalage, Ackermann and Bergmeir descrevem a avaliação de origem rolante como sujeita exatamente a isso, porque os dados de teste de uma janela se tornam dados de treino da janela seguinte. Em previsão, observam eles, o vazamento é mais fácil de cometer e mais difícil de evitar do que em outras tarefas de aprendizado de máquina (2022, seção 3.4).

Uma regra fecha o caminho do histórico. O histórico de cada janela são as leituras cujos timestamps caem nas oito semanas anteriores ao seu cutoff, e nada no cutoff ou depois dele. No código do livro, history_before mantém as linhas com ds a partir do cutoff menos 1,344 horas, até o cutoff, sem incluí-lo. A leitura no próprio cutoff pertence ao dia-alvo, por isso a mesma comparação a exclui. A pertinência é decidida pelos timestamps, e não pelas posições das linhas; assim, uma linha ausente não pode deslocar uma janela em uma hora. history_before também levanta um erro, a menos que todo cliente tenha exatamente 1,344 linhas na janela.

A primeira hora da própria janela é o cutoff. Por isso, um corte generoso demais em uma hora deixa a primeira leitura do alvo entrar no histórico, e nada na previsão revela isso. Uma contagem de linhas pode detectá-lo, e o exemplo abaixo faz essa contagem.

history-cut-check.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · utilsforecast 0.2.17 Aprovado
"""One window's history, cut by its cutoff: its first and last timestamps, and what a cut that keeps the cutoff hour adds.The prose's timestamps rest on the first two lines, and its off-by-one point on the row countswith the cutoff hour in and out."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.settings import HISTORY_HOURS, LEAD, showdf = load([LEAD])  # the lead client's readings only: one series is enough to show the cutcutoff = pd.Timestamp("2014-12-29")  # the window's cutoff at midnight, which is also its first forecast hourhist = history_before(df, cutoff)  # the 1,344 hours before the cutoff; the cutoff hour itself is not in itshow("history rows", len(hist))show("first history timestamp", hist["ds"].min().strftime("%Y-%m-%d %H:%M"))show("last history timestamp", hist["ds"].max().strftime("%Y-%m-%d %H:%M"))wrong = df[(df["ds"] >= cutoff - pd.Timedelta(hours=HISTORY_HOURS)) & (df["ds"] <= cutoff)]  # the off-by-one cut: <= keeps the cutoff hourshow("history rows with ds at or before the cutoff", len(wrong))show("target-day readings in that cut", int((wrong["ds"] == cutoff).sum()))
Saídapython history-cut-check.py
history rows: 1344
first history timestamp: 2014-11-03 00:00
last history timestamp: 2014-12-28 23:00
history rows with ds at or before the cutoff: 1345
target-day readings in that cut: 1

Manter a hora do cutoff acrescenta uma linha, e a contagem mostra isso. O histórico do cutoff de 29 de dezembro de 2014 vai de 2014-11-03 00:00 até 2014-12-28 23:00 e tem 1344 linhas. Um corte com ds <= cutoff tem 1345 linhas, porque a primeira leitura do dia-alvo, a hora do cutoff, entrou no histórico. Uma contagem uma linha acima do esperado é o sinal desse erro.

O mesmo cuidado vale para a escala. evaluate em utilsforecast recebe um frame de treino para calcular sua escala, e só o corta por tempo quando o frame de previsão tem uma coluna cutoff. Nesse caso, mantém as linhas de treino com ds em ou antes do cutoff, o que inclui a própria hora do cutoff (utilsforecast 0.2.17, evaluation.py). Este capítulo não usa essa opção. Sua escala vem de scoring.book_scale, que passa apenas as linhas anteriores ao primeiro cutoff, e o frame que ele pontua não tem coluna cutoff.

Regra prática: Fatie o histórico de cada janela pelo seu cutoff, nunca pelo início da sua janela de teste, e passe a uma biblioteca apenas as linhas que ela pode usar. Verifique o primeiro e o último timestamp de todo histórico, e confirme que o último está uma hora antes do cutoff.

Conheça as mudanças de horário

Última alteração na edição 2026.11.5

Os dados têm duas horas que quebram a visão simples de uma leitura por hora do relógio. No dia da mudança de março, o relógio local passa de 00:59 para 02:00, de modo que a hora das 01:00 não existe no relógio. Portugal continental está no Tempo Médio de Greenwich durante o inverno, e a UE muda os relógios às 01:00 do Tempo Médio de Greenwich, o que equivale a 02:00 na hora local (Diretiva 2000/84/CE, Artigo 2). No dia da mudança de outubro, o relógio retrocede de 02:00 para 01:00, de modo que a hora das 01:00 ocorre duas vezes. O arquivo tem uma linha para as 01:00 por dia, sinalizada nos dados do livro como clock_change_gap ou clock_change_repeat.

O livro lê o arquivo sob uma premissa declarada, na qual se apoiam todos os capítulos seguintes. A marca de tempo ds de uma leitura é o início de sua hora no horário local, e o índice é um único índice horário ingênuo, sem fuso horário. A evidência de março sustenta essa leitura. A nota do próprio conjunto de dados, em Conjunto de dados 321 do UCI Machine Learning Repository, diz que os valores das 01:00 do dia da mudança de março são zero para todos os clientes. O arquivo concorda na maior parte, como mostra a primeira subseção, e a segunda mostra as duas horas no rótulo de outubro.

A hora de março que marca zero

Última alteração na edição 2026.11.5

Em 30 de março de 2014, o rótulo 01:00 marca zero para 5 dos oito clientes do subconjunto. Os demais marcam um valor pequeno, e não uma hora de demanda. O levantamento abrange todos os trinta clientes.

clock-change-census.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""The clock-change hours of all thirty clients, each against its neighbours. The point that the March hours read near zerorests on the gap rows below 5 percent of their neighbours, with the zero count and the median ratio beside them."""from lib.electricity import loadfrom lib.quirks import clock_ratiosfrom lib.settings import showr = clock_ratios(load())  # each clock-change hour divided by the mean of the hour before and the hour aftergap = r[r["quirk"] == "clock_change_gap"]  # the file's flag: 01:00 on the March change day, an hour the clock skipsrepeat = r[r["quirk"] == "clock_change_repeat"]  # the file's flag: 01:00 holds two hours on the October change dayshow("gap rows", len(gap))show("gap rows that read zero", int((gap["y"] == 0).sum()))show("gap rows that read above zero", int((gap["y"] > 0).sum()))show("gap rows below 5 percent of their neighbours", int((gap["ratio"] < 0.05).sum()))  # a NaN ratio, where both neighbours are zero, counts in neither lineshow("gap rows at or above 5 percent of their neighbours", int((gap["ratio"] >= 0.05).sum()))show("median gap ratio to neighbours", gap["ratio"].median(), digits=3)show("repeat rows", len(repeat))show("median repeat ratio to neighbours", repeat["ratio"].median(), digits=3)
Saídapython clock-change-census.py
gap rows: 57
gap rows that read zero: 40
gap rows that read above zero: 17
gap rows below 5 percent of their neighbours: 55
gap rows at or above 5 percent of their neighbours: 2
median gap ratio to neighbours: 0.000
repeat rows: 58
median repeat ratio to neighbours: 1.948

A maioria das horas sinalizadas marca valores próximos de zero: 55 das 57 horas-cliente sinalizadas nos dois dias de mudança de março ficam abaixo de 5 por cento de suas horas vizinhas, que é o que este capítulo entende por próximo de zero. A razão mediana em relação às horas vizinhas é 0.000.

O arquivo concorda, em grande parte, com a nota do conjunto de dados: 40 das 57 leituras são exatamente zero, e 17 são maiores que zero.

Os dados dizem zero ou próximo de zero, o suficiente para a regra. O medidor não registrou nada para uma hora que não existiu no relógio, então a leitura não é demanda.

O método ingênuo sazonal copia para frente os valores do dia anterior, então a previsão para 01:00 de 30 de março é a demanda de 29 de março às 01:00. Trata-se de uma hora comum e, quando a leitura é zero, o erro é a previsão inteira.

Faça uma estimativa antes da próxima execução. O corte de 31 de março olha para trás 24 horas, e essas horas incluem o zero. Qual é o tamanho do erro às 01:00 de 31 de março, comparado com uma hora comum? A execução cobre os 15 cortes diários de 23 de março a 6 de abril de 2014, primeiro sem regra e depois com a regra da próxima seção:

clock-gap-daily-cutoffs.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Seasonal naive around the March clock change, for eight clients: the raw failure, then the rule. The prose's claims reston the gap-hour and next-day 1am lines, with and without the rule, the median client ratios, and the count of missingforecasts without the fill."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.quirks import filled_history, mae_of, mask_clock_changes, median_client_ratio, seasonal_naive_atfrom lib.settings import SUBSET8, showcutoffs = pd.date_range("2014-03-23", "2014-04-06", freq="D")  # 15 daily cutoffs around Mar 30, 2014next_day = pd.Timestamp("2014-03-31 01:00")  # 01:00 the day after the change: the forecast that copies the zerodf = load(SUBSET8)[["unique_id", "ds", "y", "quirk"]]masked = mask_clock_changes(df)  # a copy with the gap and repeat hours set to NaNraw = seasonal_naive_at(df, cutoffs, lambda c: history_before(df, c))  # no rule: the history keeps the zeros as the file has themgap = raw["quirk"] == "clock_change_gap"  # the file's flag marks the gap hoursat_next_day = raw["ds"] == next_dayshow("gap hours in actuals", int(gap.sum()))show("gap hours that read zero", int((raw[gap]["y"] == 0).sum()))show("gap-hour MAE with no rule", mae_of(raw[gap]))show("other-hour MAE with no rule", mae_of(raw[~gap]))# per client: the mean error at gap hours over the mean at other hours, then the median across clientsshow("median client ratio, gap hour to other hours, no rule", median_client_ratio(raw, gap, ~gap))show("next-day MAE at 1am with no rule", mae_of(raw[at_next_day]))# a forecast of exactly zero is the March zero copied forward from the day beforeshow("next-day 1am forecasts that are zero, no rule", int((raw[at_next_day]["SeasonalNaive"] == 0).sum()))show("median client ratio, next-day 1am to other hours, no rule", median_client_ratio(raw, at_next_day, ~gap))no_fill = seasonal_naive_at(masked, cutoffs, lambda c: history_before(masked, c))  # masked history, no fill: a NaN copies forward and stays NaNshow("NaN forecasts without the fill", int(no_fill["SeasonalNaive"].isna().sum()))fixed = seasonal_naive_at(masked, cutoffs, lambda c: filled_history(masked, c))  # the rule: masked hours filled from the history before each cutoffshow("next-day MAE at 1am with the rule", mae_of(fixed[fixed["ds"] == next_day]))show("other-hour MAE with the rule", mae_of(fixed[fixed["quirk"] != "clock_change_gap"]))
Saídapython clock-gap-daily-cutoffs.py
gap hours in actuals: 8
gap hours that read zero: 5
gap-hour MAE with no rule: 2322.69
other-hour MAE with no rule: 234.21
median client ratio, gap hour to other hours, no rule: 7.93
next-day MAE at 1am with no rule: 2393.01
next-day 1am forecasts that are zero, no rule: 5
median client ratio, next-day 1am to other hours, no rule: 9.92
NaN forecasts without the fill: 8
next-day MAE at 1am with the rule: 274.41
other-hour MAE with the rule: 228.31

Para o cliente mediano, o erro às 01:00 de 31 de março é 9.92 vezes o seu erro nas demais horas. A previsão para essa hora copia o zero para 5 clientes.

A própria hora da lacuna também falha. Seu erro agregado é de 2322.69 kWh, contra 234.21 kWh nas demais horas, e a razão do cliente mediano é 7.93. Os dois valores agregados são determinados sobretudo pelo maior cliente, enquanto a mediana por cliente conta cada cliente uma única vez.

No agregado, o erro do dia seguinte às 01:00 é 2393.01 kWh, quase tanto quanto o da hora da lacuna. O método erra na hora da mudança e erra por algo parecido no dia seguinte, porque copiou o zero.

Regra prática: Trate uma leitura de zero às 01:00, em um dia de mudança de horário em março, como uma hora ausente, e não como demanda zero. Mantenha-a fora do histórico do modelo e fora das pontuações, e não deixe que um método sazonal a copie para o dia seguinte.

A hora de outubro que contém duas

Última alteração na edição 2026.11.5

Em 26 de outubro de 2014, o rótulo 01:00 contém cerca de duas horas de energia. O censo põe a razão mediana dessa hora em relação às horas vizinhas em 1.948, sobre as 58 horas-cliente sinalizadas no arquivo. A nota da UCI concorda: os valores de 01:00 agregam duas horas de consumo.

A falha é o inverso da de março. No dia da mudança, o naive sazonal prevê o rótulo 01:00 a partir do dia anterior, que é uma hora comum, e o valor real é cerca do dobro disso. O corte de 27 de outubro copia o valor dobrado, de modo que a previsão para 01:00 em 27 de outubro é cerca do dobro de uma hora comum, e o valor real é o de uma hora comum.

A mesma comparação é feita sobre os 15 cortes diários de 19 de outubro a 2 de novembro de 2014:

clock-repeat-daily-cutoffs.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""Seasonal naive around the October clock change, for eight clients: the raw failure, then the rule. The prose's claims reston the repeat-hour and next-day 1am lines, the median client ratios, and the count of missing forecasts without the fill."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.quirks import filled_history, mae_of, mask_clock_changes, median_client_ratio, seasonal_naive_atfrom lib.settings import SUBSET8, showcutoffs = pd.date_range("2014-10-19", "2014-11-02", freq="D")  # 15 daily cutoffs around Oct 26, 2014next_day = pd.Timestamp("2014-10-27 01:00")  # 01:00 the day after the change: the forecast that copies the doubled valuedf = load(SUBSET8)[["unique_id", "ds", "y", "quirk"]]masked = mask_clock_changes(df)  # a copy with the gap and repeat hours set to NaNraw = seasonal_naive_at(df, cutoffs, lambda c: history_before(df, c))  # no rule: the history keeps the doubled 01:00 valuerepeat = raw["quirk"] == "clock_change_repeat"  # the file's flag: two hours of energy in one 01:00 labelat_next_day = raw["ds"] == next_dayshow("repeat hours in actuals", int(repeat.sum()))show("repeat-hour MAE with no rule", mae_of(raw[repeat]))show("other-hour MAE with no rule", mae_of(raw[~repeat]))# per client: the mean error at the repeat hour over the mean at other hours, then the median across clientsshow("median client ratio, repeat hour to other hours, no rule", median_client_ratio(raw, repeat, ~repeat))show("next-day MAE at 1am with no rule", mae_of(raw[at_next_day]))show("median client ratio, next-day 1am to other hours, no rule", median_client_ratio(raw, at_next_day, ~repeat))no_fill = seasonal_naive_at(masked, cutoffs, lambda c: history_before(masked, c))  # masked history, no fill: a NaN copies forward and stays NaNshow("NaN forecasts without the fill", int(no_fill["SeasonalNaive"].isna().sum()))fixed = seasonal_naive_at(masked, cutoffs, lambda c: filled_history(masked, c))  # the rule: masked hours filled from the history before each cutoffshow("next-day MAE at 1am with the rule", mae_of(fixed[fixed["ds"] == next_day]))show("other-hour MAE with the rule", mae_of(fixed[fixed["quirk"] != "clock_change_repeat"]))
Saídapython clock-repeat-daily-cutoffs.py
repeat hours in actuals: 8
repeat-hour MAE with no rule: 637.18
other-hour MAE with no rule: 397.96
median client ratio, repeat hour to other hours, no rule: 6.98
next-day MAE at 1am with no rule: 1524.26
median client ratio, next-day 1am to other hours, no rule: 7.53
NaN forecasts without the fill: 8
next-day MAE at 1am with the rule: 184.22
other-hour MAE with the rule: 394.23

Os números agregados subestimam a falha na hora da mudança. Nessa hora, a previsão é de uma hora comum e o valor real é o dobro, de modo que o erro agregado é de 637.18 kWh, contra 397.96 kWh nas demais horas. A diferença parece menor do que é, porque os erros do maior cliente são grandes em todas as horas. Para o cliente mediano, o erro na hora da mudança é 6.98 vezes o seu erro nas demais horas.

O valor dobrado causa o maior dano no dia seguinte. A previsão para 01:00 em 27 de outubro o copia, de modo que o erro agregado nesse horário é de 1524.26 kWh, o maior dos três, e a razão do cliente mediano é 7.53. Quem trata o rótulo bruto de outubro como uma hora comum vai subprever uma hora e superprever a seguinte.

Regra prática: Trate o rótulo de 01:00 de outubro como duas horas de energia em um único intervalo de tempo, e nunca como uma hora comum. Não o divida ao meio para que pareça uma hora, pelo motivo que a próxima seção explica.

Marque as horas de mudança de horário como ausentes

Última alteração na edição 2026.11.5

A regra adotada no livro é uma escolha, e esta seção a enuncia em um único lugar para que todo capítulo posterior possa chamar o mesmo código. As duas horas de 01:00, a lacuna de março e a repetição de outubro, são definidas como ausentes no histórico e nas pontuações, de modo que uma hora mascarada nunca é pontuada. Um modelo que aceita valores ausentes ignora a hora. Um modelo que não aceita, como o sazonal ingênuo, lê um valor preenchido em seu lugar, porque um valor ausente seria copiado para a previsão do dia seguinte. De qualquer forma, a hora nunca é pontuada, e a previsão ainda produz um valor para o seu rótulo, porque a grade de saída deve permanecer completa. O preenchimento é a média da hora anterior e da hora seguinte, obtida apenas do histórico anterior ao corte. Trata-se de uma regra prática para uma hora situada entre duas horas comuns, e ela é identificada como tal.

Dividir o rótulo de outubro ao meio daria a cada hora real a metade de sua leitura, o que pressupõe que as duas horas consumiram a mesma energia. A ficha dos dados não mostra isso, por isso o livro não faz essa escolha.

Sem o preenchimento, a previsão das 01:00 no dia seguinte a cada mudança está ausente para 8 dos oito clientes em março, e para 8 em outubro.

Com o preenchimento, o erro do dia seguinte nessa hora cai de 2393.01 para 274.41 kWh em março, e de 1524.26 para 184.22 kWh em outubro, enquanto o erro nas demais horas varia pouco.

O ano de cortes em domingos é um teste diferente, porque aplica a máscara às pontuações e o preenchimento não tem nenhum papel. Pontuar o ano duas vezes, sem máscara e com máscara, mostra o quanto as duas horas alteraram o resultado principal.

clock-masked-backtest.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 · statsforecast 2.1.1 · utilsforecast 0.2.17 Aprovado
"""The Sunday backtest of 2014 for eight clients, scored twice: as the readings stand, and with the clock-change rule, whichleaves the masked hours out of the scores and fills the history. The prose's comparison rests on the masked-hour count,the two pooled MAE lines, the two mean MASE lines and the two scored-hour lines."""import pandas as pdfrom lib.backtest import history_beforefrom lib.electricity import loadfrom lib.quirks import CLOCK_CHANGE_QUIRKS, filled_history, mask_clock_changes, seasonal_naive_at, year_scoresfrom lib.scoring import book_scalefrom lib.settings import SUBSET8, showcutoffs = pd.date_range("2014-01-05", "2014-12-28", freq="W-SUN")  # the same 52 Sunday cutoffs as the plain backtestdf = load(SUBSET8)[["unique_id", "ds", "y", "quirk"]]masked = mask_clock_changes(df)  # a copy with the gap and repeat hours set to NaN; the rule's scores skip themscale = book_scale(df, cutoffs[0])  # book_scale masks the clock-change hours itself, so both runs share this one scaleplain = seasonal_naive_at(df, cutoffs, lambda c: history_before(df, c))  # as the readings stand: the zeros and the doubled hour stay inruled = seasonal_naive_at(masked, cutoffs, lambda c: filled_history(masked, c))  # the rule: history filled from before each cutoffshow("masked hours in scored windows", int(plain["quirk"].isin(CLOCK_CHANGE_QUIRKS).sum()))  # counted in the plain run, where the flags are still presentfor tag, scored in [("without the mask", plain), ("with the mask", ruled)]:    result = year_scores(scored, scale)    show(f"scored hours {tag}", result["scored hours"])    show(f"MAE {tag}", result["MAE"])    show(f"mean MASE {tag}", result["mean MASE"])
Saídapython clock-masked-backtest.py
masked hours in scored windows: 16
scored hours without the mask: 9936
MAE without the mask: 382.02
mean MASE without the mask: 0.97
scored hours with the mask: 9920
MAE with the mask: 380.25
mean MASE with the mask: 0.96

A máscara retira 16 horas mascaradas das janelas pontuadas, as horas de março e de outubro do subconjunto, e o MAE agregado varia apenas um pouco, de 382.02 kWh para 380.25 kWh.

O MASE médio passa de 0.97 para 0.96, sobre 9920 horas pontuadas em vez de 9936. A diferença vem das horas removidas.

A amostra de domingos não pode mostrar o preenchimento de modo algum, porque o sazonal ingênuo lê apenas o dia anterior a cada corte, que é um sábado em todos os cortes de domingo, e nenhum sábado contém uma mudança de horário.

Regra prática: Marque as duas horas de mudança de horário como ausentes em todo histórico e em toda pontuação, conte as horas mascaradas no seu relatório, e preencha-as com base apenas no histórico anterior ao corte somente quando o modelo não puder aceitar valores ausentes. Se a contagem de horas mascaradas mudar de uma execução para a outra, a amostra ou as marcações do arquivo mudaram, e você deve descobrir o motivo antes de executar as pontuações novamente.

Verifique um backtest quanto a vazamento

Última alteração na edição 2026.11.11

Cada janela de um backtest deve ser construída com dados disponíveis em seu ponto de corte, por isso a verificação de vazamento é simples de enunciar. Um atributo para uma janela deve ter o mesmo valor, quer seja calculado a partir do histórico cortado no ponto de corte, quer a partir da série inteira. Se os dois valores diferirem, o atributo leu uma medição posterior ao corte, e o backtest favorece o método. O teste de deslocamento compara um atributo calculado a partir do histórico cortado no ponto de corte com o mesmo atributo calculado a partir da série inteira. Ele é barato de executar e detecta um erro que o backtest sozinho não detecta, porque um atributo com vazamento obtém boa pontuação por construção.

O teste tem duas metades, e cada uma detecta o que a outra deixa passar. Tome o cliente principal, MT_014, e três atributos sobre suas leituras horárias. O primeiro é uma média móvel retrospectiva: a média das 24 horas até e incluindo cada hora, que não lê nada posterior à sua hora. O segundo é a mesma média deslocada uma hora para a frente, de modo que cada valor é a média de uma janela que termina uma hora depois, e portanto lê a primeira hora após o corte. O terceiro é um atraso de uma hora, o vazamento mais comum de previsão para o dia seguinte. A metade do histórico compara cada atributo nas linhas das oito semanas anteriores a cada um dos três cortes de avaliação, de 29 a 31 de dezembro de 2014. A metade dos alvos compara as 24 horas que cada corte prevê, calculadas apenas a partir das leituras anteriores ao corte. As duas versões partem da mesma primeira leitura, de modo que o período de aquecimento de uma média móvel coincide dos dois lados. Calculados a partir de inícios diferentes, o aquecimento e o arredondamento de ponto flutuante apareceriam como diferenças falsas, e por isso a verificação compara com uma tolerância:

leakage-shift-check.py Python 3.13.16 · numpy 2.5.5 · pandas 2.3.3 Aprovado
"""Shift test: a feature must read nothing from its cutoff on, on the history rows and on the target hours. The prose'spoint rests on the counts of differing rows: an honest feature shows zero, and a leaking one shows its leak."""from lib.electricity import loadfrom lib.leakage import history_test, lag, peeking_mean, target_test, trailing_meanfrom lib.settings import EVAL_CUTOFFS, LEAD, showy = load([LEAD]).set_index("ds")["y"]  # indexed by timestamp, so each feature can be cut at a cutoff by timecompared, honest = history_test(y, trailing_mean)  # rows compared, and the rows where cutting at the cutoff changes the feature_, peeking = history_test(y, peeking_mean)  # the leaking feature: its last value before each cutoff reads the cutoff hour_, lag1_history = history_test(y, lag(1))  # lag 1 reads only the past on history rows, so this half passes itshow("cutoffs", len(EVAL_CUTOFFS))show("rows compared", compared)show("rows differing for the trailing mean", honest)show("rows differing for the peeking mean", peeking)show("rows differing for lag 1", lag1_history)targets, lag1_target = target_test(y, lag(1))  # target hours compared, and the hours that differ, over the 24 hours of each cutoff_, lag24_target = target_test(y, lag(24))show("target hours compared", targets)show("target hours differing for lag 1", lag1_target)show("target hours differing for lag 24", lag24_target)
Saídapython leakage-shift-check.py
cutoffs: 3
rows compared: 4032
rows differing for the trailing mean: 0
rows differing for the peeking mean: 3
rows differing for lag 1: 0
target hours compared: 72
target hours differing for lag 1: 69
target hours differing for lag 24: 0

Nas linhas do histórico, a média deslocada difere em 3 das 4032 comparadas, uma em cada corte: a última hora antes de cada corte, cujo valor depende da leitura no próprio corte. A média móvel retrospectiva difere em 0 delas.

O atraso de uma hora é o caso que a metade do histórico não consegue detectar. Ele difere em 0 linhas do histórico, porque toda linha que ele lê está no passado, de modo que a metade do histórico sozinha o aprova.

Nas 72 horas-alvo, ele difere em 69, pois para toda hora-alvo após a primeira, a leitura que ele usa está no dia que está sendo previsto. O atraso de 24 horas difere em 0 delas, porque lê a mesma hora do dia anterior, que era conhecida em cada corte.

O teste de deslocamento verifica apenas atributos e nada mais. Ele não verifica a escala, o preenchimento ou o próprio código do modelo, e por isso as seções anteriores definem essas regras separadamente. Execute-o em cada atributo que um modelo lê, em vários cortes distribuídos ao longo do ano, e inclua um corte em um dia de mudança de horário se o atributo ler a hora anterior a ela.

Quando um atributo falha no teste, não corrija a pontuação. Recue o atributo até que ele leia apenas o que era conhecido em seu ponto de corte, e então execute o teste novamente até que a contagem seja zero.

Regra prática: Mantenha todo atraso com pelo menos o horizonte, 24 horas, para que a leitura usada por um atraso, para qualquer hora-alvo, seja conhecida no corte. Antes de confiar em um backtest com atributos, execute as duas metades do teste de deslocamento em cada atributo, em vários cortes distribuídos ao longo do ano, e exija zero linhas divergentes para cada atributo que o modelo lê. Um atributo que diverge está lendo o futuro, então corrija-o ou remova-o antes de pontuar qualquer coisa.

O que dá errado em produção

Última alteração na edição 2026.11.5

Um backtest é uma amostra do passado, e a amostra é escolhida. Toda mudança de horário cai no último domingo de março ou de outubro (Diretiva 2000/84/CE, artigos 2 e 3), de modo que uma amostra de domingos alcança todas as mudanças. Uma amostra de segundas-feiras alcançaria o dia seguinte a cada mudança sem alcançar a própria hora da mudança; portanto, a escolha dos dias altera o que o backtest consegue ver. Registre quais datas a amostra cobre e refaça a verificação de horário quando as datas da amostra mudarem.

Efeitos de calendário são um problema de amostragem à parte. O Domingo de Páscoa, 20 de abril de 2014, é feriado português, e o pacote holidays o lista para Portugal, e a execução o conta: 1 de 52 janelas. A semana reservada (held-out) contém 25 de dezembro de 2014, feriado nacional em Portugal, e uma semana de dias comuns com um feriado dá uma pontuação diferente de uma semana só de dias comuns. Um backtest que usa atributos de feriado deve contar os feriados em suas janelas e informar quantos caem na amostra.

Um erro agregado oculta as janelas que deram errado. Um ano de janelas pode ter média respeitável enquanto um mês, ou um cliente, concentra o erro. Desmembre as pontuações por mês e por cliente antes de reportar um único número, e observe as piores janelas, não apenas a média.

A contagem de horas mascaradas acompanha o indicador de calendário, não as leituras. Ela muda quando as datas da amostra ou os indicadores do arquivo mudam, e não consegue detectar desvio nas leituras. Conte as horas mascaradas em cada execução e dispare um alarme quando a contagem mudar, porque é o sinal mais barato de que a amostra ou o arquivo mudou. O desvio nas leituras exige o censo: as horas com lacuna que leem zero e as horas repetidas em comparação com suas vizinhas. O capítulo 10 retoma este ponto no registro de execução.

Por fim, um backtest que passa no teste de deslocamento ainda pode vazar pela escala ou pelo preenchimento, se qualquer um dos dois for obtido de dados posteriores ao corte. As verificações deste capítulo cobrem esses caminhos nos exemplos e nas regras, não em todas as bibliotecas que o leitor possa usar. Quem adicionar uma biblioteca deve ler como ela recorta os dados de treino, como mostra o padrão de cross_validation.

Regra prática: Execute novamente as verificações de horário e de deslocamento a cada atualização dos dados, e antes de qualquer mudança nas datas da amostra, no tamanho do histórico ou na escala. Mantenha a contagem de horas mascaradas, as contagens do censo e as contagens do teste de deslocamento no registro de execução, ao lado das pontuações, para que uma mudança posterior em qualquer um dos dois possa ser rastreada até sua causa.

Decisões tomadas neste capítulo

Última alteração na edição 2026.11.5
  • O backtest usa as datas de corte de domingo de 2014. Toda mudança de horário cai em um domingo, então a amostra alcança cada mudança, e as duas mudanças de 2014 estão nela.
  • O histórico de cada janela são as 1,344 horas anteriores à sua data de corte, cortado na data de corte, e o comprimento é definido no código, e não deixado a um padrão de biblioteca.
  • O timestamp ds é o início da sua hora no horário local, sem fuso horário, e o livro lê o arquivo sob essa suposição.
  • As duas horas de mudança de horário são mascaradas em todo histórico e em toda pontuação. Um modelo que não aceita valores ausentes lê a média das horas vizinhas, tomada do histórico anterior à data de corte.
  • Dividir pela metade a hora de outubro é rejeitado, porque pressupõe que as duas horas reais usaram a mesma energia, o que os dados não mostram.
  • O resultado principal é o MASE médio por cliente, na mesma escala do Capítulo 2 até scoring.book_scale. O MAE agregado é a segunda linha, com a participação do maior cliente impressa.
  • Toda cifra que o texto cita permanece vinculado a uma linha rotulada da saída de seu exemplo, como o Capítulo 1 estabeleceu, de modo que uma atualização da biblioteca altera o número do capítulo e ninguém precisa digitá-lo novamente.
  • Um cliente sem nenhuma leitura antes da primeira data de corte fica de fora do MASE. As horas anteriores à primeira leitura de um cliente que começa tarde ficam de fora de todas as pontuações. O Capítulo 4 é o responsável pela regra de início dos históricos.
  • O teste de deslocamento é executado em cada variável, nas duas metades. Toda defasagem é pelo menos igual ao horizonte, e uma variável que difere em qualquer data de corte não é usada.

Este capítulo, nesta edição

Edição 2026.11.11Exemplos aprovados em 20 de nov de 20267 de 7 exemplos exemplos deste capítulo passam

Traduzido do livro em inglês, edição 2026.11.11.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.

Nesta página

Capítulo 3 de 10: Backtest sem olhar para o futuro

  1. Por que uma única semana de teste engana
  2. Avance o ponto de corte
  3. Mantenha o futuro fora do histórico
  4. Conheça as mudanças de horário
  5. A hora de março que marca zero
  6. A hora de outubro que contém duas
  7. Marque as horas de mudança de horário como ausentes
  8. Verifique um backtest quanto a vazamento
  9. O que dá errado em produção
  10. Decisões tomadas neste capítulo

Voltar ao topoTodos os capítulos