Defina as linhas de base que um modelo precisa superar
Cerca de 29 minutos min de leitura, com 2 exemplos em 7 seções.
Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros
Traduzido do livro em inglês, edição 2026.11.11. Leia o original
Neste capítulo, você calcula três linhas de base para a previsão do dia seguinte de um cliente, a ingênua, a ingênua sazonal e a média de semanas, e escala o erro de um cliente com o MASE, usando uma escala que lê apenas as leituras anteriores à semana da previsão.
Capítulo 1 terminou com duas pontuações na semana reservada para teste, e nenhuma delas pode ser avaliada ainda, porque um erro em kWh não significa nada por si só. O fornecedor, cuja compra depende da previsão de cada hora, precisa comparar o erro de cada modelo com a pontuação da previsão mais simples nas mesmas horas, e com o quanto a demanda do cliente varia de um dia para o outro. Este capítulo constrói essas duas comparações. O fornecedor precisa delas antes de poder afirmar que um modelo vale o seu custo.
Cada erro é um desvio em quilowatt-hora para uma hora, e as pontuações aqui são médias horárias desses desvios. A pontuação de uma linha de base é do mesmo tipo. Ela indica quantos quilowatt-hora de erro a regra mais simples deixa para uma hora média do dia, e um modelo que não consegue superar esse valor não justificou o seu custo extra. Por isso, cada pontuação é lida tanto em relação à demanda média do cliente principal quanto em relação às outras linhas.
Por que uma linha de base vem primeiro
Uma linha de base é uma previsão que não precisa de ajuste. Ela copia um valor que o histórico já contém, por isso custa quase nada para rodar, e estabelece um patamar que qualquer modelo precisa superar. Um modelo só se justifica ao superar uma previsão que não custou nada. Tempo de ajuste, calibração e manutenção de um modelo em funcionamento são todos custos, e a pontuação da linha de base mede o que esses custos realmente trazem.
Três termos são importantes aqui. O corte é a hora em que uma previsão é feita. O corte é a primeira hora coberta pela previsão, e o histórico é cada leitura anterior ao corte. O horizonte é o quanto à frente uma previsão alcança, aqui 24 horas. Uma janela é um corte junto com o horizonte que ele cobre, e um backtest é a pontuação de muitas janelas, cada uma feita como teria sido feita no seu dia.
A comparação precisa ser justa, senão ela mede a configuração e não o modelo. Uma linha de base pontuada em horas diferentes, com outro histórico ou outra rotina de pontuação, não diz nada sobre o modelo ao lado. Por isso, todos os métodos deste capítulo tomam seus cortes de held_out_cutoffs(), os sete cortes diários às 00:00 da semana reservada (held-out), leem seu histórico por meio de history_before(), que considera as oito semanas de horas antes de um corte, e são pontuados pelo mesmo código. Estas são as sete janelas usadas no Capítulo 1.
Regra prática: pontue cada linha de base nas mesmas janelas, nos mesmos históricos e com o mesmo código de pontuação do modelo com o qual ela será comparada, e conte as previsões ausentes de cada linha de base antes de ler sua pontuação. Um modelo que supera uma linha de base pontuada em horas diferentes não a superou de fato.
Três linhas de base a superar
Cada linha de base copia o histórico de uma maneira diferente. A ingênua repete a última hora que viu ao longo de todo o dia. A ingênua sazonal copia o dia anterior, hora por hora. A média de semanas toma a média dessa hora nesse dia da semana ao longo das quatro semanas anteriores.
Cada regra cobre as 24 horas após um ponto de corte. Chamemos o ponto de corte de T, a hora em que a previsão é feita, e façamos k variar de 0 a 23 ao longo das horas que a previsão cobre. As três regras são estas:
- A ingênua repete a última leitura antes do corte:
forecast(T + k) = y(T - 1). - A ingênua sazonal repete a leitura de um dia antes:
forecast(T + k) = y(T + k - 24). - A média de semanas toma a média da mesma hora no mesmo dia da semana sobre as quatro semanas anteriores:
forecast(T + k) = (y(T + k - 168) + y(T + k - 336) + y(T + k - 504) + y(T + k - 672)) / 4.
Os atrasos estão em horas, então 168 é uma semana. Toda leitura que uma regra usa vem de antes do corte: a da ingênua é a hora anterior, as da ingênua sazonal são as 24 horas anteriores, e a média de semanas recua de uma a quatro semanas. Tome como caso trabalhado a janela das 00:00 de 25 de dezembro de 2014. A ingênua dá a todas as horas de 25 de dezembro a leitura das 23:00 de 24 de dezembro, então a previsão é plana. A ingênua sazonal dá às 00:00 de 25 de dezembro a leitura das 00:00 de 24 de dezembro, e assim copia todo o formato do dia anterior. A média de semanas dá às 00:00 de 25 de dezembro a média das leituras das 00:00 de 18, 11 e 4 de dezembro e de 27 de novembro. Essa média suaviza um dia incomum, mas também incorpora qualquer mudança de nível ao longo das quatro semanas.
Cada regra falha de uma forma conhecida. A ingênua dá a todas as horas do dia o mesmo valor, então não consegue acompanhar o pico diário de forma alguma. A ingênua sazonal copia um único dia, então um dia incomum é copiado para a previsão do dia seguinte, como mostram os erros diários mais adiante nesta seção na semana de teste. A média de semanas precisa de quatro semanas limpas, e um feriado em qualquer uma delas entra na média com o mesmo peso de um dia comum. A pontuação de uma linha de base descreve, portanto, a sua regra nas janelas em que foi executada, e essas falhas só aparecem nas janelas em que acontecem.
A ingênua e a ingênua sazonal vêm do statsforecast (2.1.1), cujas classes Naive e SeasonalNaive estão em statsforecast/models.py. A regra da ingênua sazonal é a que Hyndman e Athanasopoulos dão para dados sazonais: a previsão é o último valor observado da mesma estação. A média de semanas não é um método de biblioteca, então examples/lib/baselines.py a calcula em pandas, onde a regra pode ser lida, e cada janela lê apenas o seu próprio histórico. Um atraso ausente desse histórico gera um erro em vez de ser ignorado. Um único script pontua as três regras por essas sete janelas, e suas primeiras linhas contam as janelas, as horas pontuadas e as previsões ausentes, para que você possa conferi-las antes de ler uma pontuação.
1"""Score the three baselines for the lead client over the held-out week, on the same seven windows. The point rests on the missing-forecasts line, which must be zero for the scores to compare, and on the three MAE lines."""2import pandas as pd34from lib.backtest import held_out_cutoffs, score_windows, window_mae5from lib.baselines import BASELINES, baseline_forecasts6from lib.electricity import load7from lib.settings import LEAD, show89cutoffs = held_out_cutoffs() # seven daily cutoffs at 00:00; every baseline uses these same windows10df = load([LEAD])[["unique_id", "ds", "y"]] # unique_id, ds and y only: the baselines read no other column11forecasts = baseline_forecasts(df, cutoffs) # one row per forecast hour, one column per baseline; each window reads its own history12labels = ["naive", "seasonal naive", "average of weeks"] # printed names, in the order of BASELINES, which the loops below zip with1314show("windows", len(cutoffs))15show("scored hours", len(forecasts))16show("missing forecasts", int(forecasts[BASELINES].isna().sum().sum())) # NaN marks a forecast that could not be made; the two sums count them over every column17show("mean demand", df[df["ds"].isin(forecasts["ds"])]["y"].mean()) # the mean over the scored hours only, not over the whole history18for model, label in zip(BASELINES, labels):19 show(f"{label} MAE", score_windows(df, forecasts, model)["mae"]) # pooled over every scored hour; the result is keyed by metric name20for model, label in zip(BASELINES, labels):21 per_window = window_mae(df, forecasts, model) # one MAE per window, keyed by the day its forecast hours fall on22 show(f"{label} worst window MAE", per_window.max())23 show(f"{label} worst window", per_window.idxmax().strftime("%b %d, %Y"))24 for day in ["2014-12-25", "2014-12-26"]: # Dec 25 is the holiday and Dec 26 the day after: the two windows the prose reads25 show(f"{label} MAE {pd.Timestamp(day):%b %d} window", per_window[pd.Timestamp(day)]) # windows are keyed by midnight of their day, so a Timestamp at 00:00 finds one
python naive-baselines-held-out-week.pywindows: 7
scored hours: 168
missing forecasts: 0
mean demand: 46.62
naive MAE: 8.16
seasonal naive MAE: 8.36
average of weeks MAE: 8.96
naive worst window MAE: 11.01
naive worst window: Dec 30, 2014
naive MAE Dec 25 window: 5.84
naive MAE Dec 26 window: 10.36
seasonal naive worst window MAE: 12.16
seasonal naive worst window: Dec 26, 2014
seasonal naive MAE Dec 25 window: 9.41
seasonal naive MAE Dec 26 window: 12.16
average of weeks worst window MAE: 22.09
average of weeks worst window: Dec 25, 2014
average of weeks MAE Dec 25 window: 22.09
average of weeks MAE Dec 26 window: 12.33
As três pontuações só são comparáveis porque cobrem as mesmas horas: 168 horas pontuadas em 7 janelas, uma para cada hora dos sete dias, e 0 previsões ausentes nas três regras. Essa contagem é a que a regra prática da primeira seção pede, e zero é o único valor que permite comparar as três nas mesmas horas.
Compare cada erro abaixo com a demanda média do cliente principal, de 46.62 kWh. Cada pontuação abaixo é um MAE, o erro absoluto médio em kWh que o Capítulo 1 define. As três linhas de base pontuam:
- ingênua: 8.16 kWh
- ingênua sazonal: 8.36 kWh
- média de semanas: 8.96 kWh
A regra mais simples tem o menor erro nesta semana, e a média de semanas, que faz média de quatro semanas, é a mais fraca. Nada aqui explica essa ordem, e este é um cliente e uma semana, então é um resultado apenas para esta semana. O Capítulo 3 é onde o livro faz o backtest da ingênua sazonal em muitos pontos de corte.
Os totais escondem onde os erros se concentram. A semana começa em 25 de dezembro de 2014, feriado nacional em Portugal, e sua primeira janela é onde as regras se separam. A ingênua tem o menor erro nela, de 5.84 kWh, contra 9.41 kWh da ingênua sazonal. A média de semanas é pior ainda, e seu maior erro da semana cai nessa janela, de 22.09 kWh, porque seus quatro atrasos são dias comuns e o feriado não tem correspondente entre eles.
O dia seguinte ao feriado é onde copiar custa caro à ingênua sazonal. Seu maior erro da semana cai em Dec 26, 2014, de 12.16 kWh, porque essa janela copia o padrão do feriado. Nesse dia a ingênua ainda é a menor, com 10.36 kWh.
Recomendamos relatar as três linhas de base sempre. Use a ingênua sazonal como referência principal para o MASE, porque ela carrega o ciclo diário que torna a demanda horária previsível, e mantenha a ingênua ao lado dela, porque em algumas semanas a regra plana é a mais forte.
Regra prática: Comece pela ingênua e pela ingênua sazonal, ambas da biblioteca, e acrescente a média de semanas quando a série tiver um ritmo semanal que valha testar. Confira uma previsão à mão contra sua fórmula antes de confiar em uma linha de base: escolha um ponto de corte, calcule uma hora a partir das leituras de seu histórico e compare o resultado com a previsão.
Escalar erros com MASE
Um erro em quilowatt-hora significa coisas diferentes para clientes diferentes. Um desvio de 8.36 kWh por hora é pequeno para um cliente que consome 46.62 kWh por hora, e o mesmo desvio seria grande para um cliente hipotético que consome 4 kWh por hora. Escalar o erro elimina essa diferença. Um erro escalado divide cada erro absoluto por uma escala, que é o erro típico de um método simples no próprio histórico do mesmo cliente. O MASE, o erro absoluto escalado médio, é a média dos erros escalados. Hyndman e Koehler o introduziram em um artigo de 2006 no International Journal of Forecasting. O link é o pré-print dos autores, datado de 2005. Eles observaram que o erro escalado não depende das unidades dos dados, de modo que o mesmo número pode ser lido em clientes de tamanhos muito diferentes. Este capítulo avalia um único cliente, de modo que a comparação entre clientes é o motivo da escala, e não um resultado mostrado aqui.
O artigo de 2006 escala pelo erro ingênuo de um passo: a diferença absoluta média entre cada leitura e a anterior. Essa é a escala natural para séries não sazonais. Para a demanda horária, este livro usa a forma sazonal que Hyndman e Athanasopoulos apresentam para dados sazonais, porque a comparação que o leitor deseja é com o ingênuo sazonal: pela escala sazonal, o denominador é o erro do ingênuo sazonal no próprio histórico do cliente. Um MASE abaixo de 1 indica então que o erro da previsão nas horas avaliadas é menor que o erro do ingênuo sazonal naquele histórico. Uma escala de um passo a compararia com um método que este livro não usa para a demanda horária.
As duas fórmulas são estas:
scale = mean of |y(t) - y(t - 24)|sobre cada leitura t anterior ao primeiro dia de teste, deixando de fora os pares que tocam uma hora de mudança de horário mascaradaMASE = mean of |actual(t) - forecast(t)| / scalesobre as horas avaliadas
A escala lê todas as leituras anteriores ao primeiro dia de teste, 17352 horas, cerca de dois anos. Isso é mais longo que o histórico de oito semanas de cada janela, e um histórico mais longo fornece uma estimativa mais estável da oscilação habitual do cliente. Uma única escala para a semana também significa que todas as janelas são comparadas com o mesmo número. A função seasonal_scale em examples/lib/baselines.py a calcula para um cliente ou para vários, e devolve um valor por cliente. Para verificar se o corte importa, avalie os três métodos de referência na semana reservada duas vezes: com a escala do histórico e com a escala de toda a série, em ambos os casos com as leituras de mudança de horário mascaradas.
1"""Score the lead client's held-out week in MASE with a scale from history and with one from the whole series, both with the clock-change readings masked. The point rests on the two last-reading lines, which show where each scale stops, and on the MASE ratio lines."""2import pandas as pd34from lib.backtest import held_out_cutoffs5from lib.baselines import BASELINES, baseline_forecasts, mase_scores, scale_history, seasonal_scale6from lib.electricity import load7from lib.quirks import mask_clock_changes8from lib.settings import HELD_OUT_WEEK, LEAD, show910LABELS = ["naive", "seasonal naive", "average of weeks"] # printed names, in the order of BASELINES11first_day = pd.Timestamp(HELD_OUT_WEEK[0]) # the first test day: the history scale may read only readings before it1213full = load([LEAD]) # every reading of the lead client, with the quirk column that marks clock-change hours14df = full[["unique_id", "ds", "y"]] # the three columns the baselines and mase_scores read; quirk is for masking only15forecasts = baseline_forecasts(df, held_out_cutoffs()) # the same windows and history rule as naive-baselines-held-out-week.py16history = scale_history(full, first_day) # keeps only rows strictly before the first test day, so no test hour reaches this scale17masked_history = mask_clock_changes(history) # clock-change hours set to NaN, so the pairs that touch them drop out of the mean18masked_whole = mask_clock_changes(full) # the same masking on the whole series, so the test week is the only difference19test_rows = len(full[full["ds"] >= first_day]) # readings from the first test day on: the test week's rows2021show("scale rows from history", len(history))22show("last scale reading from history", history["ds"].max().strftime("%b %d, %Y %H:%M")) # this must be the hour before the first test day; the line is the check23show("scale rows from whole series", len(full))24show("last reading of whole series", full["ds"].max().strftime("%b %d, %Y %H:%M"))25show("test week share of whole-series rows in percent", 100 * test_rows / len(full), digits=3)26show("clock-change rows in scale history", int(history["quirk"].ne("normal").sum())) # every quirk but normal; for the lead client these are the clock-change hours, as it has no late start27show("test week own mean day-to-day difference", seasonal_scale(full[full["ds"] >= first_day - pd.Timedelta(hours=24)]).loc[LEAD], digits=4) # starts 24 hours early, so its first pair is the first test day against the day before28show("scale from history as recorded", seasonal_scale(history).loc[LEAD], digits=4) # seasonal_scale returns one value per client, so .loc picks the lead client; the clock-change pairs are kept here29show("scale from history clock changes masked", seasonal_scale(masked_history).loc[LEAD], digits=4) # pairs with a NaN are left out of the mean30show("scale from whole series clock changes masked", seasonal_scale(masked_whole).loc[LEAD], digits=4)3132hist = mase_scores(df, forecasts, BASELINES, masked_history).loc[LEAD] # the scale comes from the rows passed as train, not from df; that choice is what this example tests33whole = mase_scores(df, forecasts, BASELINES, masked_whole).loc[LEAD]34for model, label in zip(BASELINES, LABELS):35 show(f"{label} MASE from history scale", hist[model])36 show(f"{label} MASE from whole-series scale", whole[model])37 show(f"{label} MASE ratio whole-series over history", whole[model] / hist[model], digits=4) # both MASEs share the same errors, so this ratio is the history scale over the whole-series scale38show("seasonal naive MASE from history scale at four decimals", hist["SeasonalNaive"], digits=4) # two decimals hide the leak, so the last two lines print four39show("seasonal naive MASE from whole-series scale at four decimals", whole["SeasonalNaive"], digits=4)
python mase-scale-leak-check.pyscale rows from history: 17352
last scale reading from history: Dec 24, 2014 23:00
scale rows from whole series: 17520
last reading of whole series: Dec 31, 2014 23:00
test week share of whole-series rows in percent: 0.959
clock-change rows in scale history: 4
test week own mean day-to-day difference: 8.3607
scale from history as recorded: 7.1121
scale from history clock changes masked: 7.1005
scale from whole series clock changes masked: 7.1126
naive MASE from history scale: 1.15
naive MASE from whole-series scale: 1.15
naive MASE ratio whole-series over history: 0.9983
seasonal naive MASE from history scale: 1.18
seasonal naive MASE from whole-series scale: 1.18
seasonal naive MASE ratio whole-series over history: 0.9983
average of weeks MASE from history scale: 1.26
average of weeks MASE from whole-series scale: 1.26
average of weeks MASE ratio whole-series over history: 0.9983
seasonal naive MASE from history scale at four decimals: 1.1775
seasonal naive MASE from whole-series scale at four decimals: 1.1755
A escala do histórico é de 7.1005 kWh, a diferença média entre cada hora e a mesma hora do dia anterior, e ela se lê em relação à demanda média da mesma forma que um MAE. Uma escala que representa uma grande parte da média indica que a oscilação de um dia para o outro do próprio cliente é grande, e cada erro desse cliente é lido em relação a essa oscilação. Dividindo o MAE de 8.36 kWh do ingênuo sazonal pela escala, obtém-se o seu MASE, 1.18. O mase do utilsforecast, acessado pelo auxiliar mase_scores, calcula esse MASE dividindo o mesmo MAE pela mesma escala sazonal (utilsforecast 0.2.17, utilsforecast/losses.py, função mase), de modo que a divisão feita à mão dá o mesmo valor.
O utilsforecast (0.2.17) calcula o MASE com sua função mase em utilsforecast/losses.py. A função obtém sua escala do train_df que recebe, e desloca esse quadro por linhas, e não por tempo, de modo que uma hora ausente desloca todos os lags seguintes e nada o informa. Ela também exige entrada ordenada. Seu filtro temporal só é executado quando o quadro avaliado tem uma coluna cutoff (função _create_train_with_cutoffs). Assim, a biblioteca não decide quais leituras a escala pode ler. Quem decide é quem chama a função, e a próxima seção trata dessa escolha.
Regra prática: Informe o MASE junto com o MAE sempre que os clientes que você compara diferirem em tamanho, e diga na mesma frase de qual histórico vem a escala. Leia o MASE como a razão entre dois erros médios, um das horas avaliadas e outro do histórico. Ele não é um ganho percentual sobre o ingênuo sazonal, mesmo quando o MASE está bem abaixo de 1.
Tome a escala MASE do histórico
Uma escala descreve o histórico antes do primeiro dia de teste, não a série inteira. Se a escala ler a série inteira, ela também lê as horas em que a previsão é avaliada, de modo que a semana retida entra no denominador do próprio erro. Isso é um vazamento, e não gera nenhum erro. O MASE que ele produz parece igual a qualquer outro. A regra deste livro é que uma escala lê apenas as leituras anteriores ao primeiro dia de teste da semana que ela pontua, que, para a semana retida, é 25 de dezembro de 2014.
Uma escala da série inteira parece a escolha mais segura, porque usa mais leituras. Mas ela usa mais leituras do período errado. As leituras extras são justamente aquelas em que a previsão é julgada, de modo que a escala deixa de medir o que era conhecido no ponto de corte. Mais dados não resolvem isso. Só o corte resolve.
O script da seção anterior imprime as linhas que cada escala lê, e essas linhas são a verificação. A escala do histórico lê 17352 leituras, e sua última leitura é Dec 24, 2014 23:00, a hora anterior ao primeiro dia de teste. Uma data posterior ali significaria que horas de teste chegaram à escala.
A escala da série inteira lê 17520 leituras, até Dec 31, 2014 23:00, o que cobre toda a semana retida. As duas escalas têm as leituras de mudança de horário mascaradas, de modo que a semana retida é a única diferença entre elas.
A escala da série inteira é a maior, por isso todo MASE calculado com ela é menor. Com duas casas decimais, as duas escalas dão para o naive sazonal 1.18, e o vazamento não aparece. Com quatro casas decimais ele aparece, com o MASE do naive sazonal em 1.1775 contra 1.1755, e o fator abaixo é a lição, não o arredondamento.
As escalas são 7.1005 kWh pelo histórico e 7.1126 kWh pela série inteira, e o mesmo fator, 0.9983, reduz cada uma das três regras.
O vazamento é pequeno nesta semana porque a semana retida é uma pequena parte da série. Ela representa 0.959 por cento das leituras da série inteira, de modo que a escala da série inteira é, aproximadamente, a escala do histórico deslocada em direção à oscilação própria da semana retida, na proporção dessa parte. A diferença média entre dias consecutivos da semana retida é 8.3607 kWh, contra 7.1005 kWh no histórico, de modo que a semana oscila mais do que o histórico. A proporção multiplicada por essa diferença é o vazamento, e a razão acima mede seu tamanho. O vazamento cresce de duas formas. Cresce quando mais linhas da escala são horas de teste, como em um período de teste bem mais longo que uma semana, como os cortes de um ano no Capítulo 3. Também cresce quando a oscilação da semana retida fica mais distante da do histórico. Uma semana mais calma puxaria a escala da série inteira para baixo e tornaria todo MASE maior, de modo que o mesmo vazamento pode favorecer um modelo em uma semana e penalizá-lo em outra.
As mudanças de horário são um segundo ponto, menor, e este capítulo as trata como o Capítulo 3. O histórico tem 4 leituras de mudança de horário: as duas horas de lacuna e as duas horas repetidas das mudanças de março e outubro de 2013 e 2014. As horas de lacuna valem zero, e as horas repetidas guardam a energia de duas, como descreve a ficha dos dados; o Capítulo 3 mostra o efeito. Mantidos como registrados, esses pares dão uma escala de 7.1121 kWh. Mascarados, a escala é 7.1005 kWh, porque os pares que tocam uma leitura mascarada saem da média. Uma leitura mascarada não é zero nem uma cópia; ela está ausente. A escala do capítulo mascara essas leituras, e o Capítulo 3 dá a razão, que as define como ausentes em todo conjunto de treino e em toda pontuação.
Regra prática: Passe a uma escala apenas as leituras anteriores ao primeiro dia de teste, mascare suas leituras de mudança de horário e imprima a última leitura que ela usa. Verifique se essa leitura é a hora anterior ao primeiro dia de teste. Uma pequena diferença entre as duas escalas não mostra que o procedimento está correto. A verificação das linhas mostra.
Leia a pontuação de uma linha de base
O MASE compara a previsão com o erro do naive sazonal no próprio histórico do cliente. Abaixo de 1, o erro da previsão nas horas avaliadas é menor que o erro que o naive sazonal cometeu nesse histórico; acima de 1, é maior. Hyndman e Koehler apresentam essa leitura em seu artigo para a escala de um passo, e a aritmética é a mesma para a escala sazonal. O livro não fornece um limiar para uma boa pontuação. O que é considerado bom depende do que um erro custa para o fornecedor, o que o fornecedor conhece e este livro não.
A tabela coloca as três linhas de base lado a lado, uma linha para cada uma. O MAE está em kWh, e o MASE usa a escala do histórico com as mudanças de horário mascaradas. O vazamento da seção anterior não aparece com duas casas decimais, por isso a tabela tem uma única coluna de MASE.
| Linha de base | MAE (kWh) | MASE |
|---|---|---|
| Naive | 8.16 | 1.15 |
| Naive sazonal | 8.36 | 1.18 |
| Média de semanas | 8.96 | 1.26 |
Todos os três valores de MASE estão acima de 1, portanto cada linha de base errou mais do que o erro típico do naive sazonal no histórico. Para o próprio naive sazonal, a variação de um dia para o outro na semana foi maior que a do histórico. Seu MAE é igual à diferença média, dia a dia, da própria semana de teste, 8.3607 kWh, contra 7.1005 kWh do histórico. Para naive e média de semanas, a escala os compara com o naive sazonal, não com o próprio passado; portanto, esta tabela não diz como essas duas regras se saíram no histórico. A semana começa em um feriado nacional, e a seção anterior mostra a janela do feriado como o maior erro da média de semanas. O livro não testa aqui os dias restantes.
A ordem é a mesma nas duas medidas: naive em primeiro, naive sazonal em segundo e média de semanas em terceiro. Essa concordância não é um achado. O MASE divide cada MAE pela mesma escala, então a ordem não pode diferir entre MAE e MASE para um mesmo cliente.
A tabela também levanta a pergunta do fornecedor: a regra mais simples é boa o bastante para ser contratada? Isso depende do custo de uma hora de erro, e o MASE não o precifica. O que o MASE oferece ao fornecedor é uma comparação que pode ser repetida. Um modelo posterior pode ser avaliado com as mesmas funções auxiliares, de modo que seu MASE fique ao lado dessas linhas sem mudança de unidade.
Leia a tabela nesta ordem. Primeiro, confirme na seção anterior que todas as linhas avaliam as mesmas horas, sem previsões ausentes. Segundo, leia a coluna de MASE em relação a 1. Terceiro, compare cada linha com as demais, e não com um número de algum livro-texto. Um modelo ajustado que é apenas tão bom quanto a melhor linha não mostrou muito, e um que seja melhor por menos do que o arredondamento impresso não mostrou nada.
Regra prática: Leia o MASE de cada linha de base em relação a 1 e em relação às demais linhas de base, e não declare um vencedor com base em uma única semana. Um modelo só conta como melhor quando supera a melhor linha de base em mais de um conjunto de janelas e quando a margem é maior que o arredondamento das pontuações impressas.
O que dá errado em produção
Pontue um baseline em outros horários, ou com outro histórico, e a comparação deixa de significar o que diz. Uma equipe pode pontuar seu modelo em um ano de pontos de corte e o baseline em uma semana, ou dar ao modelo um histórico mais longo que o do baseline. A comparação passa então a medir a configuração, e os números impressos parecem evidência. A verificação é a que este capítulo usa. Todo método tira seus pontos de corte de held_out_cutoffs e seu histórico de history_before, e a contagem de previsões ausentes é impressa para cada execução.
O vazamento na escala deixa um MASE que parece qualquer outro e não gera erro. Neste capítulo, ele multiplica cada MASE de naïve sazonal por 0.9983, uma mudança que duas casas decimais escondem. Um vazamento maior em outra semana pareceria igual na página. A verificação é a contagem de linhas impressa e a última leitura que a escala usa, ambas em uma única linha de saída que um revisor pode ler sem reexecutar nada.
Uma lacuna no defasamento sazonal gera uma escala errada que nenhuma saída marca. Com uma hora faltando, um defasamento de 24 linhas alcança 25 horas atrás, de modo que cada par do dia seguinte compara as horas erradas. A mase da biblioteca não tem verificação de lacunas própria. A função auxiliar seasonal_scale verifica se as horas de cada cliente são contínuas, e mase_scores executa a mesma verificação sobre as linhas da escala antes que a biblioteca as leia. A verificação gera um erro em vez de usar uma asserção, porque o Python remove asserções sob -O. As horas pontuadas são verificadas apenas quanto a leitura e duplicatas. Uma execução de produção deve contar as horas do feed antes de calcular qualquer escala, porque uma verificação dentro da função auxiliar informa o problema depois que ele já chegou à escala.
O defasamento sazonal também pode ser escolhido para o ciclo errado. Um defasamento de 24 serve para demanda horária com ciclo diário. Dados diários têm ciclo semanal, e dados horários com ritmo semanal podem exigir um defasamento de 168. Uma escala calculada com a estação errada continua sendo um número, então nada na saída mostra o erro. A verificação é nomear a estação ao lado da escala no texto e confirmá-la com o ciclo dos dados antes de usar a escala.
Escolher uma configuração na semana de teste compromete a comparação. A média de semanas tem uma escolha embutida: quantas semanas entram na média. Se esse número for escolhido porque dá a melhor pontuação na semana de teste, o baseline foi ajustado à semana em que é avaliado, e a comparação com os modelos deixa de ser justa. Este livro fixou quatro semanas antes que qualquer pontuação fosse impressa, e este capítulo o mantém para todas as janelas. Uma mudança nesse valor pertence à lista de decisões no fim do capítulo, e deve ser feita antes que as pontuações sejam vistas.
Regra prática: Verifique as entradas de um baseline, e as de sua escala, nesta ordem: as mesmas janelas para todos os métodos; uma escala que lê apenas leituras anteriores, com sua última leitura impressa; um histórico horário contínuo para o defasamento sazonal; e uma estação que corresponda ao ciclo dos dados. Cada verificação é uma linha de saída ou uma contagem, e uma verificação que falhar interrompe a comparação até ser corrigida.
Decisões tomadas neste capítulo
Sete escolhas moldaram este capítulo, e a última é a sua passagem para o Capítulo 3. A maioria está em examples/lib/baselines.py, os auxiliares de linha de base, de modo que uma correção ali alcança todos os capítulos que os chamam. O comprimento do histórico e o horizonte são as configurações em examples/lib/settings.py, as mesmas que o Capítulo 1 usou, de modo que nenhuma linha de base aqui lê um histórico diferente das previsões ao seu lado.
- A escala do MASE é sazonal, com defasagem de 24 horas. A escala de um passo do artigo de 2006 não é usada.
- A escala é um único número por cliente para a semana reservada, calculado a partir de todas as leituras anteriores a 25 de dezembro de 2014. Ela é mais longa que o histórico de cada janela, como exposto acima. O utilsforecast pode receber uma escala por ponto de corte quando o frame traz uma coluna de cutoff, mas este capítulo não usa essa opção. Se você a adicionar, saiba que o filtro dela mantém
ds <= cutoff, de modo que a própria hora de corte é incluída. Um ponto de corte neste livro é a primeira hora coberta por uma previsão, e a sua leitura não é histórico. Uma coluna de cutoff construída a partir dos pontos de corte deste livro deve, portanto, ser deslocada uma hora para trás antes do uso. - A média de semanas usa as quatro semanas anteriores a cada dia de previsão, é calculada em pandas e lê apenas o seu próprio histórico de oito semanas.
- Naive e naive sazonal são as classes do statsforecast. As pontuações são agrupadas sobre todas as horas avaliadas da semana e impressas com duas casas decimais.
- A escala mascara as suas 4 leituras de mudança de horário, seguindo a regra do Capítulo 3. A escala impressa do histórico é então 7.1005 kWh.
- As linhas de base não sorteiam números aleatórios, por isso os exemplos não definem semente.
- O Capítulo 3 mantém o naive sazonal e estes auxiliares e os executa sobre um ano de pontos de corte aos domingos, com uma escala por cliente tomada de todas as leituras anteriores ao primeiro ponto de corte, a regra que este capítulo estabelece. Uma única semana não pode oferecer esse teste.
Este capítulo, nesta edição
Edição 2026.11.11Exemplos aprovados em 20 de nov de 20262 de 2 exemplos exemplos deste capítulo passam
Traduzido do livro em inglês, edição 2026.11.11.