Compare o Prophet e um modelo de fundação
Cerca de 31 minutos min de leitura, com 6 exemplos em 7 seções.
Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros
Traduzido do livro em inglês, edição 2026.11.11. Leia o original
Ao terminar este capítulo, você poderá ajustar o Prophet nos três cortes padrão do livro, carregar um modelo de fundação registrado (Chronos-2) e um modelo neural registrado (NHITS), e avaliar todos eles em uma única escala MASE, sobre as mesmas leituras.
Os leitores encontram o Prophet e os modelos neurais de previsão fora deste livro, cada um com suas próprias alegações. Este capítulo pergunta o que cada um deles faz com os clientes do fornecedor, nos cortes padrão, de 29 a 31 de dezembro de 2014. O fornecedor precisa de algo mais restrito de qualquer modelo: uma previsão para o dia seguinte para cada cliente e uma faixa na qual possa apoiar uma compra. O Capítulo 8 calibrou essas faixas em janelas anteriores. As faixas aqui não são calibradas dessa forma, portanto este capítulo verifica sua cobertura, mas não a corrige. Todo modelo é comparado com o naive sazonal do Capítulo 2 e com o modelo global do Capítulo 6, nas mesmas horas e em uma única escala MASE. Dois dos modelos são usados a partir de resultados registrados, e não executados.
Onde o Prophet se encaixa
O Prophet é o primeiro modelo que o leitor testa além das linhas de base, por isso o testamos primeiro, e as suas suposições decidem onde ele pode ajudar.
O Prophet escreve uma série como uma tendência, mais termos sazonais de Fourier, mais efeitos de feriados, mais um termo de erro. Os autores descrevem-no como um modelo de regressão modular cujos parâmetros um analista pode ler e ajustar (Taylor e Letham (2018)). Por padrão, o ajuste do Prophet é uma estimativa de máxima a posteriori, uma otimização e não um conjunto de amostras sorteadas. O código da versão 1.5.0 define esse padrão na chamada de otimização dele (models.py, linhas 165 e 172), e o seu argumento mcmc_samples tem valor padrão 0 (forecaster.py, linha 144). Ambos estão na distribuição de código-fonte do Prophet para a versão fixada. Cada cliente recebe o seu próprio ajuste, de modo que o Prophet não aprende com os outros clientes.
O Prophet faz várias coisas bem. Não precisa de interpolação de observações ausentes: o código elimina as linhas cujo y está ausente antes do ajuste (forecaster.py, linha 1335). As horas da mudança de horário estão ausentes no histórico pela regra do Capítulo 3, de modo que o Prophet as deixa de fora sem nenhum código extra. O Prophet recebe feriados como uma tabela de datas e efeitos, e a tabela testada neste capítulo contém os feriados nacionais portugueses de 2013 e 2014. Os autores relatam que, nas suas próprias séries e com configurações padrão, o Prophet teve erro menor que o auto.arima, o ETS, o naive sazonal e o TBATS (Taylor e Letham (2018)). Esse resultado depende dos dados deles, por isso o citamos como resultado dos autores e não o usamos como evidência sobre este caso.
Vários padrões atrapalham aqui. A sazonalidade anual só é ativada com pelo menos 730 dias de histórico (forecaster.py, linha 1187), por isso permanece desligada com oito semanas. O intervalo padrão é de 80%, e não de 95% (forecaster.py, linha 145). Ele cobre a incerteza da tendência e o ruído da observação, não o padrão sazonal, a menos que o modelo seja ajustado com amostragem completa (documentação do Prophet). A sua cobertura, portanto, faz uma afirmação mais estreita do que a palavra "intervalo" sugere. O Prophet também assume que a tendência futura muda com a mesma frequência e a mesma magnitude que mudou no histórico (documentação do Prophet). Com oito semanas de histórico há pouco de onde aprender as mudanças de tendência, então, na nossa leitura, essa suposição sustenta a maior parte da previsão.
Regra prática: Use o Prophet por cliente quando você precisar que a tendência e as configurações sazonais sejam parâmetros que você possa ler, e quando as suas previsões avaliadas superarem o naive sazonal nas janelas de decisão escolhidas antes da avaliação. Defina a largura do intervalo no código, e leia o seu intervalo padrão de 80% como um intervalo de 80%, nunca como uma faixa de 95%. Verifique a sua cobertura em relação ao nível que ele declara.
Execute o Prophet nos mesmos cortes
A última seção nomeou as premissas do Prophet. Esta fixa suas configurações e o executa nas mesmas horas que todos os outros modelos.
A comparação usa os três cortes padrão, às 00:00 de 29, 30 e 31 de dezembro de 2014. Essas são as janelas que os capítulos 4 a 8 avaliam. O histórico de cada janela são as 1,344 horas, oito semanas, anteriores ao seu corte, com a regra de início aplicada, de modo que o histórico de um cliente que começa mais tarde se inicia na sua primeira leitura. O Prophet é ajustado uma vez para cada cliente e corte, o que resulta em 90 ajustes.
Escolhemos a tabela de feriados nas janelas de decisão, não nos cortes padrão. As janelas de decisão comuns não contêm feriado nas suas horas avaliadas, portanto não podem testar uma tabela de feriados, enquanto as janelas de decisão de feriados podem. Assim, a escolha usa os dois tipos. Uma execução com a tabela e outra sem ela mostra o que a tabela faz nessas janelas para SUBSET8: os quatro dias comuns e sete feriados, 18 de abril, 20 de abril, 25 de abril, 1 de maio, 10 de junho, 15 de agosto e 8 de dezembro de 2014. Todos eles vêm antes da semana reservada, e nenhum tem o Natal em seu histórico.
1"""Prophet with and without the Portuguese holiday table, on the eleven decision windows for SUBSET8 (B-9, B-10),2before any standard cutoff is scored. The point that the table stays off rests on the two mean MASE lines and on3holiday table kept, which says whether the table lowers the mean per-client MASE."""4from lib.compare import prophet_windows, seasonal_naive, score5from lib.electricity import load6from lib.features import is_holiday7from lib.panel import DECISION_CUTOFFS, HOLIDAY_DECISION_CUTOFFS8from lib.quirks import mask_clock_changes9from lib.settings import SUBSET8, show1011# the four ordinary and seven holiday windows, in date order12DECISION = sorted([*DECISION_CUTOFFS, *HOLIDAY_DECISION_CUTOFFS])13raw = load(SUBSET8)14# clock-change hours set to missing, so Prophet fits without them15df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]16keys = ["unique_id", "ds"]17# one fit per client and window, with the Portuguese holidays as Prophet's holiday table; two processes, and the same18# fits at any count19with_holidays = prophet_windows(df, DECISION, use_holidays=True, workers=2)[keys + ["Prophet"]].rename(20 columns={"Prophet": "WithHolidays"})21without = prophet_windows(df, DECISION, use_holidays=False, workers=2)[keys + ["Prophet"]].rename(22 columns={"Prophet": "NoHolidays"})23forecasts = with_holidays.merge(without, on=keys, validate="one_to_one").merge(24 seasonal_naive(df, DECISION), on=keys, validate="one_to_one")25models = ["WithHolidays", "NoHolidays", "SeasonalNaive"]26# per_client: one MASE per client and model; scored: forecasts beside readings27per_client, scored = score(raw, forecasts, models, SUBSET8, DECISION)2829show("decision windows", len(DECISION))30show("holiday decision windows", len(HOLIDAY_DECISION_CUTOFFS))31show("clients", len(SUBSET8))32show("scored hours", len(scored))33# 1 for each hour on a Portuguese national holiday34show("holiday hours in the decision windows", int(is_holiday(scored["ds"]).sum()))35for model in models:36 # the mean of the per-client MASEs, not a pooled error37 show(f"mean MASE {model}", per_client[model].mean(), digits=3)38show("hours where the forecasts differ", int((scored["WithHolidays"] != scored["NoHolidays"]).sum()))39show("clients where holidays help", int((per_client["WithHolidays"] < per_client["NoHolidays"]).sum()))40# the table is kept only on a strictly lower mean; a tie keeps the simpler model, with the table off41show("holiday table kept", "yes" if per_client["WithHolidays"].mean() < per_client["NoHolidays"].mean() else "no")
python prophet-holiday-decision.pydecision windows: 11
holiday decision windows: 7
clients: 8
scored hours: 2112
holiday hours in the decision windows: 1344
mean MASE WithHolidays: 1.070
mean MASE NoHolidays: 1.061
mean MASE SeasonalNaive: 0.934
hours where the forecasts differ: 768
clients where holidays help: 2
holiday table kept: no
Nas janelas de decisão, a tabela piora o Prophet. Somando as onze delas, seu MASE médio por cliente é 1.070 com a tabela e 1.061 sem ela, frente a 0.934 para a sazonalidade ingênua.
Uma configuração só é mantida se reduzir o MASE nas janelas de decisão, e um empate mantém o modelo mais simples. O veredito do exemplo sobre manter a tabela é no, portanto a tabela permanece desligada.
As janelas de feriados contêm 1344 horas-cliente de feriado, e são o único lugar onde a tabela pode alterar uma previsão. 768 das 2112 horas avaliadas diferem entre as duas variantes.
Os cortes padrão contam uma história diferente, que relatamos sem usá-la para escolher. Seus históricos incluem o dia de Natal, e os históricos das janelas de feriados não. Essa é uma provável razão para a diferença, mas não testamos qual feriado a causa. Com a tabela ligada, o MASE médio do Prophet por cliente nos cortes padrão seria 1.27, frente a 1.35 com ela desligada. Uma equipe que queira a tabela deve testá-la em suas próprias janelas de decisão antes de avaliar qualquer resultado.
A sazonalidade diária e semanal está ligada, e a anual está desligada. Essas são as escolhas que o Prophet faz por conta própria para oito semanas de dados horários: a anual exige pelo menos 730 dias, a semanal pelo menos duas semanas, e a diária pelo menos dois dias de dados subdiários (forecaster.py, linhas 1187, 1209 e 1223). Nós as definimos explicitamente e não as ajustamos. O intervalo é de 95%, definido no código e exibido como Prophet interval level, de modo que a cobertura fica ao lado das faixas de 95% das gravações. O Prophet extrai as amostras do intervalo do gerador global do numpy, então o código define a semente (SEED) antes de cada predict. O ajuste em si é determinístico.
Cada modelo é avaliado na escala MASE única do livro: o erro da sazonalidade ingênua na amostra, sobre todas as leituras anteriores a 29 de dezembro de 2014, com as horas de mudança de relógio mascaradas. Um MASE abaixo de 1 significa que o erro do modelo nas horas avaliadas é menor que o erro in-sample da sazonalidade ingênua. Cada cliente tem sua própria escala, de modo que um cliente grande não pesa mais que um pequeno. A próxima execução ajusta o Prophet para todos os trinta clientes e o avalia, ao lado da sazonalidade ingênua e do modelo global, nessa escala, que é a comparação que todos os resultados posteriores do capítulo usam.
1"""Prophet for each of the thirty clients on the three standard cutoffs, with a 95% interval, scored on the book's MASE2scale beside seasonal naive and the Chapter 6 global model. The point that Prophet's mean MASE is higher rests on3the mean MASE lines, and the coverage line says whether its 95% interval holds."""4import pandas as pd56from lib.compare import (PROPHET_HOLIDAYS, PROPHET_LEVEL, global_forecasts, prophet_windows, report_range,7 report_subset, score, seasonal_naive)8from lib.electricity import load9from lib.panel import ALL3010from lib.quirks import mask_clock_changes11from lib.scoring import report_scores12from lib.settings import EVAL_CUTOFFS, show1314raw = load(ALL30)15# clock-change hours set to missing, as chapter 3 sets them16df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]17cutoffs = pd.DatetimeIndex(EVAL_CUTOFFS)18# Prophet at the book's settings from lib.compare: holiday table off, 95% interval, one fit per client and cutoff19forecasts = prophet_windows(df, cutoffs).merge(20 seasonal_naive(df, cutoffs), on=["unique_id", "ds"], validate="one_to_one").merge(21 global_forecasts(df, cutoffs), on=["unique_id", "ds"], validate="one_to_one")22models = ["Prophet", "SeasonalNaive", "Global"]23# per_client: one MASE per client and model; scored: forecasts beside readings24per_client, scored = score(raw, forecasts, models, ALL30)2526show("Prophet interval level", PROPHET_LEVEL)27show("Prophet holiday table", "on" if PROPHET_HOLIDAYS else "off")28show("clients scored", scored["unique_id"].nunique())29show("scored hours", len(scored))30show("clients where Prophet beats seasonal naive", int((per_client["Prophet"] < per_client["SeasonalNaive"]).sum()))31show("clients where Prophet beats the global model", int((per_client["Prophet"] < per_client["Global"]).sum()))32report_scores(scored, per_client, models)33report_subset(per_client, models)34# the 95% range from Prophet's lower and upper interval columns35report_range(scored, "Prophet", "ProphetLo", "ProphetHi", PROPHET_LEVEL)36# Sensitivity only, not used to choose: the holiday table on the same cutoffs, which the decision windows37# did not favour.38# two processes; each fit is the same at any worker count39on = prophet_windows(df, cutoffs, use_holidays=True, workers=2)[["unique_id", "ds", "Prophet"]].rename(40 columns={"Prophet": "ProphetHolidays"})41per_holiday, _ = score(raw, forecasts.merge(on, on=["unique_id", "ds"], validate="one_to_one"),42 ["ProphetHolidays"], ALL30)43show("mean MASE Prophet with holidays, not chosen", per_holiday["ProphetHolidays"].mean())
python prophet-thirty-clients-backtest.pyProphet interval level: 95
Prophet holiday table: off
clients scored: 30
scored hours: 2160
clients where Prophet beats seasonal naive: 9
clients where Prophet beats the global model: 6
MAE Prophet: 182.44
MAE SeasonalNaive: 148.26
MAE Global: 122.81
RMSE Prophet: 764.88
RMSE SeasonalNaive: 780.48
RMSE Global: 678.81
mean MASE Prophet: 1.35
mean MASE SeasonalNaive: 1.18
mean MASE Global: 0.91
mean MASE Prophet SUBSET8: 1.39
mean MASE SeasonalNaive SUBSET8: 1.16
mean MASE Global SUBSET8: 1.03
coverage 95 Prophet: 0.918
interval score 95 Prophet: 932.66
mean MASE Prophet with holidays, not chosen: 1.27
Nesses cortes, o Prophet tem um MASE médio por cliente maior que o da sazonalidade ingênua: 1.35 sobre os trinta clientes, frente a 1.18 para a sazonalidade ingênua e 0.91 para o modelo global.
A perda ocorre na maioria dos clientes, não só na média: o Prophet supera a sazonalidade ingênua em apenas 9 dos trinta clientes, e o modelo global em 6.
Somando todas as horas avaliadas, o RMSE do Prophet é de 764.88 kWh, frente a 780.48 da sazonalidade ingênua, de modo que ele comete menos erros muito grandes. Ele perde para a sazonalidade ingênua em MAE e MASE, e para o modelo global em todas as medidas. Seu intervalo de 95% cobre 0.918 das leituras, e seu escore de intervalo é 932.66. Uma cobertura abaixo de 0.95 significa que o intervalo é estreito demais para o nível declarado nessas horas.
Regra prática: Defina a sazonalidade, os feriados e a largura do intervalo do Prophet em código antes de pontuá-lo, e escolha qualquer um deles nas janelas de decisão, nunca nos cortes padrão. Mantenha a tabela de feriados somente se ela reduzir o MASE nas janelas de decisão de feriados. Compare o Prophet com a sazonalidade ingênua e com o modelo global nas mesmas janelas e na mesma escala, e liste os clientes em que ele perde. Defina a semente antes de cada predict, e confira se uma segunda execução imprime as mesmas linhas.
Carregar as previsões registradas de um modelo fundacional
O Prophet ajusta cada cliente a partir das suas próprias oito semanas. Um modelo fundacional traz o que aprendeu com outras séries, e esta seção mostra como o livro guarda as suas previsões.
Um modelo fundacional é treinado uma vez com muitas séries e depois aplicado a um contexto, sem ajuste nessa série. O Chronos-2 é um desses modelos. O Chronos-2 é um transformer somente com encoder que recebe um contexto de valores passados e produz quantis para os próximos passos (Ansari et al. (2025); o modelo Chronos anterior é descrito em Ansari et al. (2024)). Seus pesos são publicados como amazon/chronos-2 no Hugging Face sob a licença Apache-2.0, sem restrição de acesso (model card).
O seu pré-treinamento inclui este conjunto de dados, o que limita o quanto a sua pontuação pode ser lida. O relatório do Chronos-2 lista o conjunto de dados de eletricidade no seu corpus de pré-treinamento. O Apêndice A, Tabela 6, apresenta "Electricity", com 370 séries no domínio de energia (Ansari et al. (2025)). Essas séries correspondem ao conjunto UCI ElectricityLoadDiagrams20112014 que o livro usa, e os trinta clientes do livro são retirados delas. O relatório aponta sobreposição parcial com algumas partes de treinamento do GIFT-Eval. Para resultados estritamente zero-shot, ele indica uma variante treinada apenas com dados sintéticos, na sua Seção 5.4. Não executamos essa variante. O relatório não mostra quais leituras desses clientes o modelo viu, portanto as pontuações abaixo são limites superiores, não resultados fora da amostra.
Não executamos o Chronos-2 em um exemplo. Suas previsões são registradas: o modelo rodou uma vez, fora dos exemplos, em uma CPU, com a revisão fixada em 29ec3766d36d6f73f0696f85560a422f50e8498c, e os exemplos leem a saída salva. O registro tem data de 10 de novembro de 2026. Os exemplos precisam rodar offline e dar sempre a mesma saída, e uma chamada ao modelo não faz nenhuma das duas coisas. Um modelo baixado pode mudar, e a máquina do leitor pode nem ter os arquivos.
A entrada de cada cliente e de cada data de corte são as 1,344 horas anteriores ao corte, com a regra de início aplicada. Nenhum dos cortes padrão precisa dessa etapa. Seus históricos começam em 3 de novembro de 2014 ou depois, após a mudança de horário do outono, e os três que começaram tarde tiveram as primeiras leituras antes de 3 de novembro de 2014. O manifesto não registra valores ausentes nos contextos, por isso o tratamento da mudança de horário não altera nenhum número pontuado aqui. O pacote constrói uma máscara a partir dos valores ausentes e escala em torno deles (código-fonte do chronos-forecasting, chronos2/model.py, linha 398). Os 90 contextos entraram em um único lote, com cada série mantida separada. O aprendizado cruzado, que permitiria que uma série informasse outra, vem desativado por padrão, e a gravação não o ativa (chronos2/pipeline.py, linha 833). Assim, o contexto de 30 de dezembro não informa a previsão de 29 de dezembro.
A saída é, para cada cliente, corte e hora, cinco quantis para as próximas 24 horas: 0.025, 0.1, 0.5, 0.9 e 0.975. São 2160 linhas no total. O manifesto lista o SHA-256 da saída e do inputs.csv.gz, que guarda o contexto exato que cada janela recebeu, além das versões dos pacotes e da máquina, descrita apenas como um contêiner Linux com 4 vCPUs e sem GPU.
Nem todos os quantis solicitados são treinados. O pacote é treinado em 21 níveis, de 0.01 a 0.99 (Ansari et al. (2025)). Os níveis 0.1, 0.5 e 0.9 estão entre eles, por isso são lidos diretamente. Os níveis 0.025 e 0.975 não estão, por isso o pacote interpola cada um linearmente entre os dois níveis treinados mais próximos: 0.01 e 0.05 para o inferior, e 0.95 e 0.99 para o superior. O código é interpolate_quantiles em chronos/utils.py, chamado a partir de predict_quantiles em chronos2/pipeline.py (código-fonte do chronos-forecasting). O manifesto nomeia os níveis interpolados, e uma faixa de 95% construída a partir deles é em parte resultado da interpolação do pacote.
Antes que qualquer pontuação leia a gravação, execute a verificação. Ela calcula o hash de cada saída e o compara com manifest.json, conta as linhas, os clientes e os cortes no arquivo de previsões, e procura quantis fora de ordem.
1"""Checks the recorded Chronos-2 outputs before any score reads them: each file's SHA-256 against manifest.json, the2shape of the forecast file, and any quantiles out of order, without running the model. The point that the recording3is intact rests on the hash mismatches line and the rows with quantiles out of order line."""4from lib.compare import check_recording5from lib.settings import show67for label, value in check_recording().items(): # the default name is the chronos-2 folder in examples/data/recorded/8 show(label, value)
python recorded-chronos2-check.pyoutputs checked: 2
hash mismatches: 0
rows: 2160
clients: 30
windows: 3
interpolated levels: 2
rows with quantiles out of order: 0
largest quantile crossing, kWh: 0.00
inverted 80 or 95 ranges: 0
A gravação está íntegra: 0 de suas 2 saídas falham nos hashes, e 0 linhas têm quantis fora de ordem. A verificação confere os arquivos de saída, não o hash do prompt, que cobre a entrada e a configuração.
A licença decide quais pesos o livro pode executar ou registrar: este livro usa apenas pesos Apache-2.0 ou MIT. Os pesos do Chronos-2 e o pacote chronos-forecasting são Apache-2.0 (model card; metadados do pacote). Duas outras famílias foram consideradas e não são usadas. Os pesos do TimesFM 3.0 têm licença não comercial, que permite apenas uso não comercial e não produtivo (licença do TimesFM 3.0). O TimesFM 2.5 é Apache-2.0 (TimesFM 2.5 card), então a licença depende da versão citada. Os checkpoints da série Moirai R são marcados como CC-BY-NC-4.0, que também é não comercial (Moirai 2.0 card).
Uma edição posterior poderá executar o Chronos-2 ao vivo quando seus pesos e pacote se ajustarem aos limites do serviço de lançamento. Até lá, a gravação substitui a execução ao vivo.
Regra prática: Registre um modelo fundacional somente com o seu script, a sua revisão fixada, as versões dos seus pacotes e um manifesto que calcule o hash de cada saída. Leia as saídas registradas em cada exemplo, e verifique os hashes antes que qualquer pontuação as leia. Confira a licença dos pesos, não apenas a licença do pacote, e cite a versão do modelo em qualquer frase sobre licença.
Pontue as gravações nos mesmos pontos de corte
As gravações só fazem sentido quando são pontuadas nas mesmas horas do Prophet e dos modelos de referência.
Uma previsão com cinco quantis pode ser pontuada de duas maneiras. A mediana, o quantil 0.5, é uma previsão pontual, pontuada com MASE na escala do livro. Os quantis 0.1 e 0.9 formam uma faixa de 80%, e os quantis 0.025 e 0.975 formam uma faixa de 95%. Cada faixa é pontuada pela cobertura, a parcela das leituras dentro dela, e pelo escore de intervalo, que soma a largura a uma penalidade para cada leitura fora dela. A penalidade é 2 dividido pela taxa nominal de erro, 0.05 para uma faixa de 95%, multiplicada pela distância para fora. O Capítulo 8 define o escore de intervalo com sua fonte. Cada quantil também é pontuado pela sua perda de quantil, que cobra tau por cada kWh em que a leitura fica acima do quantil e um menos tau por cada kWh em que fica abaixo (Capítulo 8).
Dois exemplos pontuam as gravações, um para cada modelo, nos mesmos trinta clientes, pontos de corte e escala MASE da execução do Prophet. Cada um reconstrói o modelo global e o naive sazonal em vez de copiá-los do Capítulo 6, de modo que todos os modelos passam por um mesmo caminho de pontuação.
1"""Scores the recorded Chronos-2 forecasts on the three standard cutoffs and the MASE scale of the other models: the2median is the point forecast, the 0.1 and 0.9 quantiles the 80% range, and the 0.025 and 0.975 quantiles the 95%3range. The point about the lead rests on the mean MASE lines, and the code reads the recording only, never the4model."""5import pandas as pd67from lib.compare import (global_forecasts, recorded_forecasts, report_pinball, report_range, report_subset, score,8 seasonal_naive)9from lib.electricity import load10from lib.panel import ALL3011from lib.quirks import mask_clock_changes12from lib.scoring import report_scores13from lib.settings import EVAL_CUTOFFS, show1415raw = load(ALL30)16# clock-change hours set to missing, as chapter 3 sets them17df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]18cutoffs = pd.DatetimeIndex(EVAL_CUTOFFS)19# the recording, read only after each output matches its manifest hash; its median is the Chronos column20forecasts = recorded_forecasts().merge(21 seasonal_naive(df, cutoffs), on=["unique_id", "ds"], validate="one_to_one").merge(22 global_forecasts(df, cutoffs), on=["unique_id", "ds"], validate="one_to_one")23models = ["Chronos", "SeasonalNaive", "Global"]24# per_client: one MASE per client and model; scored: forecasts beside readings25per_client, scored = score(raw, forecasts, models, ALL30)2627show("clients scored", scored["unique_id"].nunique())28show("scored hours", len(scored))29show("clients where Chronos beats seasonal naive", int((per_client["Chronos"] < per_client["SeasonalNaive"]).sum()))30report_scores(scored, per_client, models)31report_subset(per_client, models)32report_pinball(scored, "Chronos", "q10", 0.1) # quantile loss at tau 0.1: the 0.1 quantile column33report_pinball(scored, "Chronos", "q50", 0.5) # at tau 0.5 the loss is half the absolute error34report_pinball(scored, "Chronos", "q90", 0.9)35report_range(scored, "Chronos", "q10", "q90", 80)36report_range(scored, "Chronos", "q025", "q975", 95)
python recorded-chronos2-score.pyclients scored: 30
scored hours: 2160
clients where Chronos beats seasonal naive: 27
MAE Chronos: 100.13
MAE SeasonalNaive: 148.26
MAE Global: 122.81
RMSE Chronos: 655.39
RMSE SeasonalNaive: 780.48
RMSE Global: 678.81
mean MASE Chronos: 0.81
mean MASE SeasonalNaive: 1.18
mean MASE Global: 0.91
mean MASE Chronos SUBSET8: 0.87
mean MASE SeasonalNaive SUBSET8: 1.16
mean MASE Global SUBSET8: 1.03
quantile loss 0.1 Chronos: 39.44
quantile loss 0.5 Chronos: 50.07
quantile loss 0.9 Chronos: 17.85
coverage 80 Chronos: 0.749
interval score 80 Chronos: 572.89
coverage 95 Chronos: 0.944
interval score 95 Chronos: 958.19
1"""Scores the recorded NHITS forecasts on the same three cutoffs and MASE scale as Chronos-2 and the other models: the2median is the point forecast, and each range comes from levels trained directly, so none is interpolated. The point3about its ranges rests on the coverage and interval score lines, and the code reads the recording only, never the4model."""5import pandas as pd67from lib.compare import (global_forecasts, recorded_forecasts, report_pinball, report_range, report_subset, score,8 seasonal_naive)9from lib.electricity import load10from lib.panel import ALL3011from lib.quirks import mask_clock_changes12from lib.scoring import report_scores13from lib.settings import EVAL_CUTOFFS, show1415raw = load(ALL30)16# clock-change hours set to missing, as chapter 3 sets them17df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]18cutoffs = pd.DatetimeIndex(EVAL_CUTOFFS)19# the NHITS recording, read only after each output matches its manifest hash; its median is the NHITS column20forecasts = recorded_forecasts("nhits", "NHITS").merge(21 seasonal_naive(df, cutoffs), on=["unique_id", "ds"], validate="one_to_one").merge(22 global_forecasts(df, cutoffs), on=["unique_id", "ds"], validate="one_to_one")23models = ["NHITS", "SeasonalNaive", "Global"]24# per_client: one MASE per client and model; scored: forecasts beside readings25per_client, scored = score(raw, forecasts, models, ALL30)2627show("clients scored", scored["unique_id"].nunique())28show("scored hours", len(scored))29show("clients where NHITS beats seasonal naive", int((per_client["NHITS"] < per_client["SeasonalNaive"]).sum()))30report_scores(scored, per_client, models)31report_subset(per_client, models)32report_pinball(scored, "NHITS", "q10", 0.1) # quantile loss at tau 0.1: the 0.1 quantile column33report_pinball(scored, "NHITS", "q50", 0.5) # at tau 0.5 the loss is half the absolute error34report_pinball(scored, "NHITS", "q90", 0.9)35report_range(scored, "NHITS", "q10", "q90", 80)36report_range(scored, "NHITS", "q025", "q975", 95)
python recorded-nhits-score.pyclients scored: 30
scored hours: 2160
clients where NHITS beats seasonal naive: 24
MAE NHITS: 136.61
MAE SeasonalNaive: 148.26
MAE Global: 122.81
RMSE NHITS: 649.41
RMSE SeasonalNaive: 780.48
RMSE Global: 678.81
mean MASE NHITS: 1.03
mean MASE SeasonalNaive: 1.18
mean MASE Global: 0.91
mean MASE NHITS SUBSET8: 1.17
mean MASE SeasonalNaive SUBSET8: 1.16
mean MASE Global SUBSET8: 1.03
quantile loss 0.1 NHITS: 27.66
quantile loss 0.5 NHITS: 68.31
quantile loss 0.9 NHITS: 40.58
coverage 80 NHITS: 0.700
interval score 80 NHITS: 682.37
coverage 95 NHITS: 0.877
interval score 95 NHITS: 1250.94
| Modelo | MASE médio, ALL30 | MASE médio, SUBSET8 | MAE, ALL30 (kWh) |
|---|---|---|---|
| Naive sazonal | 1.18 | 1.16 | 148.26 |
| Modelo global (Capítulo 6) | 0.91 | 1.03 | 122.81 |
| Chronos-2, mediana | 0.81 | 0.87 | 100.13 |
| NHITS, mediana | 1.03 | 1.17 | 136.61 |
| Prophet, previsão pontual | 1.35 | 1.39 | 182.44 |
O Chronos-2 tem o menor MASE médio por cliente entre os cinco modelos nos dois conjuntos de clientes: 0.81 nos trinta clientes e 0.87 em SUBSET8. Ele supera o naive sazonal em 27 dos trinta clientes. O modelo global do Capítulo 6 fica em segundo lugar nos dois conjuntos. A ARIMA sazonal fixa do Capítulo 4, nos mesmos oito clientes, pontos de corte e escala, marca 1.09 em SUBSET8, entre o modelo global e o naive sazonal.
O NHITS fica em terceiro lugar nos trinta clientes e em quarto em SUBSET8, onde fica ligeiramente atrás do naive sazonal, 1.17 contra 1.16. O Prophet tem a maior média nos dois conjuntos.
A liderança do Chronos-2 precisa da sua ressalva. O corpus de pré-treinamento do Chronos-2 inclui este conjunto de dados (a seção sobre a gravação), então essas leituras podem ter feito parte do treinamento, e sua pontuação aqui é um limite superior do que se pode esperar em leituras que ele não viu. O NHITS não tem essa vantagem, pois cada um de seus pontos de corte foi treinado apenas com o contexto daquele próprio ponto de corte. O NHITS fica atrás do Chronos-2 nas mesmas horas, mas os dois não estão em condições iguais, e este capítulo não os classifica com base nesta comparação.
A mediana também serve de verificação da aritmética dos quantis. A perda pinball em 0.5 é metade do erro absoluto, então a perda da mediana deve ser metade do seu MAE. Para o Chronos-2, a perda em 0.5 é 50.07, contra o MAE de 100.13 kWh dividido por dois. Para o NHITS, a perda em 0.5 é 68.31, contra metade do seu MAE de 136.61 kWh.
A faixa de 95% do Chronos-2 cobre 0.944 das leituras, próximo do seu nível, e a sua faixa de 80% cobre 0.749, um pouco abaixo do nível de 0.80. A faixa de 95% do Chronos-2 é em parte interpolada, então sua pontuação vale para o modelo e o pacote em conjunto.
O escore de intervalo da faixa de 95% do Prophet é um pouco menor que o do Chronos-2, 932.66 contra 958.19, mas sua cobertura de 0.918 fica mais distante do seu nível.
As faixas do NHITS são estreitas demais para os seus níveis nestas horas: sua faixa de 80% cobre 0.700 das leituras, e sua faixa de 95% cobre 0.877.
O seu escore de intervalo de 95% é o maior das três faixas de 95%, e seus quantis são treinados diretamente, então nenhuma faixa é interpolada. A gravação, porém, não põe os seus quantis em ordem. A verificação conta 22 linhas com um par adjacente fora de ordem, por no máximo 21.11 kWh, e 0 faixas invertidas de 80% ou 95%. Os escores usam os valores como foram gravados.
Três limites se aplicam. São três pontos de corte em uma semana de um conjunto de dados, então os resultados não são uma afirmação geral sobre nenhum modelo. Nenhuma das faixas foi calibrada nas janelas de calibração que o Capítulo 8 usou, então a cobertura aqui é uma verificação, não uma calibração. A comparação não faz nenhuma escolha, porque as decisões neste livro são tomadas em janelas de decisão, e as gravações não têm previsões nessas janelas, então nada é escolhido com estes escores.
Regra prática: Pontue uma previsão gravada nas mesmas janelas, na mesma escala e nas mesmas leituras que todos os outros modelos, e nomeie qualquer quantil interpolado sempre que sua faixa for reportada. Antes de ler uma liderança, verifique em que o modelo foi treinado, porque um modelo que viu as leituras pontuadas não pode demonstrar habilidade nelas. Não escolha um modelo nem uma configuração com base nessas janelas. Uma previsão gravada sem previsões nas janelas de decisão não pode ser escolhida para produção até que as tenha.
Por que o modelo neural é registrado
Esta edição não executa nenhum modelo neural. Suas duas previsões neurais são registradas, e o motivo é o custo do ambiente de execução, não um juízo sobre modelos neurais.
NHITS é um previsor neural da biblioteca neuralforecast, que empacota previsores neurais para painéis de séries. A biblioteca tem licença Apache-2.0 (metadados do neuralforecast). Registramos o NHITS do mesmo modo como o Chronos-2 é registrado, com script próprio, versão fixada e manifesto, e o avaliamos ao lado do Chronos-2 nos mesmos contextos, pontos de corte, escala e métricas. O registro dele treina uma vez para cada ponto de corte, com os mesmos trinta contextos de 1,344 horas que o Chronos-2 recebeu. A janela de entrada tem 168 horas, uma semana, e o horizonte é de 24 horas. Os cinco níveis são treinados diretamente sob a perda MQLoss, com uma saída para cada nível. O escalonador é o escalonador padronizador (standard scaler) do neuralforecast, a semente é fixa e a execução é feita em CPU. O modelo de cada ponto de corte vê apenas o contexto desse ponto de corte, de modo que nenhuma leitura posterior ao corte chega a ele. Os pesos não são distribuídos.
O NHITS recebe a mesma verificação, contra os hashes do seu próprio manifesto.
1"""Checks the recorded NHITS outputs before any score reads them: each file's SHA-256 against manifest.json, the shape2of the forecast file, and any quantiles out of order, without running the model. The point that the recording is3intact rests on the hash mismatches line; the interpolated levels line shows that every level is trained directly, and4the rows with quantiles out of order line is the one the chapter reports."""5from lib.compare import check_recording6from lib.settings import show78for label, value in check_recording("nhits").items(): # "nhits" is the NHITS folder in examples/data/recorded/9 show(label, value)
python recorded-nhits-check.pyoutputs checked: 1
hash mismatches: 0
rows: 2160
clients: 30
windows: 3
interpolated levels: 0
rows with quantiles out of order: 22
largest quantile crossing, kWh: 21.11
inverted 80 or 95 ranges: 0
Os arquivos do NHITS coincidem com o manifesto, e nenhum dos seus níveis é interpolado, porque cada um é treinado diretamente.
Dois custos mantêm o NHITS fora dos exemplos. A biblioteca dele traz torch, ray e pytorch-lightning, que elevam o ambiente dos exemplos de 687 MB para 1.7 GB, e um treino em CPU leva mais tempo do que um exemplo deve levar no serviço de liberação, com 2 vCPU e 4 GiB de memória. Não há conflito de versões envolvido. O arquivo de requisitos do NHITS, recordings/requirements-nhits.txt, instala o neuralforecast com a mesma versão do pandas que os exemplos fixam (2.3.3).
O Chronos-2 tem pilha própria. Seu arquivo de requisitos, recordings/requirements.txt, instala chronos-forecasting com transformers e torch, e fixa o pandas 3 para o registro. O pacote não precisa do pandas 3. Seus metadados aceitam pandas a partir da versão 2.0 até, sem incluir, a 4 (código-fonte do chronos-forecasting, pyproject.toml). Os exemplos nunca importam nenhum dos dois pacotes. Eles leem as saídas salvas.
O NHITS pode rodar ao vivo em uma edição futura, desde que haja um ambiente de execução que caiba nos limites do serviço de liberação ou que tenha um ambiente próprio. Em qualquer caso, as janelas, a escala e a pontuação deste capítulo permanecem as mesmas, de modo que um modelo posterior seja avaliado ao lado dos outros nas mesmas horas.
Regra prática: Mantenha um modelo fora do ambiente de execução dos exemplos quando as dependências dele romperiam o orçamento de execução, e registre-o em vez disso, com suas versões fixadas em um arquivo de requisitos separado. Antes de adicionar uma dependência, instale-a em um ambiente limpo e meça o que ela acrescenta em tamanho e em pacotes. Uma resolução que mova um pacote fixado é motivo para registrar o modelo, não para alterar a fixação.
O que dá errado em produção
A tabela de feriados do Prophet cobre apenas 2013 e 2014. As execuções do livro deixam a tabela desligada, porque as janelas de decisão sobre feriados não davam motivo para ligá-la, mas os cortes padrão mostram que ela altera o resultado. Uma previsão feita em 2015 com a tabela inalterada não recebe efeito de feriado nos feriados posteriores, e a execução não relata nenhum problema. Uma equipe que ligue a tabela deve estendê-la aos anos da previsão. Os feriados são conhecidos com antecedência, então a correção é estender a tabela. Conte também as horas de feriado em cada janela. Uma janela que contenha um feriado deve mostrar uma contagem acima de zero, e uma contagem zero onde cai um feriado é o sinal a procurar.
A largura do intervalo falha de outra forma: um intervalo do Prophet deixado no padrão de 80% é lido como uma faixa de 95% por um leitor que vê apenas a palavra "interval" em um relatório. A linha de cobertura é a verificação. Impressa ao lado do seu nível, uma cobertura próxima de 0.8 está correta para um intervalo de 80% e é uma falha para um de 95%. Imprima o nível junto com a cobertura sempre.
Uma previsão gravada fica desatualizada de outra forma. A gravação cobre três cortes. Uma previsão de um dia à frente em produção precisa de um corte a cada dia, e o serviço de liberação não executa o modelo. Cobrir outro corte significa executar o modelo, salvar sua saída e calcular o hash dela, trabalho que está fora dos exemplos. O sinal de que a gravação está desatualizada é uma janela sem linhas no arquivo, que a contagem de janelas da verificação mostra.
Uma revisão posterior do modelo altera todos os números que dependem da gravação, mesmo quando o código não muda. Trate a revisão como um gatilho de atualização. Registre-a, avalie-a nas mesmas janelas da versão antiga e compare as duas antes que a gravação substituta seja usada. Um pacote que muda sua interpolação entre versões altera o intervalo de 95% sem tocar na mediana, então a lista de níveis interpolados no manifesto também deve ser comparada.
Uma previsão gravada também pode quebrar a ordem dos seus próprios quantis. A gravação do NHITS faz isso em 22 das suas 2160 linhas, por no máximo 21.11 kWh. Um intervalo construído a partir de um par cruzado seria lido como invertido. A verificação conta os cruzamentos, e um consumidor deve ordenar ou rejeitar essas linhas antes de usá-las.
A suposição de tendência do Prophet falha quando a demanda de um cliente passa para outro nível, como acontece após uma mudança de contrato ou a perda de uma carga grande. O Prophet espera que a tendência mude com a mesma frequência que mudou no histórico, e seu intervalo padrão não leva em conta a incerteza do padrão sazonal. O sinal são resíduos que mantêm um mesmo sinal em janelas sucessivas, e uma linha de cobertura que cai ao longo delas. A correção é um novo ajuste sobre um histórico mais curto para esse cliente, não um intervalo mais largo.
Regra prática: Antes que qualquer previsão do Prophet ou previsão gravada seja relatada, verifique que a tabela de feriados cobre os anos da previsão quando a tabela estiver ligada, que o nível do intervalo está impresso ao lado da sua cobertura, que a gravação tem uma janela para cada corte em uso, que seus quantis estão em ordem e que a revisão do modelo corresponde à que foi avaliada. Uma verificação que falha interrompe o relatório, e o relatório informa qual verificação falhou.
Decisões deste capítulo
- O Prophet roda em todos os trinta clientes, não apenas em
SUBSET8. Rodar os trinta põe o Prophet ao lado do modelo global nos mesmos clientes. As médias deSUBSET8são impressas a partir da mesma execução. - O intervalo do Prophet é de 95%, definido no código e impresso. Sua cobertura e seu interval score ficam então ao lado dos intervalos de 95% das gravações. O padrão de 80% não é usado.
- As flags de sazonalidade do Prophet são fixadas no código. A sazonalidade diária e a semanal estão ativadas, e a anual, desativada. Essas são as escolhas que o Prophet faz para oito semanas de dados horários, definidas explicitamente.
- A tabela de feriados está desativada. Nas janelas de decisão com feriados, a tabela elevou o MASE médio, por isso o modelo mais simples foi mantido. Nos cortes padrão, a tabela teria reduzido o MASE médio do Prophet, e reportamos esse número sem usá-lo para escolher.
- Chronos-2 e NHITS são registrados, não executados. Os exemplos leem as saídas salvas, verificam seus hashes e nunca chamam um modelo, porque os exemplos precisam rodar offline e produzir a mesma saída sempre.
- O NHITS é registrado por seu custo de tempo de execução. Suas dependências levariam o tempo de execução dos exemplos de 687 MB para 1.7 GB, acima dos 2 vCPU e 4 GiB do serviço de publicação, e um treinamento em CPU leva mais tempo do que um exemplo deveria levar.
- O intervalo de 95% do Chronos-2 é avaliado com seus dois quantis interpolados, e o capítulo diz isso. Os quantis do NHITS são treinados diretamente, por isso nenhum de seus intervalos é interpolado.
- A vantagem do Chronos-2 é lida como um limite superior. Seu corpus de pré-treinamento inclui este conjunto de dados, portanto sua pontuação aqui não é fora da amostra.
- As escolhas vêm apenas das janelas de decisão. As gravações não têm previsões nessas janelas, por isso este capítulo não faz nenhuma escolha com elas.
Este capítulo, nesta edição
Edição 2026.11.11Exemplos aprovados em 20 de nov de 20266 de 6 exemplos exemplos deste capítulo passam
Traduzido do livro em inglês, edição 2026.11.11.