Quantifique a incerteza da previsão
Cerca de 31 minutos min de leitura, com 4 exemplos em 7 seções.
Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros
Traduzido do livro em inglês, edição 2026.11.11. Leia o original
Este capítulo estabelece uma faixa em torno de cada previsão de um dia à frente, para que você possa dizer se uma compra pode se apoiar nela. Você calibrará intervalos de predição em dias que vêm antes dos dias que pontua, medirá com que frequência eles se confirmam, ou seja, cobrem o valor observado e escolherá o nível pelo qual comprar a partir dos dois custos de um erro.
Por que um único número não basta
As previsões até aqui dão um único número para cada cliente e cada hora, e um único número não basta para decidir a compra. O fornecedor não pode comprar um valor esperado. Ele compra, um dia antes, uma quantidade de energia para cada hora, então precisa de uma faixa em torno de cada previsão. Cada kWh que ele compra é usado ou não é usado. Comprar a menos significa comprar o restante depois, com um custo adicional, e comprar a mais significa pagar por energia que ninguém usa. Os dois erros custam valores diferentes, então a compra certa geralmente não é a própria previsão. Tome uma hora. Suponha que a previsão seja de 100 kWh. Se a leitura se revelar 10 kWh maior, o fornecedor fica com falta e paga o custo de falta sobre esses 10 kWh. Se ela se revelar 10 kWh menor, o fornecedor tem 10 kWh que paga e não usa. Quando o custo de falta é três vezes o custo de sobra, uma compra acima da previsão custa menos em média, porque torna o erro caro menos provável. Quanto acima da previsão a compra deve ficar depende dessa razão e da largura dos erros.
Este capítulo apresenta dois custos como premissas. Um kWh comprado a menos custa 3.00 unidades de custo, e um kWh comprado e não usado custa 1.00. Esses números são ilustrativos. Não são preços, e o livro não afirma que algum fornecedor real enfrente esses valores. Uma seção posterior mostra como eles definem a compra.
Um intervalo de previsão dá um limite inferior e um limite superior para cada hora. O nível de um intervalo de previsão, como 80 ou 95, é a parcela de leituras que os limites devem conter. A parcela de leituras que os limites contêm é a cobertura, e a cobertura se refere a muitas previsões feitas do mesmo modo, não a uma única. A faixa de um dia contém as leituras ou não contém. Ao longo das 72 horas de três dias, a parcela dentro da faixa é uma medição. Ao longo de um ano de dias, ela se torna um histórico. Uma faixa de 95 por cento cujas horas caem dentro dela 90 por cento das vezes ficou subcoberta, mas nenhum dia isolado mostra isso. Só a média sobre muitas horas mostra, e essa média é o que medimos.
Os quantis ligam as faixas aos custos. O limite inferior de um intervalo central de 80 por cento é o quantil 0.1 da distribuição da previsão, o valor abaixo do qual a leitura cai uma vez em dez. O limite superior é o quantil 0.9. A compra que minimiza o custo esperado também é um quantil, e Escolha o nível a partir do custo do erro deriva qual deles.
No caso, a faixa que importa é a do total, porque o total é o que o fornecedor compra. O Capítulo 6 previu os trinta clientes com um único modelo global, e o total é a soma horária dessas previsões. Cada cliente tem sua própria faixa, mas a faixa do total não pode ser obtida somando as faixas dos clientes. Escolha o nível a partir do custo do erro compara os dois.
Regra prática: Peça uma faixa sempre que os custos dos dois erros forem diferentes, e escolha seu nível a partir desses custos, e não a partir de um número que apenas pareça tranquilizador. Informe a cobertura como a parcela de horas dentro da faixa ao longo de muitas janelas, nunca como a chance de que um dia isolado caia dentro dela.
Construir intervalos a partir dos resíduos
Uma faixa precisa de limites, e os limites mais simples vêm de erros passados. Um resíduo é o erro de uma previsão anterior: a leitura menos a previsão, e = y - f. A previsão conformal constrói uma faixa a partir dos resíduos de previsões feitas da mesma forma em dias anteriores. Tome os resíduos de um conjunto de janelas de calibração, agrupe-os por passo de horizonte e leia os quantis de que você precisa. Uma previsão para o dia seguinte, feita às 00:00, tem um passo de horizonte para cada hora do dia, de modo que o grupo é apenas a hora. Para um nível L em percentual, os limites de uma previsão f feita em um determinado passo são:
lower = f + Q((1 - L/100) / 2)
upper = f + Q((1 + L/100) / 2)
em que Q(p) é o quantil empírico p dos resíduos de calibração nesse passo. O método não assume nenhum modelo para os erros. Ele assume apenas que os resíduos de calibração se parecem com os resíduos futuros, o que uma seção posterior testa. Uma janela de calibração é um corte cujos resíduos dimensionam as faixas. Ela sempre vem antes dos cortes que estão sendo previstos, e nunca é uma das janelas avaliadas.
A biblioteca que faz isso para o modelo do livro é o mlforecast, na versão 1.1.0. Sua classe PredictionIntervals recebe um número de janelas, um horizonte e um método, e possui quatro métodos conformais: conformal_error, conformal_distribution e suas versões ponderadas. Os dois métodos não ponderados avaliam os resíduos absolutos, |y - f|, de modo que seus limites são simétricos em torno da previsão (mlforecast 1.1.0, mlforecast/conformal_prediction.py, função compute_conformity_scores). O padrão, conformal_distribution, trabalha um cliente e um passo de horizonte por vez. Para cada cliente e passo, ele toma os resíduos absolutos das janelas de calibração, forma as trajetórias da previsão somada e subtraída de cada um deles, e lê os quantis dessas trajetórias. Nada é agrupado entre clientes. A biblioteca estatística, statsforecast na versão 2.1.1, dá à sua classe de intervalos o nome ConformalIntervals, e não PredictionIntervals.
Para ver o que a biblioteca faz com um histórico de calibração curto, execute sua classe com três janelas de calibração. Ela avalia os três cortes padrão, de 29 a 31 de dezembro de 2014, cada um às 00:00. Esses são os últimos três dias da semana reservada, e os dias que este capítulo avalia. O mlforecast reajusta o modelo global em cada corte e calibra cada um deles com base nos três anteriores.
1"""mlforecast's own conformal intervals, with three calibration windows, refitted at each of the three standard cutoffs.2Compare the coverage at 80 and 95 with their labels, and with the highest coverage three windows allow."""3import pandas as pd45from lib.electricity import load6from lib.intervals import builtin_intervals, design_coverage, symmetric_ceiling7from lib.panel import ALL308from lib.quirks import mask_clock_changes9from lib.settings import EVAL_CUTOFFS, show1011raw = load(ALL30)12# Every clock-change hour (four changes, 2013 and 2014) is masked as NaN. builtin_intervals keeps only rows from Oct 27, 2014 on, so no masked hour is in a window.13df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]14# One row per client and hour. The bounds are columns named by model and level, such as LGBMRegressor-lo-80.15cv = builtin_intervals(df, pd.to_datetime(EVAL_CUTOFFS))1617show("scored hours", len(cv))18show("calibration windows per cutoff", 3)19show("residuals per client and hour", 3)20# Ceiling of a band of plus and minus n absolute residuals, n / (n + 1), with n = 3: at most 3 of the 4 places a new one can take.21show("highest coverage three windows allow, any level", symmetric_ceiling(3), 3)22for level in (80, 95):23 # Simulated under exchangeable normal errors, with mlforecast's construction, to set against the measured coverage.24 show(f"simulated coverage at {level}, exchangeable errors", design_coverage(level, 3, "builtin"), 3)25for level in (80, 95):26 lo, hi = cv[f"LGBMRegressor-lo-{level}"], cv[f"LGBMRegressor-hi-{level}"]27 inside = (cv["y"] >= lo) & (cv["y"] <= hi)28 show(f"coverage at {level}", inside.mean(), 3)29 show(f"mean width at {level}", (hi - lo).mean())30 if level == 80:31 # The by-day lines are printed for the 80 level only. Each hour is grouped by its calendar day.32 day = cv["ds"].dt.floor("D")33 for d, share in inside.groupby(day).mean().items():34 show(f"coverage at 80 on {d:%Y-%m-%d}", share, 3)35 for d, err in (cv["y"] - cv["LGBMRegressor"]).abs().groupby(day).mean().items():36 show(f"mean absolute error on {d:%Y-%m-%d}", err)
python conformal-three-windows.pyscored hours: 2160
calibration windows per cutoff: 3
residuals per client and hour: 3
highest coverage three windows allow, any level: 0.750
simulated coverage at 80, exchangeable errors: 0.656
simulated coverage at 95, exchangeable errors: 0.732
coverage at 80: 0.690
mean width at 80: 281.07
coverage at 80 on 2014-12-29: 0.756
coverage at 80 on 2014-12-30: 0.676
coverage at 80 on 2014-12-31: 0.637
mean absolute error on 2014-12-29: 114.62
mean absolute error on 2014-12-30: 94.42
mean absolute error on 2014-12-31: 163.37
coverage at 95: 0.750
mean width at 95: 355.39
A saída mostra a falha antes de qualquer correção: em todas as 2160 horas-cliente, as faixas no nível 80 cobrem 0.690 e no nível 95 cobrem 0.750. Ambas ficam abaixo de seus rótulos, e as faixas de 80 têm em média 281.07 kWh de largura.
O desenho impõe um teto, e o resultado de 95 está nesse teto. Com três janelas, cada cliente e hora têm três resíduos absolutos, e a faixa não alcança além do maior deles. Para erros intercambiáveis, o erro de teste é o maior de quatro erros absolutos uma vez em quatro, então a faixa o deixa de fora com essa frequência. A cobertura mais alta que três janelas permitem é 0.750, em qualquer nível. Sob a mesma suposição de intercambiabilidade, a cobertura esperada da faixa é 0.656 no nível 80 e 0.732 no nível 95. A simulação sorteia erros normais, com a mesma construção. Os valores medidos ficam um pouco acima desses valores esperados, portanto as janelas de calibração não tiveram erros menores do que os dias avaliados. Janelas de calibração calmas empurrariam a cobertura para abaixo do valor esperado, e não para acima. A cobertura abaixo do rótulo vem da construção.
A cobertura por dia mostra onde está a insuficiência. No nível 80 ela é 0.756 em 29 de dezembro, 0.676 em 30 de dezembro e 0.637 em 31 de dezembro. Os erros de previsão nesses dias foram, em média, 114.62, 94.42 e 163.37 kWh. Em 31 de dezembro estão os maiores erros e a menor cobertura, e três dias não bastam para separar a variação de um dia para o outro do efeito do desenho.
Um segundo problema vem da calibração. Cada corte calibra apenas com dias anteriores a ele: as faixas de 31 de dezembro usam 28, 29 e 30 de dezembro. Mas 29 e 30 de dezembro também são dias avaliados. Assim, as três janelas avaliadas não são independentes, pois a calibração de uma janela contém as leituras de outra janela avaliada. Nenhuma faixa usa as leituras do próprio dia, e a regra está correta para a operação, em que essas leituras são conhecidas. Para um teste, ela enfraquece o resultado. Corrigi-lo exigiria um ajuste de calibração separado para cada corte, o que vai além de uma mudança de um argumento; por isso, as faixas do próprio capítulo usam um conjunto de calibração fixo, como mostra Calibrar em janelas anteriores.
Regra prática: Construa cada faixa a partir dos resíduos das janelas que vêm antes do seu corte, e verifique a cobertura que ela alcança em janelas que não usou antes de confiar nela. Leia o nível que um desenho pode alcançar antes de ler a cobertura. Três resíduos por cliente e hora não alcançam nenhum dos rótulos, então a correção é um conjunto de calibração maior, e não uma leitura diferente da saída.
Calibrar em janelas anteriores
As janelas de calibração devem vir antes das janelas que você pontua, e não podem compartilhar uma hora-alvo com elas. O livro acrescenta mais uma regra: uma janela de calibração não pode cair em feriado público português, porque a carga de um feriado segue o calendário e não a semana anterior. A regra vale também para as janelas de decisão. A avaliação fora da amostra calibra em doze dias comuns, de 9 a 20 de dezembro de 2014, que terminam quatro dias antes da semana fora da amostra. Os dois exemplos desta seção mostram as horas de feriado e as horas compartilhadas em sua calibração, e as duas contagens são zero.
Doze janelas com trinta clientes produzem 360 resíduos para cada hora do dia. Eles vêm de doze dias, porém os trinta clientes compartilham o clima e o calendário de cada dia. Assim, um erro em nível de dia ainda é uma amostra de doze. Os resíduos agrupados têm um segundo problema. Os clientes diferem enormemente em tamanho. Na semana pontuada, o maior cliente, MT_370, tem média de 17499.81 kWh por hora nos três dias pontuados. Resíduos agrupados em kWh são dominados por esses clientes, de modo que as faixas se ajustam aos clientes grandes e se ajustam mal aos pequenos. A correção é dividir os resíduos de cada cliente pela escala desse cliente antes de agrupá-los, e multiplicar o limite de volta pela escala do cliente que está sendo previsto. A escala é o erro do naïve sazonal no histórico anterior ao primeiro corte de calibração, o mesmo tipo de escala que o livro usa para o MASE. Com a escala, os trinta clientes passam a contar igualmente.
Duas escolhas neste desenho foram feitas nas janelas de decisão, e não na avaliação fora da amostra. As janelas de decisão são os quatro cortes de 25 de novembro a 3 de dezembro de 2014. A calibração delas vai de 9 a 20 de novembro de 2014, doze dias sem feriados que terminam quatro dias antes do primeiro corte de decisão, com a mesma forma do desenho fora da amostra. As janelas são pontuadas por si mesmas, e a avaliação fora da amostra não é lida. As escolhas são julgadas pelo escore de intervalo e pela cobertura do cliente com pior cobertura. O escore de intervalo soma a largura de uma faixa a uma penalidade para cada leitura que cai fora dela, penalidade que cresce com a distância do erro e é escalada por 2 sobre a taxa de erro (Gneiting and Raftery (2007), eq. 43). Essas janelas decidem as duas escolhas, como mostram as medições abaixo.
1"""The two calibration choices, scaling each client's residuals and the finite-sample levels, decided on the four decision2windows (Nov 25 to Dec 3, 2014), with calibration on Nov 9 to 20. Compare the lowest client's coverage and the interval scores printed for each variant;3the standard cutoffs are not read."""4from lib.baselines import seasonal_scale5from lib.electricity import load6from lib.intervals import DECISION_CAL, bounds, calibration_facts, coverage, interval_score, paired, total_of7from lib.panel import ALL30, DECISION_CUTOFFS8from lib.quirks import mask_clock_changes9from lib.scoring import book_scale10from lib.settings import show1112raw = load(ALL30)13# Every clock-change hour (four changes, 2013 and 2014) is masked as NaN, as in every example of this chapter.14df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]15# One row per client and hour, with the forecast f, the reading y and the residual e.16cal, sc = paired(df, DECISION_CAL), paired(df, DECISION_CUTOFFS)17# Each client's MASE-style scale, from the history before the first calibration cutoff.18scale = seasonal_scale(book_scale(raw, DECISION_CAL[0]))1920for label, value in calibration_facts(df, DECISION_CUTOFFS, DECISION_CAL).items():21 show(label, value)22show("residuals per hour of the day", len(cal) // 24)23variants = (("unscaled", None, False), ("scaled", scale, False),24 ("unscaled, finite", None, True), ("scaled, finite", scale, True))25for name, s, fin in variants:26 for level in (80, 95):27 # scale=None pools the raw kWh residuals; finite=True applies the (n + 1) quantile correction.28 lo, hi = bounds(sc, cal, level, scale=s, finite=fin)29 show(f"{name}, coverage at {level}", coverage(sc["y"], lo, hi), 3)30 show(f"{name}, interval score at {level}", interval_score(sc["y"], lo, hi, level))31 lo, hi = bounds(sc, cal, 80, scale=s, finite=fin)32 # Coverage per client, then the lowest of the thirty clients.33 show(f"{name}, lowest client coverage at 80", ((sc["y"] >= lo) & (sc["y"] <= hi)).groupby(sc["unique_id"]).mean().min(), 3)34# One series, so no scale: the scale exists only to pool clients of different size.35tcal, tsc = total_of(cal), total_of(sc)36for name, fin in (("total", False), ("total, finite", True)):37 lo, hi = bounds(tsc, tcal, 80, finite=fin)38 show(f"{name}, coverage at 80", coverage(tsc["y"], lo, hi), 3)39 show(f"{name}, interval score at 80", interval_score(tsc["y"], lo, hi, 80))
python conformal-decision-windows.pycalibration windows: 12
holiday hours in calibration: 0
calibration hours shared with scored: 0
residuals per hour of the day: 360
unscaled, coverage at 80: 0.809
unscaled, interval score at 80: 603.88
unscaled, coverage at 95: 0.957
unscaled, interval score at 95: 1950.32
unscaled, lowest client coverage at 80: 0.021
scaled, coverage at 80: 0.834
scaled, interval score at 80: 336.72
scaled, coverage at 95: 0.954
scaled, interval score at 95: 581.28
scaled, lowest client coverage at 80: 0.365
unscaled, finite, coverage at 80: 0.811
unscaled, finite, interval score at 80: 604.19
unscaled, finite, coverage at 95: 0.959
unscaled, finite, interval score at 95: 1961.48
unscaled, finite, lowest client coverage at 80: 0.021
scaled, finite, coverage at 80: 0.835
scaled, finite, interval score at 80: 337.31
scaled, finite, coverage at 95: 0.956
scaled, finite, interval score at 95: 592.35
scaled, finite, lowest client coverage at 80: 0.375
total, coverage at 80: 0.948
total, interval score at 80: 9268.36
total, finite, coverage at 80: 0.990
total, finite, interval score at 80: 10724.99
A escala vence nas duas medidas pelas quais as variantes foram julgadas, e perde apenas na cobertura agregada em 80. A cobertura em 80 do cliente pior coberto sobe de 0.021 para 0.365, e o escore de intervalo em 80 cai de 603.88 para 336.72. Ele também cai em 95, como mostra a saída.
Julgamos as variantes por essas duas medidas porque o número agregado esconde clientes. Escolhemos essas medidas depois de ver os números de decisão, por isso o número agregado é reportado ao lado delas. Em 80, a cobertura agregada fica mais próxima de seu rótulo sem a escala, com 0.809 contra 0.834. A escala permanece.
Os níveis de amostra finita ficam de fora das faixas. Cada novo resíduo é mais um entre n + 1, de modo que os níveis de amostra finita se deslocam um pouco para fora: cada nível de quantil passa a floor((n + 1) * a) / n para o limite inferior e ceil((n + 1) * (1 - a)) / n para o superior, onde n é o número de resíduos e a a fração de cada cauda. Seu efeito sobre a cobertura escalada em 80 é pequeno, de 0.834 para 0.835, e o escore de intervalo em 80 piora, de 336.72 para 337.31. Ele piora também em 95, como mostra a saída. A correção alarga as faixas e não ajuda, por isso as faixas não a usam.
A avaliação fora da amostra aplica o mesmo desenho aos cortes padrão, que são os dias que o restante do capítulo pontua.
1"""Conformal bands for every client, calibrated on twelve holiday-free days before the scored week, with each client's2residuals scaled first. Read the coverage and interval score at 80 and 95 first; the unscaled, three-day and3finite-sample lines are printed for comparison."""4import pandas as pd56from lib.baselines import seasonal_scale7from lib.electricity import load8from lib.intervals import CAL_CUTOFFS, bounds, calibration_facts, coverage, interval_score, paired9from lib.panel import ALL3010from lib.quirks import mask_clock_changes11from lib.scoring import book_scale12from lib.settings import EVAL_CUTOFFS, show1314raw = load(ALL30)15df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]16scored_cutoffs = pd.to_datetime(EVAL_CUTOFFS)17cal, sc = paired(df, CAL_CUTOFFS), paired(df, scored_cutoffs)18# The scale is read from the history before the first calibration cutoff, as the book's MASE scale is.19scale = seasonal_scale(book_scale(raw, CAL_CUTOFFS[0]))20# The largest client is the one with the highest mean reading over the scored windows.21big = sc.groupby("unique_id")["y"].mean().idxmax()2223for label, value in calibration_facts(df, scored_cutoffs).items():24 show(label, value)25show("calibration residuals per hour of the day", len(cal) // 24)26show("largest client", big)27show("mean hourly load of the largest client", sc.groupby("unique_id")["y"].mean().max())28for level in (80, 95):29 lo, hi = bounds(sc, cal, level, scale=scale)30 show(f"coverage at {level}", coverage(sc["y"], lo, hi), 3)31 show(f"mean width at {level}", (hi - lo).mean())32 show(f"interval score at {level}", interval_score(sc["y"], lo, hi, level))33lo, hi = bounds(sc, cal, 80, scale=scale)34per_client = ((sc["y"] >= lo) & (sc["y"] <= hi)).groupby(sc["unique_id"]).mean()35show("lowest client coverage at 80", per_client.min(), 3)36# No scale here: the pooled residuals stay in kWh, which is what lets the large clients set the bands.37lo, hi = bounds(sc, cal, 80)38unscaled = ((sc["y"] >= lo) & (sc["y"] <= hi)).groupby(sc["unique_id"]).mean()39show("largest client coverage at 80, unscaled residuals", unscaled[big], 3)40# The three calibration days nearest the scored week: Dec 18, 19 and 20, 2014.41recent = cal[cal["cutoff"] >= "2014-12-18"]42lo, hi = bounds(sc, recent, 80, scale=scale)43show("coverage at 80 from three calibration days", coverage(sc["y"], lo, hi), 3)44lo, hi = bounds(sc, cal, 80, scale=scale, finite=True)45show("coverage at 80 with finite-sample levels", coverage(sc["y"], lo, hi), 3)
python conformal-earlier-windows.pycalibration windows: 12
holiday hours in calibration: 0
calibration hours shared with scored: 0
calibration residuals per hour of the day: 360
largest client: MT_370
mean hourly load of the largest client: 17499.81
coverage at 80: 0.739
mean width at 80: 267.62
interval score at 80: 673.89
coverage at 95: 0.902
mean width at 95: 532.00
interval score at 95: 1326.80
lowest client coverage at 80: 0.472
largest client coverage at 80, unscaled residuals: 0.000
coverage at 80 from three calibration days: 0.711
coverage at 80 with finite-sample levels: 0.741
As faixas escaladas ainda ficam abaixo dos dois rótulos nos cortes padrão: cobrem 0.739 das horas-cliente em 80 e 0.902 em 95. Suas larguras médias são 267.62 kWh e 532.00 kWh.
Os escores são 673.89 em 80 e 1326.80 em 95. Eles estão em kWh, de modo que os clientes grandes dominam. Menor é melhor, e o escore recompensa uma faixa que seja ao mesmo tempo estreita e correta.
As faixas agregadas ainda precisam ser lidas cliente a cliente. A cobertura em 80 do cliente com pior cobertura é 0.472, do cliente ao qual as faixas escaladas se ajustam pior. Com resíduos não escalados, o maior cliente tem 0.000 de suas horas cobertas em 80. As faixas agregadas em kWh foram definidas pelos clientes grandes, e elas não cobrem quase nada do maior cliente.
Duas verificações adicionais nos cortes padrão testam o desenho. Calibrando apenas nos três dias mais próximos da semana pontuada, de 18 a 20 de dezembro, obtém-se 0.711 em 80, contra 0.739 com os doze dias. Três dias são uma amostra menor, e a cobertura fica um pouco mais baixa. Os níveis de amostra finita dão 0.741 em 80, uma pequena mudança que concorda com as janelas de decisão: a correção pouco ajuda nas faixas por cliente.
Regra prática: Calibre em janelas que vêm antes das pontuadas, sem feriado nelas, e escale cada cliente antes de agrupar seus resíduos. Tome cada escolha de desenho em janelas que não sejam as que você reporta. Informe quantas janelas e quantos resíduos entraram nas faixas e a cobertura que elas deram nos dias pontuados, mesmo quando essa cobertura fica abaixo do nível.
Meça a cobertura em dias não usados
A cobertura é medida em dias que a calibração nunca usou. Os cortes padrão dão três dias, e cada dia dá 24 horas para cada cliente, de modo que as 2160 horas-cliente avaliadas não equivalem a tantas observações independentes. Os trinta clientes compartilham o calendário e o clima, por isso as horas de um mesmo dia concordam entre si. Para erros no nível do dia, a amostra é de três dias, o que não permite medir um nível de cobertura. Três dias podem mostrar que uma faixa ficou aquém nesses dias, mas não dizem o quanto uma faixa fica aquém em um período mais longo.
O fornecedor compra o total, por isso a cobertura do total é a que mais importa. As faixas dele são construídas com os próprios resíduos nos mesmos doze dias, com os quantis lidos diretamente, e são oferecidas apenas em 80, porque doze resíduos não sustentam 95. Com limites com sinal, a faixa que vai do menor ao maior resíduo cobre no máximo 0.846 das vezes, se os resíduos forem trocáveis, e uma faixa de 95 ou de 90 exige mais.
As faixas do total cobrem 0.667 de suas 72 horas avaliadas em 80. Para erros trocáveis, a mesma construção cobre 0.682, de modo que a maior parte da diferença em relação a 80 vem da amostra de doze resíduos. A seção sobre custo mostra como essas faixas são aplicadas.
O erro do total varia de um dia para outro. O erro absoluto médio do total foi de 2415.51 kWh nas janelas de calibração e de 2985.88 kWh nos dias avaliados. O dia 31 de dezembro responde pela maior parte da diferença entre os dias avaliados e as janelas de calibração.
| Dia avaliado | Erro do total, kWh | Cobertura em 80 |
|---|---|---|
| 29 de dezembro de 2014 | 2448.53 | 0.625 |
| 30 de dezembro de 2014 | 2149.78 | 0.708 |
| 31 de dezembro de 2014 | 4359.32 | 0.667 |
A cobertura não acompanha os erros. O dia 29 tem a menor cobertura com um erro intermediário, e o dia 31 tem o maior erro com uma cobertura intermediária. Cada dia tem 24 horas, e três dias são poucos para distinguir os dois casos.
Os níveis de amostra finita mudariam a cifra do total. Nos dias avaliados, eles dão 0.736 em 80. A escolha foi feita nas janelas de decisão, onde a correção alargou as faixas do total e piorou o seu escore de intervalo; por isso, as faixas não a usam. As janelas de decisão também mostram que a direção da diferença não é fixa. Ali, as faixas de 80 do total cobriram 0.948 das horas, acima do que seu rótulo indica, e os níveis finitos elevaram esse valor para 0.990.
Angelopoulos e Bates (2022) mostram que a predição conformal dividida cobre o ponto de teste com probabilidade de pelo menos 1 - alpha quando os pontos de calibração e de teste são independentes e identicamente distribuídos, ou, de modo mais geral, trocáveis. Eles também observam que pontos vizinhos em uma série temporal não são trocáveis, usando uma série de temperatura como exemplo. O mesmo vale para a carga horária: cada hora carrega a anterior, e as horas de um dia compartilham o clima e o calendário. Barber e coautores (2023) chamam de lacuna de cobertura a perda de cobertura quando a trocabilidade falha. O limite deles não supõe uma distribuição conjunta particular. Ele é pequeno quando os pontos de calibração recentes recebem peso de forma compatível com a distribuição do ponto de teste, como em uma deriva lenta. Esse resultado é teórico, e este capítulo não o testa. Um pré-print de 2026, um levantamento de métodos conformais para séries dependentes, afirma que a dependência temporal viola a suposição de trocabilidade. Ele não passou por revisão por pares, e o citamos apenas por esse ponto.
Portanto, o livro não promete nada sobre cobertura que não meça. A cobertura deste capítulo é o que três dias mostraram, sob a calibração descrita em Calibrar em janelas anteriores.
Regra prática: Relate a cobertura em janelas que a calibração nunca usou, com o número de janelas e a cobertura de cada uma. Mantenha a mesma medida em um registro contínuo quando a previsão rodar todos os dias, como faz o Capítulo 10. Leia três dias avaliados como um alerta, não como uma medida do nível que lhe foi prometido.
Escolha o nível a partir do custo do erro
O fornecedor compra uma quantidade para cada hora, e os custos dos dois erros definem essa quantidade. Seja cu o custo de um kWh comprado a menos e co o custo de um kWh comprado e não usado. Seja F a distribuição da demanda. Derivando o custo esperado em relação à compra q obtemos co F(q) - cu (1 - F(q)), que é zero onde F(q) = cu / (cu + co), o menor custo esperado. O nível cu / (cu + co) é o fractil crítico do modelo do jornaleiro. As notas do HKUST IEEM 101 sobre o modelo do jornaleiro apresentam a mesma demonstração, escrevendo o custo do excesso como c0. Este capítulo o escreve como co. A compra é, portanto, o quantil no nível tau = cu / (cu + co).
Com os custos ilustrativos de Por que um único número não basta, tau é 0.75. A regra manda comprar o quantil da demanda nesse nível, para cada hora. O quantil no nível tau é a compra que minimiza a perda de quantil nesse nível, como mostram Gneiting e Raftery (2007). A perda de quantil é tau * (y - q) quando a leitura y é igual ou superior à compra q, e (1 - tau) * (q - y) quando está abaixo. A perda de quantil não é um custo em kWh nem em dinheiro. É a regra que o quantil minimiza, e tem a mesma forma do custo do fornecedor. Multiplicá-la por cu + co dá o custo exato, que o exemplo imprime ao lado do custo médio.
Comprar no fractil crítico custa menos do que comprar na mediana ou em um nível mais alto, nos dias que as faixas nunca viram? Abaixo, a compra é definida para cada hora a partir desses custos, e os dias avaliados respondem à pergunta. O nível 0.95 não é oferecido, como explica Meça a cobertura em dias de validação.
1"""The buy level for the total, set from the two costs: the critical fractile, cu / (cu + co), is the quantile that minimises2the expected cost. Compare the mean cost and the hours short at each level; the costs are illustrative, not prices."""3import pandas as pd45from lib.electricity import load6from lib.intervals import CAL_CUTOFFS, COST_EXCESS, COST_SHORT, buy_report, critical_fractile, paired7from lib.panel import ALL308from lib.quirks import mask_clock_changes9from lib.settings import EVAL_CUTOFFS, show1011raw = load(ALL30)12# Every clock-change hour (four changes, 2013 and 2014) is masked as NaN, as in every example of this chapter.13df = mask_clock_changes(raw)[["unique_id", "ds", "y"]]14# Calibration on Dec 9 to 20, 2014; scored on the three standard cutoffs.15pairs_cal, pairs_sc = paired(df, CAL_CUTOFFS), paired(df, pd.to_datetime(EVAL_CUTOFFS))1617show("cost of a kWh short", COST_SHORT)18show("cost of a kWh unused", COST_EXCESS)19# The quantile level cu / (cu + co), from the two costs printed above.20show("critical fractile", critical_fractile())21# buy_report returns the printed rows as (label, value, decimal places).22for label, value, digits in buy_report(pairs_cal, pairs_sc):23 show(label, value, digits)
python buy-ahead-level-by-cost.pycost of a kWh short: 3.00
cost of a kWh unused: 1.00
critical fractile: 0.75
scored hours: 72
residuals per hour for the total: 12
highest coverage the total's residuals allow: 0.846
simulated coverage at 80, exchangeable errors: 0.682
mean absolute error of the total, calibration days: 2415.51
mean absolute error of the total, scored days: 2985.88
total coverage at 80: 0.667
total coverage at 80 with finite-sample levels, not used: 0.736
total coverage at 80 on 2014-12-29: 0.625
total coverage at 80 on 2014-12-30: 0.708
total coverage at 80 on 2014-12-31: 0.667
total mean absolute error on 2014-12-29: 2448.53
total mean absolute error on 2014-12-30: 2149.78
total mean absolute error on 2014-12-31: 4359.32
mean cost at 0.50: 5087.95
hours short at 0.50: 0.528
mean cost at 0.75: 3843.61
hours short at 0.75: 0.403
mean cost at 0.90: 3667.43
hours short at 0.90: 0.222
quantile loss at critical fractile, times both costs: 3843.61
mean hourly total bound from the total: 31983.95
mean hourly total bound from the sum of client bounds: 32388.77
hours short at critical fractile, sum of client bounds: 0.306
mean cost at critical fractile, sum of client bounds: 3729.17
A identidade se verifica: multiplicada pela soma dos dois custos, a perda de quantil no fractil crítico é 3843.61, igual ao custo médio nesse nível, 3843.61. A regra está correta como aritmética.
| Nível | Custo médio | Horas em falta |
|---|---|---|
| 0.50 | 5087.95 | 0.528 |
| 0.75, o fractil crítico | 3843.61 | 0.403 |
| 0.90 | 3667.43 | 0.222 |
O resultado nos dias avaliados é menos confortável. A regra escolheu o fractil crítico, e nesses três dias 0.90 custou menos, 3667.43 contra 3843.61. No fractil crítico a compra ficou aquém em 0.403 das horas, onde um nível calibrado ficaria aquém em uma hora de cada quatro. Essa é a falta de cobertura de Meça a cobertura em dias de validação vista em dinheiro. Não mudamos o nível para 0.90. Os três dias avaliados são o teste, e um nível escolhido porque vence neles foi escolhido sobre o teste. A leitura honesta é que as faixas foram estreitas demais aqui, por isso a compra ficou baixa, e que o nível só está certo quando as faixas estão.
A compra deveria seguir os limites dos clientes? Somando o limite de cada cliente no fractil crítico obtemos um limite de 32388.77 kWh por hora, contra 31983.95 a partir dos próprios resíduos do total. Somas de quantis são iguais ao quantil do total quando os erros se movem perfeitamente juntos. Para um quantil superior, com erros que parcialmente se cancelam, a soma costuma ficar acima dele, como ocorre aqui.
Nos dias avaliados o limite somado se saiu melhor, com horas em falta de 0.306 contra 0.403, e um custo médio de 3729.17 contra 3843.61. Essa vantagem vem do seu nível mais alto, não de uma calibração melhor, e os dias avaliados não podem mostrar que ela vale em geral. Mantemos o limite próprio do total, porque a compra é feita contra os resíduos do total, e não passamos para o limite que se saiu melhor aqui.
Regra prática: Defina o nível de compra a partir dos dois custos, como tau = cu / (cu + co), fixe-o antes de avaliar os dias, e calibre as faixas do total com os próprios resíduos do total. Mostre o custo realizado em outros níveis como verificação, mas nunca mude o nível para aquele que teria vencido nos dias que você pontua.
O que dá errado em produção
- O período de calibração não é o período avaliado. Os feriados ficam fora da calibração, o que mantém o teste honesto, mas os erros do total variam de uma janela para outra e podem ser maiores nos dias avaliados do que nas janelas de calibração. Uma faixa calibrada em um período calmo deixa de cobrir um período mais difícil. Perceba isso comparando a cobertura com o nível nominal a cada dia e acompanhando a média acumulada. Uma cobertura que fica abaixo do seu rótulo por uma semana é o sinal, e os erros dessa semana são o primeiro lugar para olhar.
- Faixas agrupadas escondem clientes. As faixas agrupadas em kWh são definidas pelos maiores clientes. Com resíduos não escalonados, as faixas do maior cliente cobrem 0.000 de suas horas com nível 80. Com resíduos escalonados, a menor cobertura de um cliente com nível 80 é 0.472, de modo que mesmo o conjunto escalonado esconde um cliente que falha. Leia a cobertura por cliente, e não apenas o número agrupado.
- Três dias dizem pouco. Uma cobertura calculada a partir de três dias avaliados pode parecer um resultado, mas são apenas três observações do erro em nível diário. Use a cobertura de muitas janelas, e trate uma sequência curta como motivo para investigar, e não como resultado.
- A dependência quebra a garantia simples. A carga horária é autocorrelacionada, e os resíduos de calibração de horas vizinhas não são independentes. As faixas não têm a garantia do teorema de livro-texto. Sua cobertura pode se afastar quando o clima ou o calendário mudam, e somente a cobertura medida mostra quando isso acontece. Uma sequência de dias cujos erros têm o mesmo sinal é o padrão a observar, e o registro contínuo diário é onde ele aparece.
- O total tem poucos resíduos por hora. Uma janela de calibração fornece um resíduo para o total em cada hora, de modo que doze janelas fornecem doze. Com resíduos com sinal, a maior cobertura que doze resíduos permitem é 0.846, portanto as faixas do total param em 80, e uma verificação de nível deve vir antes de qualquer faixa ser oferecida. Mais janelas de calibração dariam ao total uma amostra maior, mas cada uma deve ser um dia comum anterior à semana avaliada.
- A calibração contínua pode usar os dias que você avalia. A regra embutida em Construir intervalos a partir de resíduos calibra cada ponto de corte com base nos três pontos de corte anteriores. Em operação isso é adequado, porque essas leituras são conhecidas. Em um teste, isso faz as janelas avaliadas dependerem umas das outras. Mantenha o conjunto de calibração fixo e anterior a todas as janelas avaliadas.
Decisões tomadas neste capítulo
- Janelas de calibração. Doze dias comuns, de 9 a 20 de dezembro de 2014, antes da semana reservada para teste. Feriados são excluídos, e nenhuma hora de calibração é avaliada. As janelas de decisão também usam doze dias, de 9 a 20 de novembro de 2014. O tamanho é uma escolha, não um resultado: os dados não mostram que doze dias seja o melhor tamanho.
- Escala antes do agrupamento. Os resíduos de cada cliente são divididos pelo erro do naive sazonal sobre o histórico anterior ao primeiro ponto de corte de calibração, a mesma escala que o livro usa para o MASE. As janelas de decisão resolveram a questão, e o total não precisa de escala.
- Sem correção de amostra finita nas bandas. A correção foi testada nas janelas de decisão, para os clientes e para o total, e não melhorou o escore de intervalo. Ela é usada apenas para verificar quais níveis um conjunto de resíduos consegue sustentar.
- Resíduos com sinal. As bandas e o quantil de compra usam resíduos com sinal, de modo que os limites inferior e superior não precisam ser simétricos. Os métodos conformais do mlforecast usam resíduos absolutos e produzem bandas simétricas. A execução integrada em Construa intervalos a partir de resíduos está lá para comparação.
- A compra é para o total. O nível de compra e seu quantil são definidos sobre os resíduos do total. As bandas dos clientes servem para ler as previsões, não para comprar.
- Os custos são premissas. Os custos de 3.00 e 1.00 são apresentados em Por que um único número não basta, como julgamento, e não medidos.
- A classe de intervalos da biblioteca estatística. A classe do statsforecast é
ConformalIntervals. Seu nome difere doPredictionIntervalsdo mlforecast, e este capítulo usa cada nome para a sua própria biblioteca. - Um terceiro exemplo. A decisão de compra precisava de medição própria, então foi acrescentado
buy-ahead-level-by-cost, junto comconformal-decision-windows, que faz as escolhas de projeto sobre janelas que a avaliação reservada não usa. - Cobertura de feriados não é afirmada. 25 de dezembro de 2014 está na semana reservada para teste, mas está fora das janelas de calibração e de avaliação. O livro não relata nada sobre como as bandas cobrem o próprio feriado.
- Bandas antes dos níveis. Um nível de compra só é tão bom quanto a banda que está sob ele, e uma banda só é tão boa quanto as janelas que a definiram.
Este capítulo, nesta edição
Edição 2026.11.11Exemplos aprovados em 20 de nov de 20264 de 4 exemplos exemplos deste capítulo passam
Traduzido do livro em inglês, edição 2026.11.11.