合計を一致させる
読了まで約37 分分、7 節 節の 2 例 例。
本章では、30 の顧客の合計需要を 2 通りの方法で予測し、判断窓(decision window)を用いて両者のどちらを採るかを選び、各締め切り時点より前の履歴だけを使ってその合計を顧客ごとの比率に分割する。
供給事業者は、1 日前の電力購入を、個々の顧客に対してではなく、顧客の合計需要に対して一度に設定する。第 6 章では顧客ごとに予測を行ったが、合計はそれらの予測から組み立てることも、合計そのものを直接予測することもできる。本章では、両者が一致するのか、またどちらを信頼すべきかを問う。どちらも以前と同じ窓で評価するため、比較は公平である。例では第 6 章の顧客、窓、尺度を用いるので、ここに示す数値はすべて、実行できる例が出力したものである。
なぜ合計の検証が必要なのか
同じ量に対する二つの予測は、異なる経路で作られるために食い違うことがある。ここでの量は、30 の顧客(ALL30)の各時間における合計需要である。一つ目の経路は、30 件の顧客別予測を足し合わせる。もう一つの経路は、合計の系列に一つのモデルを当てはめる。どちらも同じ観測値を読むが、失敗の仕方はそれぞれ異なる。和は、すべての顧客の誤差を合計に持ち込む。合計モデルは合計そのもののパターンしか見ないため、顧客ごとの個別のパターンはその中に埋もれて消えることがある。
この検証が重要なのは、供給元が顧客ごとではなく合計に対して調達を行うからである。また、同じ時間に顧客の誤差が同じ方向に偏れば、すべての顧客が良く予測されていても、合計は外れることがある。そこで本章では、二つの問いを順に立てる。第一に、データの上で部分の和は全体に一致するか。第二に、重要な窓において、合計の予測は部分の和より優れているか。
足し合わせると一致する予測は、コヒーレントと呼ばれる。Hyndman と Athanasopoulos の Forecasting: Principles and Practice, 第 3 版, 第 11 章 は、予測をコヒーレントにする方法をいくつか挙げており、ここでは二つが重要である。ボトムアップは最下位の水準、すなわちここでは顧客を予測し、その結果を合計する。トップダウンは最上位、すなわち合計を予測し、それを比率によって下位へ分割する。本章では、この二つの名称をこの意味でのみ用いる。
コヒーレンスは制約であり、精度の尺度ではない。足し合わせて整合する合計が、整合しない合計より悪いことも起こりうる。そのため本章では、合計と各顧客を別々に評価し、部分が一致するからといって予測を受け入れることはしない。
本書は、両方の合計を hierarchicalforecast ではなく pandas で手作業により構築する。階層は一段しかないため、各経路は一回の和か一回の分割で済み、実行時間も小さく収まる。二つの経路を最適に組み合わせる手法は存在する。MinT は、不偏性の仮定の下で、平均二乗誤差を最小にするコヒーレントな予測を選び、予測誤差の共分散行列を用いる(Wickramasuriya, Athanasopoulos and Hyndman, 2019。公開されているワーキングペーパーは robjhyndman.com/papers/mint.pdf にある)。この行列の推定はそれ自体が一つのプロジェクトであり、本章では扱わない。
実践ルール: 判断が合計に依存するときは、常に合計を両方の方法で予測する。両者を同じ窓で、合計に対しても各顧客に対しても評価する。判断の対象となる窓で優れた方法を残し、部分が足し合わせて整合するからという理由で合計を受け入れてはならない。
クライアント予測の合計
ボトムアップ方式の合計は、第6章で作成した30クライアントの予測を、1時間ごとに足し合わせたものである。各カットオフにおいて、1つのグローバルモデルが、ラグ24とラグ168、および第6章で保持したクライアント識別子を用いて、すべてのクライアントについて次の24時間を予測する。ある時間における合計の予測は、その時間の30個の値の和である。cをクライアント、tを時間とすると、規則はtotal(t) = sum over c of forecast(c, t)となる。
この和は構成上必ず成り立つので、確認すべきなのはデータの側である。合計の系列は、すべての時間において30クライアントの実測値の和に等しくなければならない。そうでなければ、すべてのスコアが誤った数値を基準に測られることになる。例外は時計変更の時間である。時計変更フラグはクライアントの実測値を欠損に設定する。そのため、合計は2013年3月31日と2014年3月30日の01:00(欠落する時間)、および2013年10月27日と2014年10月26日の01:00(繰り返される時間)で欠損となる。
以下のスコアはすべて合計を基準に測るので、まず合計がその構成要素と一致していなければならない。最初の例では両方の合計を作成してスコアを求め、最後の数行で、時計変更のないすべての時間についてこの一致を確認する。
1"""Forecasts the total of the thirty clients two ways, bottom-up (the sum of the client forecasts) and direct (one model on the2total), and chooses between them on the four decision windows by MAE on the total. The choice rests on the two decision-window3MAE lines; the standard cutoffs then report both beside seasonal naive, and the last two lines check the total and the scale."""4import pandas as pd56from lib.baselines import seasonal_scale7from lib.electricity import load8from lib.panel import ALL30, DECISION_CUTOFFS, check_decision_hours9from lib.scoring import actual_hours, score_windows10from lib.settings import EVAL_CUTOFFS, show11from lib.totals import (DIRECT_SCALED, METHODS, TOTAL, direct_windows, plain_mae, pooled_mae, total_checks,12 total_forecasts, total_frame, total_scale_rows)1314raw = load(ALL30)15total = total_frame(raw) # the hourly sum of the thirty clients, after the start rule; missing in a clock-change hour16dec, cut = pd.to_datetime(DECISION_CUTOFFS), pd.to_datetime(EVAL_CUTOFFS)1718dec_actual = actual_hours(total, dec)19# the direct model here uses the target setting the book chose: DIRECT_SCALED is False, so the direct total is unscaled20dec_mae = pooled_mae(dec_actual, total_forecasts(raw, dec), ["bottom-up", "direct"])21# the direct model's MAE with its target scaled (True) and unscaled (False)22direct_setting = {s: pooled_mae(dec_actual, direct_windows(raw, dec, scaled=s), ["direct"])["direct"]23 for s in (True, False)}24# stops the run if the constant no longer names the setting with the lower MAE25if direct_setting[DIRECT_SCALED] != min(direct_setting.values()):26 raise ValueError("DIRECT_SCALED is not the target setting with the lower MAE on the decision windows")27show("decision cutoffs", len(dec))28# raises if a decision hour is a Portuguese holiday or reaches the held-out week; the count is printed for the record29show("decision holiday hours", check_decision_hours(dec_actual))30show("MAE bottom-up, decision windows", dec_mae["bottom-up"])31show("MAE direct, decision windows", dec_mae["direct"])32show("MAE direct with a scaled target, decision windows", direct_setting[True])33show("chosen direct target", "unscaled" if not DIRECT_SCALED else "scaled")34# the bottom-up total without the client identifier, which Chapter 6 also tried35show("MAE bottom-up without identifier, decision windows", plain_mae(raw, dec))36show("chosen total method", dec_mae.idxmin())3738# the scale reads the readings before the first standard cutoff, and no later ones39scale = total_scale_rows(raw, cut[0])40scored, per_client = score_windows(actual_hours(total, cut), total_forecasts(raw, cut), METHODS, scale)41show("scored hours", len(scored))42# seasonal_scale returns one value per unique_id, so [TOTAL] picks the total's43show("MASE scale of the total", seasonal_scale(scale)[TOTAL])44for model in METHODS:45 show(f"MAE {model}", (scored["y"] - scored[model]).abs().mean())46for model in METHODS:47 show(f"MASE {model}", per_client.loc[TOTAL, model])48show("MAE bottom-up without identifier", plain_mae(raw, cut))49# the first cutoff is passed as first_cutoff; the scale check then runs on every cutoff in cut50for label, value in total_checks(raw, cut[0], cut).items():51 show(label, value)
python total-bottom-up-and-direct.pydecision cutoffs: 4
decision holiday hours: 0
MAE bottom-up, decision windows: 1267.47
MAE direct, decision windows: 1678.62
MAE direct with a scaled target, decision windows: 1705.71
chosen direct target: unscaled
MAE bottom-up without identifier, decision windows: 1383.29
chosen total method: bottom-up
scored hours: 72
MASE scale of the total: 2689.26
MAE SeasonalNaive: 3639.41
MAE bottom-up: 2985.88
MAE direct: 3423.11
MASE SeasonalNaive: 1.35
MASE bottom-up: 1.11
MASE direct: 1.27
MAE bottom-up without identifier: 2837.66
clock-free hours where the total differs from the sum of the thirty clients: 0
scale changes after poisoning readings from each scored cutoff: 0
時計変更フラグのないすべての時間で、合計は30クライアントの和に等しい。この確認で、差のある時間は0時間と数えられる。
時計変更の時間には、もう1つ規則が必要である。これらの時間では合計は欠損だが、予測は欠損ではない。各予測ウィンドウは、ラベルのあるすべての時間について値を出力するので、出力のグリッドには、下流のテーブルが埋めなければならない穴は生じない。スコアリングは、実測値のない予測時間を拒否するので、マスクされた時間がゼロとして採点されることはない。この章で採点されるウィンドウには、そのような時間は含まれない。
開始規則は、和をとる前に各クライアントに適用する。開始が遅いクライアントの、最初の実測値より前にあるゼロは需要ではないので、規則はそれらを除外する。これは、第4章で1つのクライアントについて示したとおりである。ゼロは和に何も加えず、まだ開始していないクライアントも何も寄与しないので、この規則は合計を変えない。上の確認がそれを示している。一方、この規則は各クライアント自身の予測を変える。これは、それらのゼロで学習したモデルが、ゼロを低い使用量として学習してしまうからである。
ボトムアップ方式の合計は、クライアントの誤差を、良いものも悪いものもそのまま引き継ぐ。第6章では、標準のカットオフにおいて、このモデルが季節ナイーブ予測を上回るのは30クライアントのうち23クライアントであり、残りでは下回ることがわかった。この章の後半の比較では、その誤差のうちどれだけが合計に及ぶかを測る。
足し合わせられるのは平均だけである。期待値は線形なので、和の平均は平均の和になる。和の中央値は、一般には中央値の和にならず、ほかの分位数についても同様である。これらが足し合わせられるのは、誤差が完全に連動して動く場合のような特殊なときに限られる。したがって、ボトムアップ方式の合計は点予測である。合計の区間を、クライアントの区間を足して作ることはできない。区間については第8章で改めて扱う。
実践ルール: 時計変更フラグのないすべての時間で、合計の系列がその実測値の和に等しいことを確認したうえで、クライアントの予測を1時間ごとに足し合わせる。和をとる前に各クライアントに開始規則を適用し、どのクライアントのモデルもそのゼロで学習されないようにする。和は点予測として扱い、クライアントの中央値の和を合計の中央値とみなしてはならない。
この部分はまだ翻訳されていないため、英語で表示している。
Forecast the total directly
The direct total is one model fitted to the total series itself. Its history is the total's history before the cutoff: the readings of the 1,344 hours before it, which is 8 weeks, the same length as the clients' histories. Each client's history is cut by the start rule, its clock-change hours are filled from its own neighbours, as Chapter 3 does, and the readings are summed by hour. The total's history therefore has no missing hour.
The model uses the features the clients use. Its inputs are the total's readings 24 and 168 hours earlier, so no input comes from the day being forecast. Its target is the total as it is, not scaled. Chapter 6 scales each client's target, because one model over clients of different sizes would otherwise fit the large ones. A single total has no such mix, so that reason does not carry over. On the decision windows, the unscaled target has the lower error, 1678.62 kWh against 1705.71 kWh with the target scaled, as the first example shows, so the direct model uses it. The model is fitted once per cutoff, on that cutoff's history only, and it forecasts the next 24 hours. It is a LightGBM regressor inside mlforecast 1.1.0, with the settings of Chapter 5.
The two totals differ in how they are built. The bottom-up total comes from one global model that forecasts every client, and the direct total from one model that forecasts the sum. The lags and the other settings are the same. The target scaling differs, and the decision windows choose it for the direct model alone.
The total is usually smoother than any client, because the clients' peaks partly cancel in the sum. A model fitted to a smoother series has less of its own noise to learn, which can help the direct total. The comparison later in the chapter tests whether it does on these windows, and the answer is not the one the smoothness suggests.
The model sees the total only through its history. It does not see which client a reading came from, or which client moved the total. That is the trade the direct method makes. It gets one smooth series and loses the clients' separate shapes. The bottom-up method keeps those shapes and must add thirty errors together.
Seasonal naive on the total is the baseline that both must beat. It forecasts each hour as the same hour the day before, as in Chapter 2, applied to the total's history. It is scored on the same windows and against the same scale.
Working rule: Forecast the total directly with the clients' features, from the total's own history before each cutoff, and choose the target's scaling on the decision windows. Use the same windows for both methods, and score each against seasonal naive on the total. Report both methods, and not only the one you built.
二つの総量を比較する
4つの判断用ウィンドウでは、ボトムアップの総量の誤差が小さいため、ボトムアップを採用する方法として選ぶ。これらのウィンドウは、第5章の保持された週の前にある通常の4日間であり、選択にのみ用いる。具体的には2014年11月25日、11月26日、12月2日、12月3日である。第6章は、同じ日を用いてクライアント識別子を選択した。各方法は総量に対するMAEで評価する。ボトムアップの総量におけるMAEは1267.47 kWhであり、直接法の総量では1678.62 kWhである。判断用の時間帯がポルトガルの祝日に当たる場合、この例は実行を拒否する。該当する時間数は0である。
標準のカットオフである2014年12月29日から12月31日は、報告用である。選択には用いない。これら3つのウィンドウでは、総量の評価対象時間数は72である。そのMASEのスケールは、1日離れた計測値どうしの絶対変化量の平均であり、2014年12月29日より前のすべての計測値について取り、時計の切り替えに当たる時間はマスクする。これは第2章で示したMASEスケールの規則であり、第6章が各クライアントに適用したものを、ここでは総量に適用している。その値は2689.26 kWhとなる。
| 方法 | MAE (kWh) | MASE |
|---|---|---|
| 季節ナイーブ | 3639.41 | 1.35 |
| ボトムアップ | 2985.88 | 1.11 |
| 直接法 | 3423.11 | 1.27 |
ここでは、MAEとMASEは方法の順位付けについて同じ結果を示す。MAEの単位はキロワット時であるため、1時間あたりの誤差の平均的なコストとして読める。MASEは各誤差を同じスケールで割るので、1つの系列の上ではMAEの定数倍にすぎない。その用途は系列をまたぐ比較にある。第6章では規模の大きく異なるクライアント同士を比較するためにMASEが必要であり、総量もそれらと同じ立場で並べられる。
標準のカットオフでは、直接法の総量は総量に対する季節ナイーブを上回るが、その差はボトムアップの総量よりも小さい。これは表のMASE列に示されている。
ある方法が判断用ウィンドウで勝つのは、そこで誤差が小さいときであり、標準のカットオフはそれを裏付けるか、あるいは覆す。総量については、標準のカットオフが選択を裏付ける。ボトムアップが両方のウィンドウ集合で小さいからである。この一致があるので、本章は総量にボトムアップを、ある程度の確信をもって推奨する。一致が意味を持つのは2つの集合が分離している場合に限られるが、ここではそうなっている。4つの判断用ウィンドウはいずれも、保持された週の初日である2014年12月25日より前にあり、標準のカットオフはその週の最後の3日間である。どの判断も標準のカットオフを読んでいない。
2つのウィンドウ集合が食い違うのは識別子についてである。判断用ウィンドウでは、識別子なしのボトムアップの総量のMAEは1383.29 kWhで、識別子ありでは1267.47 kWhである。したがって、そこでは識別子が総量の誤差を下げており、同じウィンドウでの第6章のクライアントごとのMASEと同じ結果である。標準のカットオフでは、識別子なしの総量のMAEは2837.66 kWhで、識別子ありの総量は2985.88 kWhである。このため、標準のカットオフは識別子なしの総量に有利である。本書はこれを報告するが、その結果に基づく変更は行わない。第6章がクライアントごとのMASEに基づいて識別子を残したからであり、選択を行うのは判断用ウィンドウだからである。4つの判断用ウィンドウでは不十分と考える供給者は、2014年12月25日より前に判断用ウィンドウを追加し、標準のカットオフではなくそれらに基づいて改めて判断すべきである。
実践ルール: 方法は、報告する指標を用いて、判断用ウィンドウで選ぶ。同じ指標を標準のカットオフでも、季節ナイーブと並べ、評価対象時間数とスケールを添えて報告する。2つのウィンドウ集合が食い違うときは、両方を報告し、その差の大きさを述べ、読み栄えのよいほうを選んではならない。
総量をシェアで分割する
トップダウン分割は、直接予測した総量から出発し、各クライアントにそのシェアを割り当てる。クライアントのシェアは、そのクライアント自身の履歴、すなわちカットオフ前の 1,344 時間における読み値を、同じ時間における総量の読み値で割ったものである。あるクライアントのある時間のトップダウン予測は、その時間における直接予測の総量の予測値にシェアを掛けたものである。過去 8 週間に総量の 10 分の 1 を供給したクライアントは、翌日も総量の 10 分の 1 を占めると見込まれる。
8 週間は選択であり、調整して得た値ではない。これは本章の他のすべてのモデルが読む履歴であり、分割はクライアントと同じ記憶を用いることになる。より短い窓であれば、クライアントのシェアの変化により早く追従するが、ノイズも大きくなる。本章はこのトレードオフを測定しない。測定が必要な供給者は、意思決定ウィンドウで検証すべきである。
分割の弱点は 1 日の形状である。分割はすべてのクライアントに総量の日内プロファイルを与えるため、ピークの時間帯が異なるクライアントには、総量の予測がどれほど良くても、どの時間でも誤ったプロファイルが与えられる。これらのクライアントでは、真の総量が手元にあっても分割は負ける。本章がオラクル検査と呼ぶ検査は、どの予測にも知り得ない実際の総量にシェアを適用するもので、そのクライアント平均の MAE は 171.80 kWh である。これは手法ではなく基準であり、総量が完全に予測できた場合に分割が持つ誤差を表す。各クライアントを予測する必要があるボトムアップ予測では、クライアント平均の MAE は 122.81 kWh である。
シェアにも偏りがある。最初のカットオフである 2014 年 12 月 29 日では、最大のクライアントの総量に占めるシェアは 0.56 である。
MinT を定義したワーキングペーパーは、Hyndman ら (2011) を引用して、基礎予測に偏りがない場合でも、トップダウン分割は各階層の整合後の予測に偏りを生じさせると報告している (Wickramasuriya, Athanasopoulos and Hyndman, 2017)。本章はこの結果を導き直さない。これらのクライアントで分割を測定し、オラクル検査によって分割自体の誤差の基準を得る。
分割をクライアントごとに、同じウィンドウでボトムアップと比べて採点すると、平均では見えない、分割がいずれかのクライアントで勝つかどうかがわかる。2 つ目の例はそれを行い、シェアに対してリーク検査も実行する。まず意思決定ウィンドウで選択を行い、次に標準のカットオフを報告する。
1"""Splits the direct total forecast into client forecasts, each client taking its share of the history before each cutoff2(top-down), and compares them with bottom-up on the same windows. The point rests on the mean per-client MASE and MAE lines;3the last line is a leak check that no share reads a reading after its cutoff."""4import pandas as pd56from lib.electricity import load7from lib.panel import ALL30, DECISION_CUTOFFS, check_decision_hours8from lib.settings import EVAL_CUTOFFS, show9from lib.totals import SPLIT_METHODS, client_mae, oracle_split_mae, shares, split_checks, split_scored1011raw = load(ALL30)12dec, cut = pd.to_datetime(DECISION_CUTOFFS), pd.to_datetime(EVAL_CUTOFFS)1314# the third value, the hours the top-down clients don't add up to the direct total (none, by construction), is unused15dec_scored, dec_per, _ = split_scored(raw, dec)16show("decision holiday hours", check_decision_hours(dec_scored))17show("mean per-client MASE bottom-up, decision windows", dec_per["bottom-up"].mean())18show("mean per-client MASE top-down, decision windows", dec_per["top-down"].mean())19show("chosen client method", dec_per.mean().idxmin())2021# the third value is discarded, as above22scored, per_client, _ = split_scored(raw, cut)23show("scored hours", len(scored))24mae = pd.DataFrame({m: client_mae(scored, m) for m in SPLIT_METHODS})25for model in SPLIT_METHODS:26 show(f"mean per-client MAE {model}", mae[model].mean())27for model in SPLIT_METHODS:28 show(f"mean per-client MASE {model}", per_client[model].mean())29show("clients where top-down has the lower MAE", int((mae["top-down"] < mae["bottom-up"]).sum()))30# the split applied to the actual total: a reference, since no forecast can know the total in advance31show("mean per-client MAE with the true total split by share", oracle_split_mae(raw, cut))32# the first standard cutoff, Dec 29, 2014; its shares read only the history before it33# shares read the 1,344 hours (8 weeks) before the cutoff34show("largest client share of the total, first cutoff", shares(raw, cut[0]).max())35# each cutoff's readings from the cutoff on replaced by zero, then by a very large value36for label, value in split_checks(raw, cut).items():37 show(label, value)
python total-split-by-share.pydecision holiday hours: 0
mean per-client MASE bottom-up, decision windows: 0.75
mean per-client MASE top-down, decision windows: 2.37
chosen client method: bottom-up
scored hours: 2160
mean per-client MAE bottom-up: 122.81
mean per-client MAE top-down: 218.95
mean per-client MASE bottom-up: 0.91
mean per-client MASE top-down: 2.59
clients where top-down has the lower MAE: 0
mean per-client MAE with the true total split by share: 171.80
largest client share of the total, first cutoff: 0.56
shares changed after poisoning readings from their cutoff: 0
意思決定ウィンドウでは、クライアントについてボトムアップが勝っており、クライアント平均の MASE はボトムアップが 0.75、トップダウンが 2.37 であるため、ボトムアップを選ぶ。
標準のカットオフでは、キロワット時単位の誤差でも分割のほうが劣る。2160 クライアント時間にわたり、クライアント平均の MAE はトップダウンが 218.95 kWh、ボトムアップが 122.81 kWh であり、30 クライアントのうちトップダウンの MAE が低いのは 0 である。
クライアント平均の MASE は、トップダウンが 2.59、ボトムアップが 0.91 である。同じ予測に対する第 6 章のプールした MAE は 122.81 kWh であり、ボトムアップの平均 122.81 kWh と同じである。これは偶然ではない。どのクライアントも採点対象が同じ 72 時間であるため、クライアントの誤差の平均はプールした誤差に等しくなる。
どのシェアも動かない。シェアはカットオフ前の履歴だけを読まなければならない。そこでリーク検査は、各カットオフ以降のすべての読み値を、1 回は 0 に、もう 1 回は非常に大きな値に変更し、シェアを再計算する。6 つの比較(3 つのカットオフ × 2 つの値)のうち、シェアが変化したのは 0 である。もしあるシェアがカットオフ後の読み値を読んでいたなら、大きな値がそこに入り込んでいたはずである。シェアの合計は 1 であり、トップダウンのクライアントの合計は、構成上、どの時間でも直接予測の総量に一致する。このような恒等式は失敗し得ないので、本章は失敗し得る唯一の検査であるリーク検査だけを数える。
実践ルール: 総量のシェアによる分割は、ベースラインとして、またはクライアントの日内プロファイルが似ている場合にのみ用いる。各シェアはカットオフ前の履歴から計算し、カットオフ後の読み値を変えてもシェアが動かないことを確認し、各クライアントを同じ尺度でボトムアップと比べて採点する。分割をクライアントに残すのは、意思決定ウィンドウで勝つ場合に限る。
本番環境で何が問題になるか
この章で扱う失敗の多くは、表に出ない形で起こる。
1つ目は、気づかないうちに小さくなった合計である。1つのクライアントが和から抜け落ちると、合計は需要より小さくなるが、そのスコアは一見もっともらしく見える。本書の積み上げ方式の合計は、ある時間帯のクライアント予測が30件に満たない場合にエラーを出す。開始ルールは、履歴が少なすぎるクライアントを飛ばさずに拒否する。これは第6章で説明するとおりである。本番環境では、クライアント数より少ない予測しか作れなかった実行は、欠けているクライアントの名前を示して停止すべきである。
2つ目は、生の値の単純和である。10月の繰り返しの時間帯には2回分のエネルギーが含まれる(第3章)ため、生の読み取り値から作った合計では、その時間帯が前後の時間帯のおよそ2倍に数えられうる。その結果、実際には存在しない需要のスパイクが生じる。本書の合計は、代わりにその時間帯をマスクする。最初の例のチェックが時計変更の時間帯を除外するのも、同じ理由による。
3つ目は、未来を読んでしまう分割である。シェアにそのウィンドウ自身の読み取り値を使う分割は、バックテストでは本番よりも良いスコアになる。汚染チェックがそのためのテストである。カットオフより後の読み取り値が変わっても、シェアは動いてはならない。本番の実行では、2番目の例のシェアのチェックと最初の例のスケールのチェックの両方を、失敗時に大きく警告するテストとして残すべきである。
4つ目は、判断と報告が食い違うことである。識別子は、判断用のウィンドウでは合計の誤差を下げるが、標準のカットオフでは誤差を上げる。一方のウィンドウ群しか監視しないモニターは、もう一方での失敗を見逃す。再学習のたびに、同じウィンドウで識別子ありと識別子なしの合計の誤差を記録し、第6章が判断に使うクライアントごとのMASEと並べて残す。
5つ目は、古くなったシェアである。シェアは過去8週間についての事実であるため、クライアントの習慣が変わると、シェアはウィンドウの長さと同じ期間、その変化に遅れる。そのクライアントのトップダウン予測は、ランダムにではなく一定の方向に外れる。しかもシェアの合計は依然として1になるため、この誤差は合計にはまったく現れない。したがってモニターは、合計の誤差だけでなく、各クライアントのシェアの推移も監視すべきである。これを捉える指標が、2番目の例のクライアントごとのMASEである。
6つ目は、ウィンドウとともに動くスケールである。合計のMASEのスケールは、最初にスコアを付けるカットオフより前の履歴から、一度だけ読み取る。ウィンドウごとに更新されるスケールは、そのウィンドウ自身の読み取り値を読むことになり、合計のスコアはすべて、予測とは無関係な理由で変わってしまう。最初の例は、スコアを付ける各カットオフについて、カットオフ以降の読み取り値を置き換えても、そのウィンドウのスケールが動かないことを確認する。スケールは動かない。6通りの比較(3つのカットオフと2つの値の組み合わせ)のうち、スケールを変えたものは0である。
実践ルール: 本番環境では、再学習のたびに合計をその読み取り値の和と照合し、合計からクライアントが欠けていれば停止し、各シェアと各ウィンドウのスケールに汚染チェックを実行する。同じウィンドウで、識別子ありと識別子なしの合計の誤差を記録する。ウィンドウ間で結果が食い違うときは、両方を報告し、モデルに都合のよい方を選んではならない。
この章で下した決定
- 合計は
ALL30の時間ごとの和である。 各クライアントは、和を取る前に開始規則で切り出す。いずれかのクライアントの読み値が時刻変更の時間として除外されている場合、その時間は欠測となる。和は開始規則によって変わらない。このことは最初の例の検算で確かめられる。 - 予測の全時間に値があり、採点は除外された時間を拒否する。 出力の格子は時刻変更の時間を通じて完全であり、欠測の読み値をゼロとして採点することはない。
- 二つの合計はどちらも pandas で手作業により構築する。 階層は一段であるため、各経路は一回の和か一回の分割で済む。
hierarchicalforecastと MinT には言及するが、どちらも使わない。 - 合計はボトムアップで予測する。 四つの決定窓でも標準のカットオフでも、MAE がより低い。直接予測の合計は、その横に併記する。
- 直接予測の合計では、目的変数をスケーリングしない。 決定窓では MAE がより低いため、クライアント用のモデルとは異なり、直接予測のモデルは目的変数をスケーリングしない。最初の例では両方の設定を出力する。
- 識別子は、第6章がクライアントについて決定したとおり、ボトムアップの合計に残す。 標準のカットオフでの合計に対する識別子のコストは、上で報告したとおりであり、覆さない。
- 分割はクライアントの手法ではない。 決定窓ではボトムアップのほうがクライアントごとの MASE が低く、これらのクライアントでは、真の合計を用いても分割のほうが劣る。
- シェアは、各カットオフ前の 1,344 時間から求める。これはクライアントと同じ履歴である。 汚染の検査により、どのシェアも後の読み値を読んでいないことが示される。
- 合計の MASE のスケールは、第2章の規則を合計に適用したものである。 すなわち、最初に採点するカットオフより前のすべての読み値についての季節ナイーブ誤差であり、時刻変更の時間は除外し、各クライアントにはあらかじめ開始規則を適用する。
- 窓は第6章のものである。 決定窓と標準のカットオフは同じ日であるため、二つの章の数値を行ごとに比較できる。
- 第8章は点予測を受け取る。 すなわち、各クライアントと合計のボトムアップ予測であり、代替として直接予測の合計を添える。合計の区間は、クライアントの区間から構築できない。
この版における本章
第2026.11.11版2026年11月20日時点で例が通過この章の2 例件のうち2件が合格
英語版の書籍(版2026.11.11)から翻訳した。