答えられないときにそう述べる

読了まで約58 分分、7 節 節の 5 例 例。

第2026.11.15版 2026年11月19日時点で例が通過 78 例中 78 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.15)から翻訳した。 原文を読む

この章を読み終えると、読者は「答えない」ことを正式な応答の一つとして扱えるようになる。具体的には、ウェアハウスが答えられない質問と答えられる質問を見分けること、既知の種類の理由を添えて回答を断ること、尋ねられた期間のデータが届いているかを確認すること、すべての回答の背後にある来歴(プロビナンス)を示すこと、そして断りの適合率と再現率を測ることである。これにより、エージェントは推測で答えることも、過度に回答を拒むこともなくなる。

ショップのデータは2026年6月の最終日で終わっており、そのエージェントは答えられない場合を自ら知る必要がある。第6章ではエージェントを一つ構築した。モデルが指標、そのディメンション、フィルタを選び、セマンティックレイヤーが SQL を書く。ゴールデンクエスチョンの開発用分割では、このエージェントは答えられる質問の大半に正しく答えたが、失敗のうち二つがこの章の主題である。一つ目は、「どの地域が最も好調か」という質問に対し、全地域の通算売上を小さい順に返したことである。単一の答えがない質問に対して数値を返してしまった。二つ目は、来四半期の純売上について、暦上の四半期か会計上の四半期かを尋ね返したことである。あたかもどちらの解釈でもそのデータから答えられるかのような振る舞いである。

どちらの失敗も答えのように見える。ウェアハウスが返す誤った数値は、何も返さないより悪い。その数値はスライド資料に貼り付けられてしまうからである。text-to-SQL の研究も同じ点を指摘しており、答えられない質問からは、実行できて誤解を招く結果を返す SQL が生成されることがある(Ren et al.)。この章では、エージェントに「答えられない」と述べる手段を与え、適切な断りと作業の放棄とを区別する測定方法を示す。ここで土台とするのは、第7章のガード付き SQL 経路ではなく、第6章の指標を第一とするエージェントである。したがって、どの指標も扱わない質問はここでも断られ、測定ではそのような断りを一件ごとにコストとして数える。

ウェアハウスが答えられない質問の種類

最終変更:版2026.11.15

単一の数値を返すべきでない質問は2種類のどちらかであり、それぞれに必要な応答が異なる。曖昧な質問には妥当な答えが複数ある。その言葉が複数の指標、期間、フィルタのいずれにも当てはまり、正しい応答は相手への問い返しか、置いた仮定の明示である。答えられない質問には、ウェアハウス内に妥当な答えが存在しない。必要なデータが格納されていないか、予測のように SQL にはできないことを求めているかのどちらかである。

研究では、この2種類にそれぞれ使える名前が与えられている。会話型の text-to-SQL データセットである PRACTIQ は、これらを4つの曖昧カテゴリと4つの答えられないカテゴリに分類している。前者の例は曖昧な SELECT 列で、妥当な SQL が選択する列の点で互いに異なる場合を指す。後者の例は存在しない SELECT 列で、"The column that contains the results asked in the question do not exist in the database" と説明されている(Dong et al.)。TrustSQL は、スキーマが適合しないために失敗する質問や、SQL にはできないことを必要とする質問を加えている(Lee et al.)。スキーマを知っていても曖昧さは消えない。AMBROSIA の著者らは、データベースの文脈が与えられていても曖昧さが残ることを見出した(Saparina and Lapata)。

各ゴールデン辞退(decline)のラベルを信頼する前に、ウェアハウスに照らして監査することができる。第3章で扱ったショップのゴールデン質問には、正解が辞退である質問が8件含まれる。各分割に4件ずつで、それぞれに decline_type が付いており、その内訳は、分割ごとに曖昧な質問2件と答えられない質問2件である。監査では、各質問をそのカテゴリとともに出力する。カテゴリは PRACTIQ の用語で表し、予測の質問だけは TrustSQL の用語で表す。そのうえで、質問に必要な語と名前が一致する列を両方のスキーマから検索する。続いて、2件の曖昧な質問について、セマンティックレイヤから各解釈での答えを出す。曖昧な質問の1件には、答えるべき解釈が存在しない。「Who are our best customers?」(gq-019)は PRACTIQ の用語では曖昧だが、顧客を順位付けする指標もディメンションもないため、正しい応答は問い返しではなく辞退である。

unanswerable-cases.py Python 3.12.15 · duckdb 2.0.0 · pyyaml 6.0.3 · sqlglot 30.31.0 合格
"""The golden questions whose right answer is a decline: which are ambiguous, which are unanswerable, and why.The point that unanswerable questions have nothing to compute from rests on the "columns matching" lines, and the pointthat ambiguous ones have too many answers rests on the "best region" and "net revenue" lines."""from lib.golden import load_goldenfrom lib.semantic import MetricRequest, loadfrom lib.warehouse import connectcon, layer = connect(), load()# Each decline question's category: PRACTIQ's names, and TrustSQL's for the forecast. Words to look for in the schema.CATEGORIES = {"gq-005": ("beyond SQL: a forecast", "forecast|predict"), "gq-019": ("ambiguous SELECT column", None),              "gq-020": ("ambiguous SELECT column", None), "gq-021": ("nonexistent SELECT column", "ship"),              "gq-042": ("ambiguous filter criteria", None), "gq-043": ("ambiguous values within a column", None),              "gq-044": ("unsupported join", "view|page"), "gq-045": ("nonexistent WHERE column", "deliver|promise")}for q in load_golden():    if q.kind == "decline":        category, words = CATEGORIES[q.question_id]        print(f"{q.question_id} ({q.split}, {q.decline_type}): {category}")        if words:            # raw and analytics are the only schemas with data; the layer reads from both            found = con.execute("""SELECT string_agg(table_name || '.' || column_name, ', ') FROM information_schema.columns                                   WHERE table_schema IN ('raw', 'analytics') AND regexp_matches(column_name, ?)""",                                [words]).fetchall()[0][0]            print(f"  columns matching {words!r}: {found or 'none'}")# the match is on the name: a column named for cost is the product's unit cost, which is not the shipping the question asks forcost = con.execute("""SELECT string_agg(table_name || '.' || column_name, ', ') FROM information_schema.columns                      WHERE table_schema IN ('raw', 'analytics') AND regexp_matches(column_name, 'cost')""").fetchall()print(f"columns named for cost: {cost[0][0] or 'none'}")reasons = [r for (r,) in con.execute("SELECT DISTINCT reason FROM analytics.fct_refunds ORDER BY 1").fetchall()]print(f"refund reasons: {', '.join(reasons)}")print(f"last order day: {con.execute('SELECT max(order_date_local) FROM analytics.fct_orders').fetchall()[0][0]}")# "Which region is doing best?" in fiscal 2026, by three metrics the layer defines.fiscal_2026 = {"metric_time__fiscal_year": 2026}for metric, order in (("net_revenue", "-net_revenue"), ("orders", "-orders"), ("refund_rate", "refund_rate")):    # a leading minus sorts descending, so net revenue and orders put the largest first; refund_rate sorts ascending,    # so its first row is the lowest rate; the limit of 1 keeps that one row    answer = layer.query(con, MetricRequest((metric,), ("order__region",), fiscal_2026, (order,), 1))    print(f"best region by {order.lstrip('-')}{' (lowest)' if order == metric else ''}: {answer.rows[0][0]}")# Q2 read as a calendar quarter and as a fiscal quarter: calendar Q2 starts on April 1, fiscal Q2 2026 runs May to July.for name, value in (("metric_time__quarter", "2025-04-01"), ("metric_time__fiscal_quarter", "2026-Q2")):    # one row with one column, so the unpacking gives the revenue total for the period    (revenue,), = layer.query(con, MetricRequest(("net_revenue",), (), {name: value})).rows    print(f"net revenue, {name.removeprefix('metric_time__')} {value}: {revenue:,.2f}")
出力python unanswerable-cases.py
gq-005 (dev, unanswerable): beyond SQL: a forecast
  columns matching 'forecast|predict': none
gq-019 (dev, ambiguous): ambiguous SELECT column
gq-020 (dev, ambiguous): ambiguous SELECT column
gq-021 (dev, unanswerable): nonexistent SELECT column
  columns matching 'ship': none
gq-042 (test, ambiguous): ambiguous filter criteria
gq-043 (test, ambiguous): ambiguous values within a column
gq-044 (test, unanswerable): unsupported join
  columns matching 'view|page': none
gq-045 (test, unanswerable): nonexistent WHERE column
  columns matching 'deliver|promise': none
columns named for cost: dim_products.unit_cost, products.unit_cost
refund reasons: changed_mind, damaged, late_delivery, other, wrong_size
last order day: 2026-06-30
best region by net_revenue: EMEA
best region by orders: EMEA
best region by refund_rate (lowest): APAC
net revenue, quarter 2025-04-01: 415,495.84
net revenue, fiscal_quarter 2026-Q2: 467,081.90

raw にも analytics にも、配送、商品閲覧、配達の約束、予測にちなんだ名前の列はなく、最終注文日は 2026-06-30 である。したがって、答えられない4件の質問には計算の元になるものがない。ただし、それぞれの近くには、モデルが手を伸ばしかねないものがある。products テーブルには unit_cost(dim_products.unit_cost, products.unit_cost)があるが、これは商品の原価であって配送費ではない。refunds テーブルには late_delivery という理由があるが、これが数えるのは返金であり、遅配ではない。質問の前提を信じるモデルは、これらの列に対して実行可能な SQL を書いてしまう。PremiseSQL の著者らは、モデルが "are strongly premise-trusting by default and rarely critique flawed premises" であることを見出した(Lin et al.)。

曖昧な質問にも答えはあるが、その数が多すぎる。2026会計年度の「Which region is doing best?」では、レイヤは純売上と注文数で EMEA を挙げ、返金率の低さでは APAC を挙げる。2025年第2四半期の売上では、暦上の四半期の純売上が 415,495.84 ユーロ、5月から7月までの会計四半期では 467,081.90 ユーロとなる。これらの数値はそれぞれ1つの解釈では正しく、他の解釈では誤りであり、どの解釈から得られたのかは結果のどこにも示されない。

3つ目の種類は答えられないように見えて、実はそうではない。PRACTIQ の用語でいう存在しないフィルタ値とは、どの行にも存在しないフィルタ値であり、たとえば Europe という地域がそれにあたる。ショップでは、第6章の検証がこれを拒否し、存在する地域名を示すため、モデルは辞退せずに要求を修正できる。

実践ルール: ゴールデンセットで辞退とマークした質問はすべて、曖昧か答えられないかに分類し、そのカテゴリ名を付ける。そうすれば、どの応答が必要かが分かる。曖昧な質問に問い返すのは、すべての解釈が答えられる場合に限る。答えられない質問は、何が欠けているかを添えて辞退する。答えられない質問ごとに、モデルが答えと取り違えかねない近くの列や値を探すこと。それが、防ぐべき誤った数値だからである。

この部分はまだ翻訳されていないため、英語で表示している。

Decline with a reason

最終変更:版2026.11.15

The two kinds of question need a reply that isn't a number, and a reply the code can read. A decline is an answer: it ends the run, it says why, and the person can act on it. The reason has two parts. One is a sentence for the person, naming what's missing. A decline's kind, the reason's other part, comes from a fixed list, for the code, so declines can be counted, routed and scored by kind instead of read one at a time. In chapter 6, the forecast's question back about the calendar or the fiscal quarter scored as correct because it returned no number, and only its trace showed that the reason was wrong.

This chapter's agent, which we call the declining agent, lives in lib/declining.py, a module this chapter adds. Its DecliningToolbox keeps chapter 6's five metric tools and changes what two of them do. cannot_answer takes a kind as well as a reason, and refuses a kind outside the list. query_metric runs two checks in code before it answers: chapter 6's ranking check, which refuses a request that ranks its result over no period, and the freshness check that the section on freshness builds. The prompt, DECLINING in lib/prompts.py, differs from chapter 6's in three places. It lists the kinds the model may give; it allows ask_back only when every option is a request the metrics can answer, chapter 6's working rule; and it states what a wrong number costs, in the form Kalai and colleagues propose: "Answer only if you are >t confident, since mistakes are penalized t/(1-t) points" (Kalai et al.). With t at 0.75, the formula makes a wrong number cost 0.75/0.25 = 3 points and a decline 0.

The recording decline-runs holds the pinned model's replies to that prompt for the dev split's answer and decline questions, 21 of them. It was made by recordings/record_decline_runs.py with the same model file, sampling and seed as every recording in this book, and at most four model calls a run, as in chapter 6. The three forbidden questions on dev aren't recorded, because their decline belongs below the model, in chapter 9. We chose the prompt's changes by reading chapter 6's dev traces, so the dev split informed them. We recorded the dev split once, after writing the prompt, and changed nothing afterwards. The recording's manifest says so in its tuning field, and every replay checks it in part: a reply is found by a hash of the messages that produced it, prompt included, so a changed prompt finds no reply.

A kind helps only when the agent picks it, so we print the kinds and who decides each, send cannot_answer a call without one, and replay the four dev decline questions and one answerable question the agent declined.

cannot-answer-tool.py Python 3.12.15 · duckdb 2.0.0 · pyyaml 6.0.3 · sqlglot 30.31.0 合格
"""Decline with a kind from a fixed list and a reason, so declines can be checked and counted like answers.The prose's point about "Which region is doing best?" rests on the gq-020 request and the ranking check's reply to it."""from lib.agent import run_agentfrom lib.declining import DECLINE_KINDS, MODEL_KINDS, DecliningToolbox, decline_kindfrom lib.golden import load_goldenfrom lib.metric_tools import catalogfrom lib.model import RecordedModelfrom lib.prompts import declining_promptfrom lib.warehouse import connectcon = connect()toolbox = DecliningToolbox(con)for kind, meaning in DECLINE_KINDS.items():    print(f"{kind}{' (model)' if kind in MODEL_KINDS else ' (code)'}: {meaning}")# without a kind the call is refused, and the error lists the kinds the model may giveprint(toolbox.call("cannot_answer", {"reason": "no shipping costs"}).content)print(toolbox.call("cannot_answer", {"kind": "not_in_data", "reason": "no shipping costs"}).answer.show())system, model = declining_prompt(catalog(toolbox.layer)), RecordedModel("decline-runs")for q in load_golden():    # gq-016 is answerable; it is replayed too, to show the agent declining it    if q.split == "dev" and q.kind == "decline" or q.question_id == "gq-016":        trace = run_agent(q.question, system, model, DecliningToolbox(con, toolbox.layer, role=q.role), max_steps=4)        calls = [step for step in trace.steps if step.kind == "model"]        print(f"{q.question_id} ({q.decline_type or q.kind}): {q.question}")        print(f"{q.question_id} ended with: {calls[-1].tool}, kind {decline_kind(trace.answer)}")        print(f"{q.question_id} model calls: {len(calls)}")        label = "asks" if trace.answer.provenance.source == "ask_back" else "reason"        print(f"  {label}: {trace.answer.reason.splitlines()[0]}")        if q.question_id == "gq-021":            # the first model call is the reply that lacked the tool's name, which the loop answered with an error            print(f"  first reply: {calls[0].content}")        if q.question_id == "gq-020":            asked = next(i for i, step in enumerate(trace.steps) if step.tool == "query_metric")            request = trace.steps[asked].arguments            print(f"gq-020 request: {', '.join(request['metrics'])} by {', '.join(request['group_by'])}, ordered by "                  f"{', '.join(request['order_by'])}, period: {request.get('filters') or 'none'}")            # the step right after the request is the ranking check's refusal of it, so the offset of one is the reply            print(f"gq-020 check: {trace.steps[asked + 1].content}")            # the options sit in the arguments of the ask_back call, the step before the run's last step            print(f"gq-020 options: {', '.join(trace.steps[-2].arguments['options'])}")
出力python cannot-answer-tool.py
not_in_data (model): no metric or dimension holds what the question needs
forecast (model): the question asks about a period that hasn't happened, or for a prediction
no_definition (model): the question uses a term the shop hasn't defined, and no metric settles it
stale (code): the data for the period hasn't all arrived: not loaded yet, or not happened yet
forbidden (code): the role asking may not see the answer (chapter 9)
error: kind must be one of not_in_data, forecast, no_definition; got ''
cannot answer: not_in_data: no shipping costs
gq-005 (unanswerable): What will our net revenue be next quarter?
gq-005 ended with: cannot_answer, kind forecast
gq-005 model calls: 1
  reason: forecast: The question asks about a future period that hasn't happened yet, and no data is available for forecasting.
gq-016 (answer): How many customers placed at least one order in 2025?
gq-016 ended with: cannot_answer, kind not_in_data
gq-016 model calls: 2
  reason: not_in_data: The metric 'new_customers' cannot use 'order__order_date' as a filter, and no alternative metric or dimension is available to answer the question about customers placing at least one order in 2025.
gq-019 (ambiguous): Who are our best customers?
gq-019 ended with: cannot_answer, kind no_definition
gq-019 model calls: 1
  reason: no_definition: The term 'best' is not defined in the available metrics or dimensions, and no metric or dimension can determine customer performance based on this vague criterion.
gq-020 (ambiguous): Which region is doing best?
gq-020 ended with: ask_back, kind None
gq-020 model calls: 3
  asks: Which time period are you interested in? For example, the most recent month, the last quarter, or a specific year?
gq-020 request: net_revenue by customer__region, ordered by net_revenue, period: none
gq-020 check: error: request rejected: the request ranks its result but names no period; filter or group by a metric_time grain; or ask the person which period they mean
gq-020 options: last month, last quarter, 2026
gq-021 (unanswerable): How much did shipping cost us in fiscal year 2026?
gq-021 ended with: cannot_answer, kind not_in_data
gq-021 model calls: 2
  reason: not_in_data: The shop's data does not include a metric for shipping costs.
  first reply: {"kind": "not_in_data", "reason": "The shop's data does not include a metric for shipping costs."}

The model may give three kinds: not_in_data, forecast and no_definition. Code gives the other two: stale, when the data for the period hasn't arrived, and forbidden, which chapter 9's access rules will give. A call without a kind comes back as an error that lists the allowed kinds, so the model can correct it in its next call.

In the declining agent's run, the forecast, gq-005, ends in a decline of kind forecast, in 1 model call. "Who are our best customers?", gq-019, is declined with kind no_definition, which is the honest reply chapter 6 said was due: the shop's metrics don't rank customers, so no option could have been answered. The shipping question, gq-021, took 2 calls. The model's first reply was the decline's arguments without the tool's name, the loop sent back an error, and the second reply declined with kind not_in_data.

"Which region is doing best?", gq-020, is the one to read closely. The model asked for net revenue by region, ordered, with no period (net_revenue by customer__region, ordered by net_revenue, period: none), the request chapter 6's agent ran. The ranking check refused it because it ranks its result but names no period, and the model then asked back which period the person meant, offering last month, last quarter, 2026. That counts as a correct reply, and it settles half the question. A period doesn't say what "best" means, and the readings give different regions.

The last question, gq-016, asks how many customers placed at least one order in 2025. The warehouse can answer it, but no metric in the layer counts customers who ordered, and chapter 6's agent answered it with the count of new customers, a wrong number. The declining agent declined it as not_in_data, which is honest about the layer, and gave a reason about a filter the metric can't use, which is beside the point.

Working rule: Make declining a tool that ends the run with a kind from a fixed list and a sentence for the person. Let the model choose among the kinds it can judge, such as missing data, a forecast or an undefined term, and let code decide the kinds code can check, such as stale data or a forbidden role. Count declines by kind, and read the reasons in traces, because a decline of the right kind can still give the wrong reason.

回答の前に鮮度を確認する

最終変更:版2026.11.15

モデルが選ぶ辞退は、データでは答えられない質問を扱う。より見えにくいのは、データが質問に答えうるにもかかわらず、すべてが届いてはいない場合である。部分的な合計は完全なものに見える。SQLは実行され、数値の形も正しいが、値が小さすぎる。鮮度とは、あるソースのイベントがどこまで届いているかを、行がロードされた時刻から読み取ったものである。dbtのソース鮮度チェックはこの方式で動く。loaded_at_field、または「最新のロード済みタイムスタンプを返すSQL式」であるloaded_at_queryから最新のロード時刻を読み取り、しきい値と比較する。しきい値の一例がwarn_afterであり、警告が出るまでに最新データが達しうる経過時間を表す(dbt)。どちらも指定しない場合、dbtはウェアハウス自身のメタデータを読むこともできるが、本書ではそうしない。理由は次のとおりである。

鮮度はテーブルのメタデータではなく、データそのものから得なければならない。SnowflakeのLAST_ALTEREDは「DML、DDL、またはバックグラウンドのメタデータ操作によってオブジェクトが最後に変更された日時」を記録する(Snowflake)ため、保守作業でも値が動く。DuckDBのテーブルカタログであるduckdb_tables()には、時刻の列がそもそもない(duckdb_tables() time columns: none)。

ショップのジェネレータは、すべての生テーブルに_loaded_at列を持たせる。これは夜間ロードが行を取り込んだ時刻で、イベントの翌日の02:00 UTCにあたり、マートもこの列を引き継ぐ。返金フィードは2026年6月26日を最後に止まっているが、注文は6月30日まで続いている。指標の中には、対象期間が終わった後も値が変わり続けるものがある。返金率refund_rateは、返金額(ユーロ)を同じ注文の総売上で割ったもので、各返金を注文の日に数える。返金は注文の数週間後に来るため、月の返金率は、その月の注文に対する返金がすべて届くまで上がり続ける。ある期間について指標が数えるイベントがすべて届くまでの時間を、本書では指標の整定期間と呼ぶ。lib/declining.pyの鮮度チェックは、各フィードの最新ロードを、リクエストが絞り込む期間の終わりに、そのフィードを読む指標の整定期間を加えた時点と比較する。FEEDSは、指標が読むテーブルごとに、その鮮度を決めるフィードを定め、SETTLING_DAYSは、イベントより前の日付に数える各指標の整定期間を与える。それ以外の指標の整定期間はゼロである。ロードはUTCで、ショップの日付は現地時間であるため、期間の終わりは、UTCから最も遅れた地域でその最終日が終わる時点となる。整定期間はデータから測り、それを使ってチェックを実行し、5月と6月がなぜ不足するかを推定する。

stale-refunds.py Python 3.12.15 · duckdb 2.0.0 · pyyaml 6.0.3 · sqlglot 30.31.0 合格
"""Check freshness before answering: refunds stopped loading after June 26, 2026, and arrive weeks after the order.The prose's point rests on the unchecked June rate, the shortfall lines that split June's gap, and the 'stale' decline."""from datetime import datefrom lib.declining import (FEEDS, SETTLING_DAYS, DecliningToolbox, check_freshness, refund_delays, refund_shortfall,                           settled_refund_rate)from lib.semantic import MetricRequest, loadfrom lib.warehouse import connect, data_as_ofcon, layer = connect(), load()# the catalog's column types, filtered for any type containing TIME: DuckDB's catalog has none, so the list is emptycatalog = [c for (c, t, *_) in con.execute("DESCRIBE SELECT * FROM duckdb_tables()").fetchall() if "TIME" in t]print(f"duckdb_tables() time columns: {', '.join(catalog) or 'none'}")for table in ("analytics.fct_orders", "analytics.fct_refunds", "analytics.dim_customers"):    print(f"data as of, {table}: {data_as_of(con, table)}")delays = refund_delays(con)                # the longest delay on settled orders is what SETTLING_DAYS usesprint(f"refunds per day: {delays['per day']:.1f}\nmedian days from order to refund: {delays['median']}\n"      f"refunds within 30 days of the order: {delays['within 30']:.0%}\n"      f"refunds within 45 days of the order: {delays['within 45']:.0%}\n"      f"longest days from order to refund: {delays['longest']}\n"      f"settling window, order_refunds: {SETTLING_DAYS['order_refunds']} days")for month in ("2026-04", "2026-05", "2026-06"):           # without a check, the layer answers for any month    (rate,), = layer.query(con, MetricRequest(("refund_rate",), (), {"metric_time__month": month})).rows    print(f"refund rate, {month}, unchecked: {rate:.2%}")# Why May and June are short, estimated from the twelve months whose refunds have all come.print(f"refund rate, settled months: {settled_refund_rate(con):.2%}")for month, end in (("2026-05", date(2026, 6, 1)), ("2026-06", date(2026, 7, 1))):    # refund_shortfall takes the first day after the month, so the month's events are all before it    short = refund_shortfall(con, end)    print(f"{month}, settled months' rate with refunds as loaded: {short['as loaded']:.2%}\n"          f"{month}, points short, refunds not loaded: {short['not loaded'] * 100:.2f}\n"          f"{month}, points short, refunds not happened yet: {short['not happened'] * 100:.2f}\n"          f"{month}, share of the shortfall not loaded: {short['share not loaded']:.0%}")print(f"new customers, feed for dim_customers: {FEEDS['analytics.dim_customers']}")  # customers load at sign-upfor name, metric in (("refund rate", "refund_rate"), ("new customers", "new_customers")):    for check in check_freshness(con, layer, MetricRequest((metric,), (), {"metric_time__month": "2026-06"})):        print(f"{name}, 2026-06: {check.describe()}")for month in ("2026-06", "2026-05", "2026-04"):    query = {"metrics": ["refund_rate"], "filters": {"metric_time__month": month}}    # r keeps the tool's result, so a declined call can print its reason in place of a number    a = (r := DecliningToolbox(con, layer).call("query_metric", query)).answer    print(f"refund rate, {month}, checked: "          + (f"{a.rows[0][0]:.2%}, data as of {a.provenance.data_as_of}" if a.answered else r.content))
出力python stale-refunds.py
duckdb_tables() time columns: none
data as of, analytics.fct_orders: 2026-07-02 02:00:00
data as of, analytics.fct_refunds: 2026-06-27 02:00:00
data as of, analytics.dim_customers: 2026-06-15 02:00:00
refunds per day: 1.2
median days from order to refund: 27.5
refunds within 30 days of the order: 56%
refunds within 45 days of the order: 93%
longest days from order to refund: 49
settling window, order_refunds: 49 days
refund rate, 2026-04, unchecked: 6.74%
refund rate, 2026-05, unchecked: 6.85%
refund rate, 2026-06, unchecked: 0.54%
refund rate, settled months: 7.21%
2026-05, settled months' rate with refunds as loaded: 5.78%
2026-05, points short, refunds not loaded: 0.48
2026-05, points short, refunds not happened yet: 0.95
2026-05, share of the shortfall not loaded: 33%
2026-06, settled months' rate with refunds as loaded: 1.17%
2026-06, points short, refunds not loaded: 0.46
2026-06, points short, refunds not happened yet: 5.57
2026-06, share of the shortfall not loaded: 8%
new customers, feed for dim_customers: analytics.fct_orders
refund rate, 2026-06: analytics.fct_orders last loaded 2026-07-02 02:00, period ends 2026-06-30: complete
refund rate, 2026-06: analytics.fct_refunds last loaded 2026-06-27 02:00, period ends 2026-06-30, its rows can arrive through 2026-08-18 (49 days later): STALE (not loaded, not happened yet)
new customers, 2026-06: analytics.fct_orders last loaded 2026-07-02 02:00, period ends 2026-06-30: complete
refund rate, 2026-06, checked: declined: stale: analytics.fct_refunds was last loaded at 2026-06-27 02:00, and rows for the period ending 2026-06-30 can arrive through 2026-08-18, 49 days later (not loaded, not happened yet), so the answer would be missing rows
refund rate, 2026-05, checked: declined: stale: analytics.fct_refunds was last loaded at 2026-06-27 02:00, and rows for the period ending 2026-05-31 can arrive through 2026-07-19, 49 days later (not loaded, not happened yet), so the answer would be missing rows
refund rate, 2026-04, checked: 6.74%, data as of 2026-06-27 02:00:00

2026年3月より前の注文は、すべての返金が届くのに十分古い。その注文では、返金の56%が注文から30日以内に、93%が45日以内に届き、最長で49日かかった。したがって返金率の整定期間は49 daysであり、これはショップがこれまでに見た最長の遅延である。

チェックがなければ、このレイヤーは6月の返金率を0.54%と報告する。5月は6.85%であり、これは正常に見える。6月の低下には二つの原因がある。6月の返金の一部は行われたもののロードされておらず、大半はまだ行われていない。決済済みの12か月、すなわち2025年5月から2026年4月までが、それぞれを推定する材料となる。それらの返金率は7.21%であり、各月の返金を、返金フィードの最終ロードが6月について到達している時点までに限って数えると、1.17%となる。

6月の不足の大半は、まだ行われていない返金によるものである。古い状態のフィードで説明できるのは、その不足のうち8%にすぎない。5月も同じ二つの理由で不足しており、古いフィードが説明する不足分は33%である。これらは他の月からの推定であり、測定値ではない。

チェックの結果、6月の注文は完全だが、返金は二つの原因で不足していると分かる。ツールは5月と6月を種別staleで辞退し、理由としてフィード、その最終ロード、その期間の返金が届きうる最終日を示す。モデルには、報告すべき数値が一切渡らない。4月の期間は返金の最終ロードより前に終わっているため、その返金率には回答が返り、出所情報には返金のロード時刻が付く。

素朴なチェックは誤作動する。顧客テーブルの最終ロードは2026-06-15 02:00:00である。顧客の行はサインアップ時にロードされ、6月半ば以降にサインアップした者はいないためである。テーブル自身のロードで確認すれば、6月の新規顧客は辞退されてしまう。しかし顧客の初回注文日は注文から得られるため、FEEDSは顧客テーブルを注文フィードに対応づけ、6月の新規顧客は通過する。どのフィードがテーブルの鮮度を決めるかはパイプラインについての事実であり、dbtのソースが自身のloaded_at_fieldを宣言するように、人が書くマッピングに置くべきものである。

経験則として、整定していない期間には、警告付きで答えるのではなく辞退する。警告は、誰かが数値をコピーするまでしか回答に付いて回らない。最終ロードと、その期間のイベントが届きうる最終日を示す辞退であれば、利用者は整定済みの期間を改めて尋ねることができる。

実践ルール: 期間を名指しするすべての回答の前に、コードで鮮度を確認する。回答が読む各フィードの最新ロードを、期間の終わりに指標の整定期間を加えた時点と比較し、フィードがそこに届かない場合は、行がロードされていないのか、まだ発生していないのかを問わず、stale として辞退する。各整定期間は、自分のデータから、すでに見たイベントを覆う遅延として測る。ロード時刻は、自前のロード列かロードログから読み、テーブルのメタデータからは決して読まない。各テーブルは、その鮮度を決めるフィードに対応づける。期間のない質問には回答し、そのデータの時点を出所情報に示す。

この部分はまだ翻訳されていないため、英語で表示している。

Show the provenance with every answer

最終変更:版2026.11.12

A decline tells the person why there's no number. An answer owes them the same: where the number came from. An answer's provenance is the metric or SQL behind it, the filters, the role it was computed for and how fresh the data was. The shop's Answer has carried answer.provenance since chapter 1. This section is about showing it. We found no study that measures whether showing provenance makes people catch more wrong numbers, so this is our design choice, not a measured effect. The reasoning is that a person checks a metric's definition in seconds, and a query in minutes.

provenance_card() in lib/declining.py prints an answer with its provenance: the result, each metric's name and the definition its owner wrote in the semantic layer, the filters, the role, the data as of, the freshness check for each feed and, optionally, the SQL. A decline's card is its kind, its reason and the role. Three of the declining agent's runs, replayed with their cards, show what a card catches: net revenue by region in March 2026, which it got right; total revenue by sales region in 2025, which it got wrong; and the cost of shipping, which it declined.

answer-with-provenance.py Python 3.12.15 · duckdb 2.0.0 · pyyaml 6.0.3 · sqlglot 30.31.0 合格
"""Show the provenance with every answer: the metric's definition, filters, role, freshness and the SQL that ran.The prose's point rests on the first card's SQL and the second card's definition line, which names the tax."""from lib.agent import run_agentfrom lib.declining import DecliningToolbox, provenance_cardfrom lib.golden import golden_result, grade, load_goldenfrom lib.metric_tools import catalogfrom lib.model import RecordedModelfrom lib.prompts import declining_promptfrom lib.semantic import loadfrom lib.warehouse import connectcon, layer = connect(), load()system, model = declining_prompt(catalog(layer)), RecordedModel("decline-runs")golden = {q.question_id: q for q in load_golden()}# one right answer, one near-miss metric, one declinefor question_id in ("gq-002", "gq-012", "gq-021"):    q = golden[question_id]    toolbox = DecliningToolbox(con, layer, role=q.role)    trace = run_agent(q.question, system, model, toolbox, max_steps=4)    print(f"{question_id}: {q.question}")    # only the first card shows its SQL, which the prose walks through    print(provenance_card(trace.answer, layer, toolbox.freshness, sql=question_id == "gq-002"))    print(f"{question_id} outcome: {grade(q, trace.answer, golden_result(con, q))}")    print()
出力python answer-with-provenance.py
gq-002: What was net revenue in each region in March 2026?
order__region  net_revenue
AMER           51,762.14
APAC           35,296.93
EMEA           63,023.76
metric: net_revenue: Revenue in EUR after discounts and before tax, from real orders that weren't cancelled, counted on the order's local business day. Returned orders count; refunds are not subtracted.
filters: {'metric_time__month': '2026-03'}
role: analyst
data as of: 2026-07-02 02:00:00
freshness: analytics.fct_orders last loaded 2026-07-02 02:00, period ends 2026-03-31: complete
sql:
SELECT
  orders.region AS order__region,
  SUM(orders.net_revenue_eur) AS net_revenue
FROM analytics.fct_orders AS orders
WHERE
  orders.status <> 'cancelled'
  AND CAST(DATE_TRUNC('MONTH', CAST(orders.order_date_local AS DATE)) AS DATE) = CAST('2026-03-01' AS DATE)
GROUP BY
  orders.region
ORDER BY
  order__region ASC
gq-002 outcome: correct

gq-012: What was total revenue for each sales region in 2025?
order__region  gross_revenue
AMER           538,429.66
APAC           444,472.81
EMEA           897,698.19
metric: gross_revenue: Revenue in EUR including tax, before refunds, from real orders that weren't cancelled.
filters: {'metric_time__year': 2025}
role: analyst
data as of: 2026-07-02 02:00:00
freshness: analytics.fct_orders last loaded 2026-07-02 02:00, period ends 2025-12-31: complete
gq-012 outcome: wrong

gq-021: How much did shipping cost us in fiscal year 2026?
declined: not_in_data: The shop's data does not include a metric for shipping costs.
role: finance
gq-021 outcome: correct

The first card, gq-002, is the answer with everything behind it. Net revenue's definition says what the number includes, the filter says March 2026, the freshness line says the orders feed was complete for that period, and the SQL shows the cancelled orders left out. Its outcome is correct.

The second card, gq-012, is why the card exists. The question asks for total revenue, and the shop's finance team means net revenue by it. The agent chose gross_revenue, and the card's definition line says "Revenue in EUR including tax". A person who reads only the numbers sees three plausible regional totals. A person who reads the first line under them sees that tax is included and asks again. The outcome is wrong, and the card made the mistake visible without the SQL.

The third card is a decline with its kind and its reason, not_in_data, and the role it was computed for, finance. A decline needs no SQL, but it needs the role: when chapter 9 adds access rules, the same question can be answered for one role and declined for another.

Working rule: Show every answer with its provenance, and put the metric's name and definition first, since that's where a near-miss metric shows. Then show the filters, the period, the role and the data as of, and keep the SQL one step away for the people who check it. Show declines the same way, with their kind, reason and role.

この部分はまだ翻訳されていないため、英語で表示している。

Measure declines, not only accuracy

最終変更:版2026.11.15

Declines, the freshness check and provenance change how the agent fails, and a score has to show which way. Accuracy doesn't. It counts a decline on an answerable question as a miss, the same as a wrong number, so an agent that guesses scores no worse than one that declines. Kalai and colleagues argue that grading this way rewards guessing (Kalai et al.). Two pairs of measures separate the cases, and one score weighs them.

Decline precision and recall treat a question whose right answer is a decline as a positive, and a run that ended without a number, by a decline or a question back, as a predicted positive. Decline precision asks how many of the agent's declines were due; decline recall asks how many of the due declines the agent made. Coverage and selective risk come from selective prediction. Coverage is the share of questions the system doesn't reject, and selective risk is the error rate on the questions the system answers (Geifman and El-Yaniv). Lowering the bar for answering raises coverage and usually risk. TrustSQL's penalty score weighs them. In the penalty score, each question scores one point for a right answer or a right decline, nothing for declining an answerable question, and minus c for a wrong number, including an answer to a question it should have declined; the score is the mean over the questions (Lee et al.). TrustSQL's questions to decline are unanswerable ones only, and it leaves resolving ambiguity out of its scope. We score the ambiguous questions too, as questions to decline, and count a question back on one as a right decline, so our score is TrustSQL's adapted to the shop's golden set. With c at 0 it is the share of correct replies, as accuracy is; with c large, one wrong number cancels many right ones. As formulas, where a wrong number includes any number given for a question that should be declined:

decline precision = correct declines / all declines
decline recall    = correct declines / questions whose right answer is a decline
coverage          = questions answered with a number / questions asked
selective risk    = wrong numbers / questions answered with a number
penalty score     = (right answers + correct declines − c × wrong numbers) / questions asked

A run that hit the step limit is neither a decline nor an answer: it adds nothing to the score and counts as unanswered for coverage. Tally in lib/declining.py computes all five. We run chapter 6's metrics-first agent and the declining agent on the same 21 dev questions, 17 answerable and 4 to decline, so the measures compare like with like, and print each one with c at 3, the cost the prompt states, and at 10, a value TrustSQL uses. Choosing c is a judgement about what a wrong number costs, not a measurement.

decline-precision-recall.py Python 3.12.15 · duckdb 2.0.0 · pyyaml 6.0.3 · sqlglot 30.31.0 合格
"""Measure declines, not only accuracy: precision, recall, coverage, selective risk and a penalty score, on dev.The prose's point rests on each agent's decline recall, decline precision and penalty score lines."""from lib.agent import run_agentfrom lib.declining import DecliningToolbox, Tallyfrom lib.golden import golden_result, grade, load_goldenfrom lib.metric_tools import MetricToolbox, catalogfrom lib.model import RecordedModelfrom lib.prompts import declining_prompt, metrics_first_promptfrom lib.semantic import loadfrom lib.warehouse import connectcon, layer = connect(), load()agents = {"metrics-first": (metrics_first_prompt(catalog(layer)), RecordedModel("metric-agent-runs"), MetricToolbox),          "declining": (declining_prompt(catalog(layer)), RecordedModel("decline-runs"), DecliningToolbox)}# The dev split's answer and decline questions; forbidden questions are decided below the model, in chapter 9.questions = [q for q in load_golden() if q.split == "dev" and q.kind in ("answer", "decline")]for name, (system, model, Toolbox) in agents.items():    tally, by_type = Tally(), {"ambiguous": Tally(), "unanswerable": Tally()}    for q in questions:        answer = run_agent(q.question, system, model, Toolbox(con, layer, role=q.role), max_steps=4).answer        outcome = grade(q, answer, golden_result(con, q))        tally.add(q.question_id, q.kind, answer, outcome)        if q.kind == "decline":            by_type[q.decline_type].add(q.question_id, q.kind, answer, outcome)    for ending in ("right", "wrong", "abstained", "step limit"):        print(f"{name} {ending}: {tally.count(ending=ending)} of {len(questions)}")    # None for the kind means every question counts, so the wrong numbers include a number given for any question    for label, kind, ending in (("wrong numbers", None, "wrong"), ("declined answerable", "answer", "abstained")):        ids = [i for i, k, e in tally.rows if kind in (None, k) and e == ending]        print(f"{name} {label}: {', '.join(ids) or 'none'}")    print(f"{name} decline precision: {tally.precision:.2f}")    print(f"{name} decline recall: {tally.recall:.2f}")    for kind, part in by_type.items():        # an abstention is a decline or a question back; this counts those on the questions whose right answer is a decline        print(f"{name} recall, {kind}: {part.count('decline', 'abstained')} of {part.count('decline')}")    print(f"{name} coverage: {tally.coverage:.2f}")    print(f"{name} selective risk: {tally.selective_risk:.2f}")    # c is the penalty for a wrong number, in points: 3 is the cost the prompt states, 10 is one of the penalties TrustSQL reports    for c in (3, 10):        print(f"{name} penalty score, c={c}: {tally.penalty_score(c):.2f}")
出力python decline-precision-recall.py
metrics-first right: 12 of 21
metrics-first wrong: 5 of 21
metrics-first abstained: 3 of 21
metrics-first step limit: 1 of 21
metrics-first wrong numbers: gq-012, gq-016, gq-017, gq-018, gq-020
metrics-first declined answerable: none
metrics-first decline precision: 1.00
metrics-first decline recall: 0.75
metrics-first recall, ambiguous: 1 of 2
metrics-first recall, unanswerable: 2 of 2
metrics-first coverage: 0.81
metrics-first selective risk: 0.29
metrics-first penalty score, c=3: 0.00
metrics-first penalty score, c=10: -1.67
declining right: 11 of 21
declining wrong: 4 of 21
declining abstained: 5 of 21
declining step limit: 1 of 21
declining wrong numbers: gq-008, gq-012, gq-017, gq-018
declining declined answerable: gq-016
declining decline precision: 0.80
declining decline recall: 1.00
declining recall, ambiguous: 2 of 2
declining recall, unanswerable: 2 of 2
declining coverage: 0.71
declining selective risk: 0.27
declining penalty score, c=3: 0.14
declining penalty score, c=10: -1.19

The declining agent declines more and answers less, and the decline measures show the trade. Decline recall rose from 0.75 to 1.00: the declining agent declined or asked back on all four questions, where chapter 6's agent answered "Which region is doing best?". Decline precision fell from 1.00 to 0.80, because it declined one answerable question, gq-016, the count of customers who ordered.

Coverage fell from 0.81 to 0.71, and selective risk moved from 0.29 to 0.27.

The penalty score at c = 3 went from 0.00 to 0.14, and at c = 10 from -1.67 to -1.19.

The wrong numbers tell the rest. Chapter 6's agent gave gq-012, gq-016, gq-017, gq-018, gq-020; the declining agent gave gq-008, gq-012, gq-017, gq-018. Two left the list by the routes this chapter built: gq-020 through the ranking check and a question back, and gq-016 through a decline. One joined it: gq-008, total revenue in 2025, which chapter 6's agent answered with net revenue and this one with gross revenue, the near-miss pair chapter 6 described. The prompt's sentence that a metric with a similar name isn't the same metric didn't prevent it, though with one sample per call, a single flip such as gq-008 may be chance. The rest are the near-miss metrics of gq-012 and gq-018, and gq-017, which needs the asker's region, chapter 9's work. Both agents score below zero at c = 10: a handful of wrong numbers outweighs every right one, which matches TrustSQL's own finding, that "achieving high scores under severe penalties requires significant effort".

Read these as small numbers. The dev split has four questions to decline, so recall moves in steps of a quarter, and one question of 21 changes coverage by about five points. The dev numbers are optimistic for the reason given in Decline with a reason, and this chapter records nothing on the test split. The direction agrees with larger studies: prompting helps abstention but doesn't fix it (Kirichenko et al.), and prompts that push models to critique questions also raise "false invalid judgments" on valid ones (Lin et al.).

Working rule: Score an agent on declines as well as answers: report decline precision and recall, coverage and selective risk, and a penalty score with a c your stakeholders agree to, stated as a judgement. Compare agents on the same questions, and list the wrong numbers each gave, because a change that removes one wrong number can add another. When the decline questions number in single digits, read the runs, not only the rates.

本番環境で何がうまくいかなくなるか

最終変更:版2026.11.12

この店の回答拒否エージェントは、拒否すべき開発向けの質問を拒否するが、その代償として答えられる質問を1つ取りこぼす。実際のウェアハウスを相手に回答拒否を行うエージェントは、次のような形で失敗する。それぞれに気づくための方法がある。

更新のない日が古さと誤認される。 鮮度チェックはデータ中で最も新しい _loaded_at を読む。ある日にイベントがないフィードは、その日の行を1件もロードしない。この店の返金は1日あたり約 1.2 件届くため、静かな週末があると、完全な期間が古いものに見えてしまう。実行ごとに行数を記録するロードログを用意すれば、この問題は解消する。dbt の loaded_at_query は、このようなソースのために存在する。気づくには、フィードごとに古さを理由とする拒否の数を数える。ほとんどの日に拒否されるフィードは、遅れているのではなく、更新が少ないのである。

落ち着くまでの期間が古くなる。 この店の返金の半数は、注文から 27.5 日より後に発生する。この期間は、これまでに観測された最長の遅延である。返品期間が延びたり、決済事業者の処理が遅くなったりすると、期間が短すぎることになり、チェックはまだ増え続けている月を通してしまう。各期間は、すべてのイベントが出そろうだけ古い注文を使って定期的に測り直し、その期間を過ぎてから届くイベントの割合を監視する。

時系列の最後の期間がチェックをすり抜ける。 チェックは、リクエストが絞り込みに使う期間を読む。期間の絞り込みなしで月別に集計したリクエストは、すべての月を返す。最後の月は途中までのデータであるが、チェックは通る。時系列の最後のグループは、必ずフィードと照らして確認するか、時間で集計するすべてのリクエストに期間の指定を求める。

拒否は層が途切れるところで増える。 回答拒否エージェントは、注文した顧客を数える指標がないために gq-016 を拒否した。ウェアハウスが答えられる質問に対する not_in_data の拒否は、どれも層の欠落である。これらは、書くべき指標、または第7章のガード付き SQLに対する未着手の課題として読む。

種類は正しく、理由が誤っていることがある。 gq-016 の理由は絞り込みについて述べており、第6章の予測への返答は的外れなことを尋ねていた。種類は集計のためのものであり、文は人に向けたものであって、それを書くのはモデルである。理由は毎週一部を抜き出して読み、人が区別できる程度に種類の数を抑える。

プロンプトの確信度の目標は較正ではない。 プロンプトはモデルに、確信度が75%を超える場合にだけ答えるよう求める。しかしモデルには、自分の確信度を確実に知る手段がない。LLM が確信度を言葉で表すと「過信しがちである」(Xiong et al.)。また、査読を受けていないある研究では、「クエリの実行可否」は、正しい SQL を誤った SQL より上位に並べる指標の一つとされるが、その AUROC は約 0.61 から 0.68 にとどまる(Richardson)。未知の指標、期間のない順位付け、古いフィードのようなチェックはコードで行うほうがよい。プロンプトの目標は、後押し程度に扱う。

聞き返しが質問の半分しか解決しないことがある。 gq-020 は期間を尋ねたが、「最高」の定義は決めないままだった。それでもスコアは正解として数える。トレースで聞き返しを読み、聞き返しツールには指標の名前を挙げた選択肢を持たせて、人が定義を選べるようにする。

実践ルール: より多くの人がエージェントを使うようになるまでは、鮮度チェックにロードログを持たせ、各指標の落ち着くまでの期間を定期的に測り直し、すべての時系列の最後の期間を確認し、拒否を種類とフィードごとに数え、理由と聞き返しの一部を読む。まず、答えられる質問に対する not_in_data の拒否から始める。それぞれが、書くべき指標を示しているからである。

この章で下した決定

  • 回答の拒否は、実行を終わらせるツールとして実装する。 ツールは、固定された一覧から選ぶ種別と、利用者に向けた一文を持つ。モデルが選ぶのは not_in_data、forecast、no_definition である。stale はコードが与え、第 9 章からは forbidden もコードが与える。
  • 曖昧な質問と回答できない質問は区別し、 それぞれを PRACTIQ または TrustSQL の用語で名付ける。聞き返すのは、どの解釈でも回答できる場合に限る。
  • コードによる検査を、モデルの判断より先に置く。 ランキングの検査は、期間を持たないランキングを拒否する。鮮度の検査は、フィードが期間の終わりに指標の確定期間を加えた日まで届いていない期間を拒否する。
  • 鮮度は、データ内の読み込み時刻から求める。 各テーブルを、それを決めるフィードに対応づけて求め、テーブルのメタデータからは求めない。
  • 確定していない期間は、警告を付けて回答するのではなく、経験則として拒否する。 理由には、フィードの最終読み込みと、そのイベントが届きうる最後の日を示す。返金率の確定期間は、この店の返金に見られる最長の遅延とする。
  • すべての回答に出所を示す。 最初に指標と定義、次にフィルタ、ロール、データの基準時点、鮮度を示し、SQL はワンステップで見られるようにする。
  • 拒否の評価には、適合率と再現率、カバレッジと選択的リスク、ペナルティスコアを用いる。 ペナルティスコアは c = 3 と c = 10 で算出する。これは TrustSQL の平均値であり、曖昧な質問は拒否として採点する。対象は dev 分割の回答および拒否の 21 問で、第 6 章のエージェントと並べて比較する。禁止された質問は第 9 章に委ねる。
  • プロンプトは第 6 章の dev のトレースから書き、一度だけ記録した。 この章用の test 分割は記録していない。

この版における本章

第2026.11.15版2026年11月19日時点で例が通過この章の5 例件のうち5件が合格

英語版の書籍(版2026.11.15)から翻訳した。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。

このページの内容

全11章中の第8章: 答えられないときにそう述べる

  1. ウェアハウスが答えられない質問の種類
  2. Decline with a reason
  3. 回答の前に鮮度を確認する
  4. Show the provenance with every answer
  5. Measure declines, not only accuracy
  6. 本番環境で何がうまくいかなくなるか
  7. この章で下した決定

ページの先頭に戻るすべての章