Cover of Language Models from the Ground Up, edition 2026.11.16, code FY8Q-PVVV Language Models from the Ground Up FY8Q-PVVV 24 editions since Oct 2026 Rolling Edition 2026.11.16

言語モデルをゼロから学ぶ

第2026.11.16版 2026年11月19日時点で例が通過 86 例中 86 例が合格 変更点

AIによる翻訳。英語版は人による検証済みである。 当社の書籍の作り方

英語版の書籍(版2026.11.16)から翻訳した。 原文を読む

言語モデルがどのように動作するのかを、一つずつ部品を組み立てながら説明する。扱う内容は、次の単語の予測、トークン、埋め込み、ニューラルモデル、アテンションとトランスフォーマー、CPU 上での小さなモデルの訓練、単語の選び方、オープンモデルが内部に持つもの、そして指示チューニングがモデルをどのように変えるかである。

対象読者 PythonとNumPyに慣れているが、言語モデルの仕組みは初めて学ぶ読者に向けた本である。想定する読者は、LLMのAPIを呼び出していて内部で何が起きているかを知りたい開発者や、言語分野へ移ろうとしているデータサイエンティストである。

読み始める
版の履歴2026年10月以降24 版各版と、その変更点
2026.10.12026.11.16
2026.11.16 · 2026年11月21日文章の修正、新しいコンテンツ44 節 節が変更された

目次

11 章、読了までおよそ7 時間 31 分、86 例を収録。

  1. 1次の単語を予測する

    この章を終えるまでに、ある店舗の商品名から、単語の出現を数えるだけで完全な言語モデルを構築できるようになる。

  2. 2トークン

    この章を終えると、バイト対符号化(byte-pair encoding)のトークナイザをゼロから構築し、各語彙サイズに要するコストを測定して語彙サイズを選び、オープンな言語モデルのトークナイザを読んで、その統合規則を手作業で適用できるようになる。

  3. 3Counting further back

    By the end of this chapter you can build an n-gram language model that looks several tokens back, smooth it with Kneser-Ney so it handles text it hasn't seen (smoothing gives some probability to what the counts never saw, as chapter 1 showed), measure the baseline that every neural model in this book is measured against, and see why counting, however clever, runs out of road.

  4. 4Words as vectors

    By the end of this chapter you can turn every token of the store's text into a short vector of numbers, so that tokens used in similar ways get similar vectors, by two methods: compressing counts of which tokens appear together, and training a small model to predict each token's neighbours.

  5. 5ニューラル言語モデル

    この章を終えると、先行するトークンの窓から次のトークンを予測するニューラル言語モデルを構築できるようになる。

  6. 6アテンション

    この章を終えるまでに、アテンションを手計算できるようになる。

  7. 7トランスフォーマーブロック

    この章を終えると、トランスフォーマーブロックをその部品から組み立てられるようになる。

  8. 8小さなモデルの訓練

    この章を終えると、小さなtransformerを最初から最後まで訓練し、その結果を評価できるようになる。

  9. 9Choosing the next token

    By the end of this chapter you can turn a language model's probabilities into text, and choose how: always the likeliest token, the likeliest whole text by beam search, or a sample shaped by a temperature, a top-k or top-p cut, a repetition penalty and a minimum length.

  10. 10オープンモデルの内部

    この章を終えると、本書がここまでに築いてきた道具を使って、オープンな言語モデルを読み解けるようになる。

  11. 11予測から指示への追従へ

    この章を終えると、次のトークンを予測するモデルがどのようにして要求に従うモデルになるのかを説明でき、それを実現する二つの訓練損失を構築でき、その変化が何を解決し何を解決しないのかを測定できる。

この節を引用する

形式

いずれの形式も、本訳書が従う英語版の書籍を出典として示す。

いずれの形式もこの版を明示している。そのリンクは現行版を開き、節の見出しには本文が最後に変更された日付が示される。アクセス日と取得日は、これを開いた日である。