言語モデルをゼロから学ぶ
言語モデルがどのように動作するのかを、一つずつ部品を組み立てながら説明する。扱う内容は、次の単語の予測、トークン、埋め込み、ニューラルモデル、アテンションとトランスフォーマー、CPU 上での小さなモデルの訓練、単語の選び方、オープンモデルが内部に持つもの、そして指示チューニングがモデルをどのように変えるかである。
対象読者 PythonとNumPyに慣れているが、言語モデルの仕組みは初めて学ぶ読者に向けた本である。想定する読者は、LLMのAPIを呼び出していて内部で何が起きているかを知りたい開発者や、言語分野へ移ろうとしているデータサイエンティストである。
Kindleまたは任意の電子書籍リーダーで読む
EPUB は Apple Books、Kobo、そのほとんどの電子書籍リーダーでも利用できる。
Kindleに送る
この版のEPUBを送信します。 日本語.
-
当社のアドレスを承認する
Amazonは、承認済みのアドレスからのものに限ってKindleへ配信する。配信するサービスごとに一度ずつ承認が必要である。当社のアドレスを、承認済みのパーソナルドキュメント用メールアドレスの一覧に追加する。
books@rollingedition.comAmazonのパーソナルドキュメント設定を開く. Amazonでは、「コンテンツと端末の管理」、「環境設定」、「パーソナルドキュメント設定」の順に進む。
送信しました。数分後に Kindle のライブラリに表示されます。
届かない場合、ほとんどは手順1の承認が原因である。books@rollingedition.comが承認済みのパーソナルドキュメント用メールアドレスの一覧に入っているかを確認する。
保存した書籍の新しい版も、同じくKindleに届く。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
本日すでに {count} 冊を送信しており、これは1アカウントが1日に送信できる上限である。明日再度試すこと。
本日送信できる冊数の上限に達した。明日再度試すこと。
書籍を送信できなかった。数分後に再度試すこと。
この版は大きすぎて電子メールで送信できない。
Kindleへの送信はLabsに含まれる。
Kindle のアドレスではない。アドレスは @kindle.com で終わる。Amazon の「パーソナル ドキュメント設定」で確認できる。
書籍を送信できなかった。数分後に再度試すこと。
または、EPUBをダウンロードし、AmazonのSend to Kindleページにドロップする。
Kindle is a trademark of Amazon.com, Inc.
目次
11 章、読了までおよそ7 時間 31 分、86 例を収録。
-
1次の単語を予測する
この章を終えるまでに、ある店舗の商品名から、単語の出現を数えるだけで完全な言語モデルを構築できるようになる。
-
2トークン
この章を終えると、バイト対符号化(byte-pair encoding)のトークナイザをゼロから構築し、各語彙サイズに要するコストを測定して語彙サイズを選び、オープンな言語モデルのトークナイザを読んで、その統合規則を手作業で適用できるようになる。
-
3Counting further back
By the end of this chapter you can build an n-gram language model that looks several tokens back, smooth it with Kneser-Ney so it handles text it hasn't seen (smoothing gives some probability to what the counts never saw, as chapter 1 showed), measure the baseline that every neural model in this book is measured against, and see why counting, however clever, runs out of road.
-
4Words as vectors
By the end of this chapter you can turn every token of the store's text into a short vector of numbers, so that tokens used in similar ways get similar vectors, by two methods: compressing counts of which tokens appear together, and training a small model to predict each token's neighbours.
-
5ニューラル言語モデル
この章を終えると、先行するトークンの窓から次のトークンを予測するニューラル言語モデルを構築できるようになる。
-
6アテンション
この章を終えるまでに、アテンションを手計算できるようになる。
-
7トランスフォーマーブロック
この章を終えると、トランスフォーマーブロックをその部品から組み立てられるようになる。
-
8小さなモデルの訓練
この章を終えると、小さなtransformerを最初から最後まで訓練し、その結果を評価できるようになる。
-
9Choosing the next token
By the end of this chapter you can turn a language model's probabilities into text, and choose how: always the likeliest token, the likeliest whole text by beam search, or a sample shaped by a temperature, a top-k or top-p cut, a repetition penalty and a minimum length.
-
10オープンモデルの内部
この章を終えると、本書がここまでに築いてきた道具を使って、オープンな言語モデルを読み解けるようになる。
-
11予測から指示への追従へ
この章を終えると、次のトークンを予測するモデルがどのようにして要求に従うモデルになるのかを説明でき、それを実現する二つの訓練損失を構築でき、その変化が何を解決し何を解決しないのかを測定できる。