밑바닥부터 시작하는 언어 모델
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.16판을 번역한 것이다. 원문 읽기
언어 모델이 작동하는 방식을 한 부분씩 쌓아 가며 설명한다. 다음 단어 예측, 토큰, 임베딩, 신경망 모델, 어텐션과 트랜스포머, CPU에서 작은 모델 훈련하기, 단어 선택, 오픈 모델이 내부에 담고 있는 것, 그리고 지시 튜닝이 모델을 어떻게 바꾸는지를 다룬다.
대상 독자 Python과 numpy에 익숙하지만 언어 모델이 어떻게 작동하는지는 처음 접하는 독자를 위한 책이다. LLM API를 호출하면서 그 내부에서 무슨 일이 일어나는지 알고 싶은 개발자나, 언어 분야로 옮겨 오는 데이터 과학자가 이에 해당한다.
Kindle 또는 모든 전자책 리더기에서 읽는다
EPUB은 Apple Books, Kobo 및 대부분의 전자책 단말기에서도 사용할 수 있다.
Kindle로 보내기
이 판의 EPUB을 보냅니다 한국어.
-
우리 주소 승인하기
아마존은 승인된 주소에서 보낸 파일만 킨들로 전달한다. 파일을 이메일로 보내는 서비스마다 한 번씩 승인해야 한다. 우리 주소를 승인된 개인 문서 이메일 목록에 추가한다.
books@rollingedition.comAmazon 개인 문서 설정 열기. Amazon에서는 콘텐츠 및 기기 관리, 환경설정, 개인 문서 설정에 있다.
보냈다. 몇 분 안에 Kindle 서재에 나타난다.
도서가 도착하지 않으면 대부분 1단계의 승인 문제이다. books@rollingedition.com가 승인된 개인 문서 이메일 목록에 있는지 확인한다.
저장한 책의 새 판은 Kindle로도 전송된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
오늘 {count}권의 책을 보냈으며, 이는 한 계정이 하루에 받을 수 있는 최대치입니다. 내일 다시 시도하세요.
오늘 보낼 수 있는 도서는 모두 보냈다. 내일 다시 시도하라.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
이 판은 용량이 커서 이메일로 보낼 수 없다.
Kindle로 보내기는 Labs와 함께 제공된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
또는 EPUB을 내려받아 Amazon의 Send to Kindle 페이지에 끌어다 놓는다.
Kindle is a trademark of Amazon.com, Inc.
목차
11장, 읽는 데 약 7시간 14분, 86개 예제 포함.
-
1다음 단어 예측하기
이 장을 마치면 매장의 상품명을 세는 방식만으로 완전한 언어 모델을 만들 수 있다. 그 모델로 쇼핑객이 입력하는 동안 다음 단어를 제안하고, 텍스트를 생성하고, 한 번도 본 적 없는 텍스트를 얼마나 잘 예측하는지 하나의 수치로 측정할 수 있다. 이후의 모든 장은 이 모델의 한 부분을 더 나은 것으로 바꾸며, 3장부터는 각 변경을 같은 방식으로 측정한다.
-
2토큰
이 장을 마치면 바이트 쌍 인코딩(byte-pair encoding) 토크나이저를 처음부터 만들 수 있다. 어휘 크기마다 드는 비용을 측정해서 어휘 크기를 정할 수 있다. 공개 언어 모델의 토크나이저를 읽고 그 병합 규칙을 직접 손으로 적용할 수 있다. 이 책의 나머지 장에 나오는 모든 모델은 여기서 만드는 토크나이저를 거쳐 상점의 텍스트를 읽는다.
-
3Counting further back
By the end of this chapter you can build an n-gram language model that looks several tokens back, smooth it with Kneser-Ney so it handles text it hasn't seen (smoothing gives some probability to what the counts never saw, as chapter 1 showed), measure the baseline that every neural model in this book is measured against, and see why counting, however clever, runs out of road.
-
4Words as vectors
By the end of this chapter you can turn every token of the store's text into a short vector of numbers, so that tokens used in similar ways get similar vectors, by two methods: compressing counts of which tokens appear together, and training a small model to predict each token's neighbours.
-
5신경 언어 모델
이 장을 마치면 앞선 토큰들의 창(window)으로 다음 토큰을 예측하는 신경 언어 모델을 만들고, 그 기울기를 손으로 계산해 검증하며, PyTorch로 학습시키고, 횟수 세기로 만든 기준 모델과 공정하게 비교하여 측정할 수 있다. 또한 학습된 모델이 학습되었다는 이유만으로 이기지는 않는다는 점도 보게 된다. 이 모델은 단독으로는 횟수 세기에 지지만, 둘을 섞으면 도움이 된다.
-
6어텐션
이 장을 마치면 어텐션을 손으로 계산할 수 있다. 각 토큰의 쿼리가 이전 모든 토큰의 키와 얼마나 잘 맞는지 점수를 매기고, 그 점수를 가중치로 바꾸고, 그 가중치가 고른 값들을 평균한다. 언어 모델이 미래를 보지 못하게 하는 인과 마스크, 가중치가 한 토큰에 몰리지 않게 하는 스케일링, 서로 다른 것을 동시에 찾는 여러 헤드를 더한다. 그런 다음 학습된 모델이 무엇에 어텐션을 두는지 읽고, 무엇을 복사하는지 시험하며, 얼마나 먼 과거까지 보는지 측정한다.
-
7The transformer block
By the end of this chapter you can assemble a transformer block from its parts, joined by residual connections: attention, normalization, a gated feed-forward layer and position information.
-
8작은 모델 학습하기
이 장을 마치면 작은 트랜스포머를 처음부터 끝까지 학습하고 그 결과를 평가할 수 있다. 텍스트를 배치로 만들고, AdamW로 가중치를 갱신하고, 스텝 크기의 스케줄을 정하고, 학습 곡선을 읽고, 횟수를 센 기준선과 비교해 모델을 공정하게 측정한다. 또한 이 규모에서 더 큰 너비, 더 많은 텍스트, 더 긴 학습이 무엇을 가져오는지 확인하고, 모델이 어디에서 횟수 세기보다 나은지, 어디에서 횟수 세기를 곁에 두어야 하는지 찾는다.
-
9Choosing the next token
By the end of this chapter you can turn a language model's probabilities into text, and choose how: always the likeliest token, the likeliest whole text by beam search, or a sample shaped by a temperature, a top-k or top-p cut, a repetition penalty and a minimum length.
-
10오픈 모델 들여다보기
이 장을 마치면 이 책이 지금까지 만든 도구로 오픈 언어 모델을 읽을 수 있다. 파라미터가 어디에 쓰이는지 세고, 모델을 실행하는 데 드는 비용을 계산하고, 토크나이저가 다른 모델과 공정하게 비교되도록 이 모델로 텍스트에 점수를 매기고, 6장에서 본 어텐션 패턴을 이 모델의 헤드에서 찾고, 모델이 무엇을 복사하는지 시험하고, 모델의 크기가 상점의 텍스트에서 무엇을 가져다주고 무엇을 가져다주지 못하는지 알아본다.
-
11From predicting to following instructions
By the end of this chapter you can explain how a model that predicts the next token becomes one that follows requests, build the two training losses that do it, and measure what that change does and doesn't fix.