Cover of Language Models from the Ground Up, edition 2026.11.16, code FY8Q-PVVV Language Models from the Ground Up FY8Q-PVVV 24 editions since Oct 2026 Rolling Edition 2026.11.16

밑바닥부터 시작하는 언어 모델

2026.11.16판 예제 통과 2026년 11월 19 86개 예제 중 86개 통과 변경 사항

AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식

영어판 2026.11.16판을 번역한 것이다. 원문 읽기

언어 모델이 작동하는 방식을 한 부분씩 쌓아 가며 설명한다. 다음 단어 예측, 토큰, 임베딩, 신경망 모델, 어텐션과 트랜스포머, CPU에서 작은 모델 훈련하기, 단어 선택, 오픈 모델이 내부에 담고 있는 것, 그리고 지시 튜닝이 모델을 어떻게 바꾸는지를 다룬다.

대상 독자 Python과 numpy에 익숙하지만 언어 모델이 어떻게 작동하는지는 처음 접하는 독자를 위한 책이다. LLM API를 호출하면서 그 내부에서 무슨 일이 일어나는지 알고 싶은 개발자나, 언어 분야로 옮겨 오는 데이터 과학자가 이에 해당한다.

읽기 시작
판 이력2026년 10월 이후 24판모든 판과 각 판에서 바뀐 내용
2026.10.12026.11.16
2026.11.16 · 2026년 11월 21문장 수정,새 콘텐츠44절 변경됨

목차

11장, 읽는 데 약 7시간 14분, 86개 예제 포함.

  1. 1다음 단어 예측하기

    이 장을 마치면 매장의 상품명을 세는 방식만으로 완전한 언어 모델을 만들 수 있다. 그 모델로 쇼핑객이 입력하는 동안 다음 단어를 제안하고, 텍스트를 생성하고, 한 번도 본 적 없는 텍스트를 얼마나 잘 예측하는지 하나의 수치로 측정할 수 있다. 이후의 모든 장은 이 모델의 한 부분을 더 나은 것으로 바꾸며, 3장부터는 각 변경을 같은 방식으로 측정한다.

  2. 2토큰

    이 장을 마치면 바이트 쌍 인코딩(byte-pair encoding) 토크나이저를 처음부터 만들 수 있다. 어휘 크기마다 드는 비용을 측정해서 어휘 크기를 정할 수 있다. 공개 언어 모델의 토크나이저를 읽고 그 병합 규칙을 직접 손으로 적용할 수 있다. 이 책의 나머지 장에 나오는 모든 모델은 여기서 만드는 토크나이저를 거쳐 상점의 텍스트를 읽는다.

  3. 3Counting further back

    By the end of this chapter you can build an n-gram language model that looks several tokens back, smooth it with Kneser-Ney so it handles text it hasn't seen (smoothing gives some probability to what the counts never saw, as chapter 1 showed), measure the baseline that every neural model in this book is measured against, and see why counting, however clever, runs out of road.

  4. 4Words as vectors

    By the end of this chapter you can turn every token of the store's text into a short vector of numbers, so that tokens used in similar ways get similar vectors, by two methods: compressing counts of which tokens appear together, and training a small model to predict each token's neighbours.

  5. 5신경 언어 모델

    이 장을 마치면 앞선 토큰들의 창(window)으로 다음 토큰을 예측하는 신경 언어 모델을 만들고, 그 기울기를 손으로 계산해 검증하며, PyTorch로 학습시키고, 횟수 세기로 만든 기준 모델과 공정하게 비교하여 측정할 수 있다. 또한 학습된 모델이 학습되었다는 이유만으로 이기지는 않는다는 점도 보게 된다. 이 모델은 단독으로는 횟수 세기에 지지만, 둘을 섞으면 도움이 된다.

  6. 6어텐션

    이 장을 마치면 어텐션을 손으로 계산할 수 있다. 각 토큰의 쿼리가 이전 모든 토큰의 키와 얼마나 잘 맞는지 점수를 매기고, 그 점수를 가중치로 바꾸고, 그 가중치가 고른 값들을 평균한다. 언어 모델이 미래를 보지 못하게 하는 인과 마스크, 가중치가 한 토큰에 몰리지 않게 하는 스케일링, 서로 다른 것을 동시에 찾는 여러 헤드를 더한다. 그런 다음 학습된 모델이 무엇에 어텐션을 두는지 읽고, 무엇을 복사하는지 시험하며, 얼마나 먼 과거까지 보는지 측정한다.

  7. 7The transformer block

    By the end of this chapter you can assemble a transformer block from its parts, joined by residual connections: attention, normalization, a gated feed-forward layer and position information.

  8. 8작은 모델 학습하기

    이 장을 마치면 작은 트랜스포머를 처음부터 끝까지 학습하고 그 결과를 평가할 수 있다. 텍스트를 배치로 만들고, AdamW로 가중치를 갱신하고, 스텝 크기의 스케줄을 정하고, 학습 곡선을 읽고, 횟수를 센 기준선과 비교해 모델을 공정하게 측정한다. 또한 이 규모에서 더 큰 너비, 더 많은 텍스트, 더 긴 학습이 무엇을 가져오는지 확인하고, 모델이 어디에서 횟수 세기보다 나은지, 어디에서 횟수 세기를 곁에 두어야 하는지 찾는다.

  9. 9Choosing the next token

    By the end of this chapter you can turn a language model's probabilities into text, and choose how: always the likeliest token, the likeliest whole text by beam search, or a sample shaped by a temperature, a top-k or top-p cut, a repetition penalty and a minimum length.

  10. 10오픈 모델 들여다보기

    이 장을 마치면 이 책이 지금까지 만든 도구로 오픈 언어 모델을 읽을 수 있다. 파라미터가 어디에 쓰이는지 세고, 모델을 실행하는 데 드는 비용을 계산하고, 토크나이저가 다른 모델과 공정하게 비교되도록 이 모델로 텍스트에 점수를 매기고, 6장에서 본 어텐션 패턴을 이 모델의 헤드에서 찾고, 모델이 무엇을 복사하는지 시험하고, 모델의 크기가 상점의 텍스트에서 무엇을 가져다주고 무엇을 가져다주지 못하는지 알아본다.

  11. 11From predicting to following instructions

    By the end of this chapter you can explain how a model that predicts the next token becomes one that follows requests, build the two training losses that do it, and measure what that change does and doesn't fix.

이 절 인용

형식

각 형식은 이 번역이 따르는 영문 원서를 출처로 표기한다.

모든 형식은 이 판을 명시한다. 링크는 현재 판을 열며, 여기서 절의 제목은 본문이 마지막으로 바뀐 시점을 알려 준다. 접근 날짜와 검색 날짜는 이 자료를 여는 날짜다.