작은 오픈 모델
AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식
영어판 2026.11.9판을 번역한 것이다. 원문 읽기
외부에서 호스팅하는 모델을 하나의 작업을 위해 직접 운영하는 모델로 바꾸는 방법과, 그것이 잘못된 선택이 되는 경우를 다룬다. 은행의 고객 지원 메시지를 담은 BANKING77 데이터셋을 예로 들어 작업 측정, 기반 모델 선택, 프롬프트 작성, LoRA 미세 조정, 증류, 양자화, CPU 서빙, 버전 관리, 사람에게 넘기는 절차를 차례로 살핀다.
대상 독자 지원 문의를 담당 부서로 라우팅하는 일처럼 좁고 반복적인 작업 하나를 위해 이미 호스팅된 모델의 API를 호출하고 있으며, 직접 운영하는 모델로도 그 일을 할 수 있는지 알고 싶은 엔지니어와 데이터 과학자를 위한 책이다. Python과 LLM API를 어느 정도 사용해 본 경험이 필요하며, 트랜스포머의 내부 구조에 대한 지식은 필요하지 않다.
Kindle 또는 모든 전자책 리더기에서 읽는다
EPUB은 Apple Books, Kobo 및 대부분의 전자책 단말기에서도 사용할 수 있다.
Kindle로 보내기
이 판의 EPUB을 보냅니다 한국어.
-
우리 주소 승인하기
아마존은 승인된 주소에서 보낸 파일만 킨들로 전달한다. 파일을 이메일로 보내는 서비스마다 한 번씩 승인해야 한다. 우리 주소를 승인된 개인 문서 이메일 목록에 추가한다.
books@rollingedition.comAmazon 개인 문서 설정 열기. Amazon에서는 콘텐츠 및 기기 관리, 환경설정, 개인 문서 설정에 있다.
보냈다. 몇 분 안에 Kindle 서재에 나타난다.
도서가 도착하지 않으면 대부분 1단계의 승인 문제이다. books@rollingedition.com가 승인된 개인 문서 이메일 목록에 있는지 확인한다.
저장한 책의 새 판은 Kindle로도 전송된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
오늘 {count}권의 책을 보냈으며, 이는 한 계정이 하루에 받을 수 있는 최대치입니다. 내일 다시 시도하세요.
오늘 보낼 수 있는 도서는 모두 보냈다. 내일 다시 시도하라.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
이 판은 용량이 커서 이메일로 보낼 수 없다.
Kindle로 보내기는 Labs와 함께 제공된다.
Kindle 주소가 아니다. 주소는 @kindle.com으로 끝나며, Amazon의 개인 문서 설정에서 찾을 수 있다.
책을 보내지 못했다. 몇 분 후 다시 시도한다.
또는 EPUB을 내려받아 Amazon의 Send to Kindle 페이지에 끌어다 놓는다.
Kindle is a trademark of Amazon.com, Inc.
목차
10장, 읽는 데 약 5시간 15분, 36개 예제 포함.
-
1Build a router for the bank's inbox that hands off when unsure
By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.
-
2모델을 고르기 전에 라우팅 작업을 측정한다
이 장을 마치면 이 책의 각 샘플이 무엇을 위한 것인지 설명할 수 있다. 라우터를 평가하는 세 가지 측정값을 분모와 함께 계산할 수 있다. 한 번 기록해 두고 모든 비교에 다시 쓰는 기준선도 읽을 수 있다.
-
3메시지 한 건의 비용을 세어 기반 모델을 고른다
이 장을 마치면 이 책이 계속 사용하는 두 기반 모델의 이름을 말할 수 있고, 각 모델을 고정된 리비전으로 불러올 수 있으며, 모델을 확정하기 전에 라우팅 메시지 한 건의 비용을 토큰과 파라미터 단위로 셀 수 있다.
-
4작은 모델에 프롬프트를 주고 답을 팀으로 제한하기
이 장을 마치면 작은 오픈 모델을 위한 라우터 프롬프트를 작성하고, 모델의 답이 팀 이름만 될 수 있도록 제한하고, 그 답 가운데 몇 개가 맞는지 측정할 수 있다. 또한 유효한 답이 곧 올바른 답은 아니라는 점도 확인하게 된다. 그래서 다음 장에서는 모델에 더 나은 질문을 하는 대신 모델을 학습시킨다.
-
5LoRA로 분류 헤드 미세 조정하기
이 장을 마치면 레이블이 붙은 메시지로 LoRA를 사용해 분류 헤드를 학습하고, 학습으로 바뀌는 파라미터를 세고, 정해 둔 규칙에 따라 dev 분할에서 인계 임계값을 고르고, 그 임계값을 그것이 만들어 낸 결과 옆에 기록할 수 있다.
-
6더 큰 모델의 답을 작은 모델로 증류하기
이 장을 마치면 더 큰 교사 모델이 학습 행에 붙인 레이블로 작은 학생 모델을 학습시킬 수 있다. 또한 그 레이블이 정답 레이블과 얼마나 자주 일치하는지 측정할 수 있고, 같은 메시지를 바탕으로 정답 레이블로 학습시킨 학생 모델과 견주어 이 학생 모델을 쓸 만한지 판단할 수 있다.
-
7라우터를 양자화하고 무엇이 달라지는지 측정하기
이 장을 마치면 파인튜닝한 라우터의 백본 가중치를 함수 한 번의 호출로 8비트 정수로 저장하고, 고정된 표본에서 예측이 바뀌는 개수를 세고, 그 개수가 보여 주는 것과 보여 주지 않는 것을 설명할 수 있다. 속도를 어떻게 측정하는지, 그리고 한 대의 기계에서 기록한 결과가 무엇을 보였는지도 확인한다.
-
8CPU에서 라우터 서비스하기: 인계를 라우트 안에 두기
이 장을 마치면 메시지마다 팀, 신뢰도, 인계 플래그를 반환하는
POST /route엔드포인트 하나로 라우터를 서비스할 수 있다. 또한 라우트가 인계한 메시지에 대해서는 팀을 절대 반환하지 않는다는 것을 테스트할 수 있다. -
9라우터의 버전을 관리하고, 인계를 지켜보고, 사람에게 되돌린다
이 장을 마치면 라우터의 답을 만드는 구성 요소로 라우터를 식별하고, 경로가 구성 요소를 불러오기 전에 그것을 검사하고, 메시지 구간마다 인계율을 정해진 기준선과 비교하여 세고, 인계된 각 메시지가 어디로 가는지 말할 수 있다.
-
10작은 모델이 잘못된 선택일 때
이 장을 마치면 작은 라우터가 어디에서 여전히 대역 모델에 뒤지는지, 어디에서 호스팅 모델이 더 나은 결과를 낼 것으로 기대되는지 말할 수 있다. 날짜와 함께 밝힌 입력으로 각 선택지의 월 비용을 계산할 수 있다. 자체 머신이 더 저렴한 경로가 되는 사용량을 찾을 수 있다. 어떤 비용보다 먼저 이 문제를 결정하는 요구 사항을 짚어 낼 수 있다.