Cover of Small Open Models, edition 2026.11.9, code ND0S-78AT Small Open Models ND0S-78AT 9 editions since Nov 2026 Rolling Edition 2026.11.9

작은 오픈 모델

2026.11.9판 예제 통과 2026년 11월 20 36개 예제 중 36개 통과 변경 사항

AI로 번역함. 영어 원문을 사람이 검증함. 우리가 책을 만드는 방식

영어판 2026.11.9판을 번역한 것이다. 원문 읽기

외부에서 호스팅하는 모델을 하나의 작업을 위해 직접 운영하는 모델로 바꾸는 방법과, 그것이 잘못된 선택이 되는 경우를 다룬다. 은행의 고객 지원 메시지를 담은 BANKING77 데이터셋을 예로 들어 작업 측정, 기반 모델 선택, 프롬프트 작성, LoRA 미세 조정, 증류, 양자화, CPU 서빙, 버전 관리, 사람에게 넘기는 절차를 차례로 살핀다.

대상 독자 지원 문의를 담당 부서로 라우팅하는 일처럼 좁고 반복적인 작업 하나를 위해 이미 호스팅된 모델의 API를 호출하고 있으며, 직접 운영하는 모델로도 그 일을 할 수 있는지 알고 싶은 엔지니어와 데이터 과학자를 위한 책이다. Python과 LLM API를 어느 정도 사용해 본 경험이 필요하며, 트랜스포머의 내부 구조에 대한 지식은 필요하지 않다.

읽기 시작
판 이력2026년 11월 이후 9판모든 판과 각 판에서 바뀐 내용
2026.11.12026.11.9
2026.11.9 · 2026년 11월 21문장 수정,새 콘텐츠19절 변경됨

목차

10장, 읽는 데 약 5시간 15분, 36개 예제 포함.

  1. 1Build a router for the bank's inbox that hands off when unsure

    By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.

  2. 2모델을 고르기 전에 라우팅 작업을 측정한다

    이 장을 마치면 이 책의 각 샘플이 무엇을 위한 것인지 설명할 수 있다. 라우터를 평가하는 세 가지 측정값을 분모와 함께 계산할 수 있다. 한 번 기록해 두고 모든 비교에 다시 쓰는 기준선도 읽을 수 있다.

  3. 3메시지 한 건의 비용을 세어 기반 모델을 고른다

    이 장을 마치면 이 책이 계속 사용하는 두 기반 모델의 이름을 말할 수 있고, 각 모델을 고정된 리비전으로 불러올 수 있으며, 모델을 확정하기 전에 라우팅 메시지 한 건의 비용을 토큰과 파라미터 단위로 셀 수 있다.

  4. 4작은 모델에 프롬프트를 주고 답을 팀으로 제한하기

    이 장을 마치면 작은 오픈 모델을 위한 라우터 프롬프트를 작성하고, 모델의 답이 팀 이름만 될 수 있도록 제한하고, 그 답 가운데 몇 개가 맞는지 측정할 수 있다. 또한 유효한 답이 곧 올바른 답은 아니라는 점도 확인하게 된다. 그래서 다음 장에서는 모델에 더 나은 질문을 하는 대신 모델을 학습시킨다.

  5. 5LoRA로 분류 헤드 미세 조정하기

    이 장을 마치면 레이블이 붙은 메시지로 LoRA를 사용해 분류 헤드를 학습하고, 학습으로 바뀌는 파라미터를 세고, 정해 둔 규칙에 따라 dev 분할에서 인계 임계값을 고르고, 그 임계값을 그것이 만들어 낸 결과 옆에 기록할 수 있다.

  6. 6더 큰 모델의 답을 작은 모델로 증류하기

    이 장을 마치면 더 큰 교사 모델이 학습 행에 붙인 레이블로 작은 학생 모델을 학습시킬 수 있다. 또한 그 레이블이 정답 레이블과 얼마나 자주 일치하는지 측정할 수 있고, 같은 메시지를 바탕으로 정답 레이블로 학습시킨 학생 모델과 견주어 이 학생 모델을 쓸 만한지 판단할 수 있다.

  7. 7라우터를 양자화하고 무엇이 달라지는지 측정하기

    이 장을 마치면 파인튜닝한 라우터의 백본 가중치를 함수 한 번의 호출로 8비트 정수로 저장하고, 고정된 표본에서 예측이 바뀌는 개수를 세고, 그 개수가 보여 주는 것과 보여 주지 않는 것을 설명할 수 있다. 속도를 어떻게 측정하는지, 그리고 한 대의 기계에서 기록한 결과가 무엇을 보였는지도 확인한다.

  8. 8CPU에서 라우터 서비스하기: 인계를 라우트 안에 두기

    이 장을 마치면 메시지마다 팀, 신뢰도, 인계 플래그를 반환하는 POST /route 엔드포인트 하나로 라우터를 서비스할 수 있다. 또한 라우트가 인계한 메시지에 대해서는 팀을 절대 반환하지 않는다는 것을 테스트할 수 있다.

  9. 9라우터의 버전을 관리하고, 인계를 지켜보고, 사람에게 되돌린다

    이 장을 마치면 라우터의 답을 만드는 구성 요소로 라우터를 식별하고, 경로가 구성 요소를 불러오기 전에 그것을 검사하고, 메시지 구간마다 인계율을 정해진 기준선과 비교하여 세고, 인계된 각 메시지가 어디로 가는지 말할 수 있다.

  10. 10작은 모델이 잘못된 선택일 때

    이 장을 마치면 작은 라우터가 어디에서 여전히 대역 모델에 뒤지는지, 어디에서 호스팅 모델이 더 나은 결과를 낼 것으로 기대되는지 말할 수 있다. 날짜와 함께 밝힌 입력으로 각 선택지의 월 비용을 계산할 수 있다. 자체 머신이 더 저렴한 경로가 되는 사용량을 찾을 수 있다. 어떤 비용보다 먼저 이 문제를 결정하는 요구 사항을 짚어 낼 수 있다.

이 절 인용

형식

각 형식은 이 번역이 따르는 영문 원서를 출처로 표기한다.

모든 형식은 이 판을 명시한다. 링크는 현재 판을 열며, 여기서 절의 제목은 본문이 마지막으로 바뀐 시점을 알려 준다. 접근 날짜와 검색 날짜는 이 자료를 여는 날짜다.