Pequenos Modelos Abertos
Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros
Traduzido do livro em inglês, edição 2026.11.9. Leia o original
Como substituir um modelo hospedado por um modelo que você mesmo executa para uma única tarefa, e quando essa é a escolha errada: medir a tarefa, escolher um modelo base, fazer prompting, ajuste fino com LoRA, destilação, quantização, serving em CPU, versões e transferências para pessoas, usando as mensagens de suporte de um banco do BANKING77.
Para quem é {"markdown": "Para engenheiros e cientistas de dados que já chamam a API de um modelo hospedado para uma tarefa restrita e repetitiva, como o roteamento de mensagens de suporte, e que querem saber se um modelo executado por conta própria consegue realizá-la. Você precisa de Python e de algum uso de uma API de LLM, não dos detalhes internos de um transformer."}
Leia no Kindle ou em qualquer leitor de e-books
O EPUB também funciona no Apple Books, no Kobo e na maioria dos leitores de e-books.
Enviar para o Kindle
Envia o EPUB desta edição em Português (Brasil).
-
Aprove o nosso endereço
A Amazon entrega no Kindle somente a partir de endereços que você aprovou, uma vez para cada serviço que envia e-mails a ele. Adicione o nosso à sua Lista de E-mails Aprovados para Documentos Pessoais.
books@rollingedition.comAbrir as Configurações de documentos pessoais da Amazon. Na Amazon, isso fica em Gerenciar seu conteúdo e dispositivos, Preferências, Configurações de documentos pessoais.
Enviado. Ele aparecerá na sua biblioteca do Kindle em alguns minutos.
Se não chegar, quase sempre o problema é a aprovação do passo 1: verifique se books@rollingedition.com está na sua Lista de E-mails Aprovados para Documentos Pessoais.
Cada nova edição dos seus livros salvos também será enviada para o seu Kindle.
Este não é um endereço do Kindle. Ele termina em @kindle.com: você o encontra em Configurações de Documentos Pessoais da Amazon.
Você enviou {count} livros hoje, o máximo que enviamos para uma conta em um dia. Tente novamente amanhã.
Enviamos todos os livros que podíamos hoje. Tente novamente amanhã.
O livro não foi enviado. Tente novamente em alguns minutos.
Esta edição é grande demais para enviar por e-mail.
Enviar para o Kindle vem com o Labs.
Este não é um endereço do Kindle. Ele termina em @kindle.com: você o encontra em Configurações de Documentos Pessoais da Amazon.
O livro não foi enviado. Tente novamente em alguns minutos.
Ou baixe o EPUB e envie-o na página Enviar para o Kindle da Amazon.
Kindle is a trademark of Amazon.com, Inc.
Sumário
10 capítulos, cerca de 3 horas 45 minutos de leitura, com 36 exemplos.
-
1Build a router for the bank's inbox that hands off when unsure
By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.
-
2Meça a tarefa de roteamento antes de escolher um modelo
Ao final deste capítulo, você saberá dizer para que serve cada uma das amostras do livro, calcular as três medidas pelas quais o roteador é avaliado, com seus denominadores, e ler uma linha de base que foi registrada uma única vez e é reutilizada em cada comparação.
-
3Escolha um modelo base contando quanto custa uma mensagem
Ao final deste capítulo, você será capaz de nomear os dois modelos base que este livro usa, carregar cada um na revisão fixada e contar quanto custa uma mensagem de roteamento em tokens e parâmetros antes de se comprometer com um modelo.
-
4Dê um prompt a um modelo pequeno e restrinja suas respostas aos times
Ao final deste capítulo, você será capaz de escrever um prompt de roteamento para um modelo aberto pequeno, restringir a resposta para que ela só possa ser o nome de um time e medir quantas dessas respostas estão certas.
-
5Ajuste fino de uma cabeça de classificação com LoRA
Ao final deste capítulo, você será capaz de treinar uma cabeça de classificação com as mensagens rotuladas usando LoRA, contar os parâmetros que o treinamento altera, escolher um limiar de encaminhamento no conjunto de desenvolvimento por meio de uma regra declarada e registrar esse limiar junto aos resultados que ele produziu.
-
6Destile as respostas de um modelo maior em um modelo pequeno
Ao final deste capítulo, você será capaz de treinar um pequeno modelo aluno com os rótulos que um modelo professor maior atribui às linhas de treinamento, medir com que frequência esses rótulos concordam com os rótulos de referência (gold) e decidir, a partir das mesmas mensagens, se o aluno vale a pena ser usado ao lado de um aluno treinado com os rótulos de referência.
-
7Quantize o roteador e meça o que muda
Ao final deste capítulo, você saberá armazenar os pesos do backbone do roteador ajustado como inteiros de 8 bits em uma única chamada, contar as previsões que mudam em uma amostra fixa e dizer o que essa contagem mostra e o que não mostra.
-
8Sirva o roteador em uma CPU, com a transferência para uma pessoa dentro da rota
Ao final deste capítulo, você poderá servir o roteador como um único endpoint
POST /routeque devolve, para cada mensagem, uma equipe, uma confiança e um sinalizador de transferência. -
9Versione o roteador, acompanhe seus repasses e recorra a pessoas
Ao final deste capítulo, você será capaz de nomear um roteador pelas partes que compõem suas respostas, verificar essas partes antes que a rota as carregue, calcular a taxa de repasse para cada janela de mensagens em relação a uma linha de base declarada e dizer para onde vai cada mensagem repassada.
-
10Quando um modelo pequeno é a escolha errada
Ao final deste capítulo, você saberá dizer onde um roteador pequeno ainda perde para o substituto e onde se espera que um modelo hospedado tenha melhor desempenho.