Cover of Small Open Models, edition 2026.11.9, code ND0S-78AT Small Open Models ND0S-78AT 9 editions since Nov 2026 Rolling Edition 2026.11.9

Pequenos Modelos Abertos

Edição 2026.11.9 Exemplos aprovados em 20 de nov de 2026 36 de 36 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.9. Leia o original

Como substituir um modelo hospedado por um modelo que você mesmo executa para uma única tarefa, e quando essa é a escolha errada: medir a tarefa, escolher um modelo base, fazer prompting, ajuste fino com LoRA, destilação, quantização, serving em CPU, versões e transferências para pessoas, usando as mensagens de suporte de um banco do BANKING77.

Para quem é {"markdown": "Para engenheiros e cientistas de dados que já chamam a API de um modelo hospedado para uma tarefa restrita e repetitiva, como o roteamento de mensagens de suporte, e que querem saber se um modelo executado por conta própria consegue realizá-la. Você precisa de Python e de algum uso de uma API de LLM, não dos detalhes internos de um transformer."}

Comece a ler
Histórico de edições9 edições desde novembro de 2026Cada edição e o que ela mudou
2026.11.12026.11.9
2026.11.9 · 21 de nov de 2026Correção de texto,Conteúdo novo19 seções alterado(s)

Sumário

10 capítulos, cerca de 3 horas 45 minutos de leitura, com 36 exemplos.

  1. 1Build a router for the bank's inbox that hands off when unsure

    By the end of this chapter, you can build a router that returns a team, a confidence and a hand-off flag for one message, score it on a fixed sample by three measures, and see why an untrained small model, prompted as it stands, can't be the router's first version.

  2. 2Meça a tarefa de roteamento antes de escolher um modelo

    Ao final deste capítulo, você saberá dizer para que serve cada uma das amostras do livro, calcular as três medidas pelas quais o roteador é avaliado, com seus denominadores, e ler uma linha de base que foi registrada uma única vez e é reutilizada em cada comparação.

  3. 3Escolha um modelo base contando quanto custa uma mensagem

    Ao final deste capítulo, você será capaz de nomear os dois modelos base que este livro usa, carregar cada um na revisão fixada e contar quanto custa uma mensagem de roteamento em tokens e parâmetros antes de se comprometer com um modelo.

  4. 4Dê um prompt a um modelo pequeno e restrinja suas respostas aos times

    Ao final deste capítulo, você será capaz de escrever um prompt de roteamento para um modelo aberto pequeno, restringir a resposta para que ela só possa ser o nome de um time e medir quantas dessas respostas estão certas.

  5. 5Ajuste fino de uma cabeça de classificação com LoRA

    Ao final deste capítulo, você será capaz de treinar uma cabeça de classificação com as mensagens rotuladas usando LoRA, contar os parâmetros que o treinamento altera, escolher um limiar de encaminhamento no conjunto de desenvolvimento por meio de uma regra declarada e registrar esse limiar junto aos resultados que ele produziu.

  6. 6Destile as respostas de um modelo maior em um modelo pequeno

    Ao final deste capítulo, você será capaz de treinar um pequeno modelo aluno com os rótulos que um modelo professor maior atribui às linhas de treinamento, medir com que frequência esses rótulos concordam com os rótulos de referência (gold) e decidir, a partir das mesmas mensagens, se o aluno vale a pena ser usado ao lado de um aluno treinado com os rótulos de referência.

  7. 7Quantize o roteador e meça o que muda

    Ao final deste capítulo, você saberá armazenar os pesos do backbone do roteador ajustado como inteiros de 8 bits em uma única chamada, contar as previsões que mudam em uma amostra fixa e dizer o que essa contagem mostra e o que não mostra.

  8. 8Sirva o roteador em uma CPU, com a transferência para uma pessoa dentro da rota

    Ao final deste capítulo, você poderá servir o roteador como um único endpoint POST /route que devolve, para cada mensagem, uma equipe, uma confiança e um sinalizador de transferência.

  9. 9Versione o roteador, acompanhe seus repasses e recorra a pessoas

    Ao final deste capítulo, você será capaz de nomear um roteador pelas partes que compõem suas respostas, verificar essas partes antes que a rota as carregue, calcular a taxa de repasse para cada janela de mensagens em relação a uma linha de base declarada e dizer para onde vai cada mensagem repassada.

  10. 10Quando um modelo pequeno é a escolha errada

    Ao final deste capítulo, você saberá dizer onde um roteador pequeno ainda perde para o substituto e onde se espera que um modelo hospedado tenha melhor desempenho.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.