{"markdown": "Modelos de Linguagem do Zero"}
Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros
Traduzido do livro em inglês, edição 2026.11.16. Leia o original
Como funciona um modelo de linguagem, construído uma parte por vez: previsão da próxima palavra, tokens, embeddings, um modelo neural, atenção e o transformer, treinamento de um modelo pequeno em uma CPU, escolha de palavras, o que um modelo aberto guarda por dentro e como o ajuste por instruções o altera.
Para quem é Para leitores à vontade com Python e numpy que são novos no funcionamento dos modelos de linguagem: um desenvolvedor que chama APIs de LLM e quer saber o que acontece por dentro, ou um cientista de dados que está migrando para o trabalho com linguagem.
Leia no Kindle ou em qualquer leitor de e-books
O EPUB também funciona no Apple Books, no Kobo e na maioria dos leitores de e-books.
Enviar para o Kindle
Envia o EPUB desta edição em Português (Brasil).
-
Aprove o nosso endereço
A Amazon entrega no Kindle somente a partir de endereços que você aprovou, uma vez para cada serviço que envia e-mails a ele. Adicione o nosso à sua Lista de E-mails Aprovados para Documentos Pessoais.
books@rollingedition.comAbrir as Configurações de documentos pessoais da Amazon. Na Amazon, isso fica em Gerenciar seu conteúdo e dispositivos, Preferências, Configurações de documentos pessoais.
Enviado. Ele aparecerá na sua biblioteca do Kindle em alguns minutos.
Se não chegar, quase sempre o problema é a aprovação do passo 1: verifique se books@rollingedition.com está na sua Lista de E-mails Aprovados para Documentos Pessoais.
Cada nova edição dos seus livros salvos também será enviada para o seu Kindle.
Este não é um endereço do Kindle. Ele termina em @kindle.com: você o encontra em Configurações de Documentos Pessoais da Amazon.
Você enviou {count} livros hoje, o máximo que enviamos para uma conta em um dia. Tente novamente amanhã.
Enviamos todos os livros que podíamos hoje. Tente novamente amanhã.
O livro não foi enviado. Tente novamente em alguns minutos.
Esta edição é grande demais para enviar por e-mail.
Enviar para o Kindle vem com o Labs.
Este não é um endereço do Kindle. Ele termina em @kindle.com: você o encontra em Configurações de Documentos Pessoais da Amazon.
O livro não foi enviado. Tente novamente em alguns minutos.
Ou baixe o EPUB e envie-o na página Enviar para o Kindle da Amazon.
Kindle is a trademark of Amazon.com, Inc.
Sumário
11 capítulos, cerca de 4 horas 45 minutos de leitura, com 86 exemplos.
-
1Prevendo a próxima palavra
Ao final deste capítulo, você consegue construir um modelo de linguagem completo a partir dos nomes de produtos de uma loja, apenas por contagem; usá-lo para sugerir a próxima palavra enquanto um cliente digita; gerar texto com ele; e medir, com um único número, quão bem ele prevê um texto que nunca viu.
-
2Tokens
Ao final deste capítulo, você será capaz de construir um tokenizador de codificação por pares de bytes do zero, escolher o tamanho do seu vocabulário medindo o que cada tamanho custa e ler o tokenizador de um modelo de linguagem aberto com atenção suficiente para aplicar suas fusões à mão.
-
3Contando mais para trás
Ao final deste capítulo, você será capaz de construir um modelo de linguagem n-grama que olha vários tokens para trás, suavizá-lo com Kneser-Ney para que lide com textos que ele não viu (a suavização atribui alguma probabilidade ao que as contagens nunca viram, como o capítulo 1 mostrou), medir a linha de base contra a qual todo modelo neural deste livro é medido e entender por que a contagem, por mais engenhosa que seja, esgota suas possibilidades.
-
4Palavras como vetores
Ao final deste capítulo, você será capaz de transformar cada token do texto da loja em um vetor curto de números, de modo que tokens usados de maneiras parecidas recebam vetores parecidos.
-
5Um modelo de linguagem neural
Ao final deste capítulo, você será capaz de construir um modelo de linguagem neural que prevê o próximo token a partir de uma janela de tokens anteriores, calcular seus gradientes à mão e verificá-los, treiná-lo com PyTorch e medi-lo de forma justa em comparação com a linha de base por contagem.
-
6Atenção
Ao final deste capítulo, você será capaz de calcular a atenção à mão: pontuar o quanto a query de cada token corresponde à key de cada token anterior, transformar as pontuações em pesos e calcular a média dos values que esses pesos selecionam.
-
7O bloco transformer
Ao final deste capítulo, você será capaz de montar um bloco transformer a partir de suas partes, unidas por conexões residuais: atenção, normalização, uma camada feed-forward com portas e informação de posição.
-
8Treinando um modelo pequeno
Ao final deste capítulo, você será capaz de treinar um pequeno transformer do início ao fim e avaliar o resultado.
-
9Escolhendo o próximo token
Ao final deste capítulo, você será capaz de transformar as probabilidades de um modelo de linguagem em texto e de escolher como fazê-lo: sempre o token mais provável, o texto inteiro mais provável por busca em feixe, ou uma amostra moldada por uma temperatura, um corte top-k ou top-p, uma penalidade de repetição e um comprimento mínimo.
-
10Dentro de um modelo aberto
Ao final deste capítulo, você saberá ler um modelo de linguagem aberto com o que este livro construiu: contar para onde vão os seus parâmetros, calcular quanto custa executá-lo, pontuar um texto com ele de forma justa em comparação com um modelo de outro tokenizador, encontrar nas cabeças de atenção os padrões de atenção do capítulo 6, testar o que ele copia e descobrir o que o seu tamanho traz para o texto da loja, e o que não traz.
-
11Da previsão à obediência a instruções
Ao final deste capítulo, você será capaz de explicar como um modelo que prevê o próximo token se torna um modelo que segue pedidos, construir as duas funções de perda que realizam essa transformação e medir o que essa mudança corrige e o que não corrige.