Cover of Language Models from the Ground Up, edition 2026.11.16, code FY8Q-PVVV Language Models from the Ground Up FY8Q-PVVV 24 editions since Oct 2026 Rolling Edition 2026.11.16

{"markdown": "Modelos de Linguagem do Zero"}

Edição 2026.11.16 Exemplos aprovados em 19 de nov de 2026 86 de 86 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.16. Leia o original

Como funciona um modelo de linguagem, construído uma parte por vez: previsão da próxima palavra, tokens, embeddings, um modelo neural, atenção e o transformer, treinamento de um modelo pequeno em uma CPU, escolha de palavras, o que um modelo aberto guarda por dentro e como o ajuste por instruções o altera.

Para quem é Para leitores à vontade com Python e numpy que são novos no funcionamento dos modelos de linguagem: um desenvolvedor que chama APIs de LLM e quer saber o que acontece por dentro, ou um cientista de dados que está migrando para o trabalho com linguagem.

Comece a ler
Histórico de edições24 edições desde outubro de 2026Cada edição e o que ela mudou
2026.10.12026.11.16
2026.11.16 · 21 de nov de 2026Correção de texto,Conteúdo novo44 seções alterado(s)

Sumário

11 capítulos, cerca de 4 horas 45 minutos de leitura, com 86 exemplos.

  1. 1Prevendo a próxima palavra

    Ao final deste capítulo, você consegue construir um modelo de linguagem completo a partir dos nomes de produtos de uma loja, apenas por contagem; usá-lo para sugerir a próxima palavra enquanto um cliente digita; gerar texto com ele; e medir, com um único número, quão bem ele prevê um texto que nunca viu.

  2. 2Tokens

    Ao final deste capítulo, você será capaz de construir um tokenizador de codificação por pares de bytes do zero, escolher o tamanho do seu vocabulário medindo o que cada tamanho custa e ler o tokenizador de um modelo de linguagem aberto com atenção suficiente para aplicar suas fusões à mão.

  3. 3Contando mais para trás

    Ao final deste capítulo, você será capaz de construir um modelo de linguagem n-grama que olha vários tokens para trás, suavizá-lo com Kneser-Ney para que lide com textos que ele não viu (a suavização atribui alguma probabilidade ao que as contagens nunca viram, como o capítulo 1 mostrou), medir a linha de base contra a qual todo modelo neural deste livro é medido e entender por que a contagem, por mais engenhosa que seja, esgota suas possibilidades.

  4. 4Palavras como vetores

    Ao final deste capítulo, você será capaz de transformar cada token do texto da loja em um vetor curto de números, de modo que tokens usados de maneiras parecidas recebam vetores parecidos.

  5. 5Um modelo de linguagem neural

    Ao final deste capítulo, você será capaz de construir um modelo de linguagem neural que prevê o próximo token a partir de uma janela de tokens anteriores, calcular seus gradientes à mão e verificá-los, treiná-lo com PyTorch e medi-lo de forma justa em comparação com a linha de base por contagem.

  6. 6Atenção

    Ao final deste capítulo, você será capaz de calcular a atenção à mão: pontuar o quanto a query de cada token corresponde à key de cada token anterior, transformar as pontuações em pesos e calcular a média dos values que esses pesos selecionam.

  7. 7O bloco transformer

    Ao final deste capítulo, você será capaz de montar um bloco transformer a partir de suas partes, unidas por conexões residuais: atenção, normalização, uma camada feed-forward com portas e informação de posição.

  8. 8Treinando um modelo pequeno

    Ao final deste capítulo, você será capaz de treinar um pequeno transformer do início ao fim e avaliar o resultado.

  9. 9Escolhendo o próximo token

    Ao final deste capítulo, você será capaz de transformar as probabilidades de um modelo de linguagem em texto e de escolher como fazê-lo: sempre o token mais provável, o texto inteiro mais provável por busca em feixe, ou uma amostra moldada por uma temperatura, um corte top-k ou top-p, uma penalidade de repetição e um comprimento mínimo.

  10. 10Dentro de um modelo aberto

    Ao final deste capítulo, você saberá ler um modelo de linguagem aberto com o que este livro construiu: contar para onde vão os seus parâmetros, calcular quanto custa executá-lo, pontuar um texto com ele de forma justa em comparação com um modelo de outro tokenizador, encontrar nas cabeças de atenção os padrões de atenção do capítulo 6, testar o que ele copia e descobrir o que o seu tamanho traz para o texto da loja, e o que não traz.

  11. 11Da previsão à obediência a instruções

    Ao final deste capítulo, você será capaz de explicar como um modelo que prevê o próximo token se torna um modelo que segue pedidos, construir as duas funções de perda que realizam essa transformação e medir o que essa mudança corrige e o que não corrige.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.