Avaliando Aplicações de LLM
Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros
Traduzido do livro em inglês, edição 2026.11.3. Leia o original
Saiba se uma aplicação com LLM funciona e se uma mudança a tornou melhor: conjuntos de teste, verificações, juízes em que você possa confiar e estatísticas que se sustentem, em um assistente de documentação para uma pequena ferramenta de linha de comando.
Para quem é Para engenheiros que já entregaram, ou estão prestes a entregar, um recurso construído sobre um modelo: um assistente, um serviço de perguntas e respostas ou uma etapa de extração. Eles escrevem em Python e conhecem prompts, embeddings e testes, mas não estatística além da média.
Leia no Kindle ou em qualquer leitor de e-books
O EPUB também funciona no Apple Books, no Kobo e na maioria dos leitores de e-books.
Enviar para o Kindle
Envia o EPUB desta edição em Português (Brasil).
-
Aprove o nosso endereço
A Amazon entrega no Kindle somente a partir de endereços que você aprovou, uma vez para cada serviço que envia e-mails a ele. Adicione o nosso à sua Lista de E-mails Aprovados para Documentos Pessoais.
books@rollingedition.comAbrir as Configurações de documentos pessoais da Amazon. Na Amazon, isso fica em Gerenciar seu conteúdo e dispositivos, Preferências, Configurações de documentos pessoais.
Enviado. Ele aparecerá na sua biblioteca do Kindle em alguns minutos.
Se não chegar, quase sempre o problema é a aprovação do passo 1: verifique se books@rollingedition.com está na sua Lista de E-mails Aprovados para Documentos Pessoais.
Cada nova edição dos seus livros salvos também será enviada para o seu Kindle.
Este não é um endereço do Kindle. Ele termina em @kindle.com: você o encontra em Configurações de Documentos Pessoais da Amazon.
Você enviou {count} livros hoje, o máximo que enviamos para uma conta em um dia. Tente novamente amanhã.
Enviamos todos os livros que podíamos hoje. Tente novamente amanhã.
O livro não foi enviado. Tente novamente em alguns minutos.
Esta edição é grande demais para enviar por e-mail.
Enviar para o Kindle vem com o Labs.
Este não é um endereço do Kindle. Ele termina em @kindle.com: você o encontra em Configurações de Documentos Pessoais da Amazon.
O livro não foi enviado. Tente novamente em alguns minutos.
Ou baixe o EPUB e envie-o na página Enviar para o Kindle da Amazon.
Kindle is a trademark of Amazon.com, Inc.
Sumário
11 capítulos, cerca de 4 horas 27 minutos de leitura, com 54 exemplos.
-
1Meça um assistente antes de alterá-lo
Ao final deste capítulo, você será capaz de medir um assistente de documentação com um conjunto fixo de perguntas, interpretar o resultado com o seu intervalo e dizer quando vinte perguntas são poucas para distinguir dois prompts.
-
2Leia as respostas para descobrir o que medir
Ao final deste capítulo, você será capaz de ler um conjunto de respostas de um assistente, classificar o que há de errado em cada uma delas em um modo de falha e dizer quais dessas falhas uma verificação consegue enxergar.
-
3Monte um conjunto de testes que você possa defender, e leia os benchmarks públicos
Ao final deste capítulo, você será capaz de montar um conjunto de testes cuja pontuação diga algo útil, verificar seu esquema e sua cobertura com código, e explicar o que a pontuação de um benchmark público diz e o que não diz sobre o seu próprio assistente.
-
4Escreva verificações em código para as falhas que você encontrou
Ao final deste capítulo, você será capaz de escrever as verificações de formato e de citação que rodam em cada resposta sem custo, de dizer quais das falhas do capítulo 2 cada uma consegue ou não consegue detectar, e de mostrar onde duas métricas padrão de sobreposição classificam uma resposta errada acima de uma certa.
-
5Escreva uma rubrica que um juiz possa aplicar
Ao final deste capítulo, você saberá escrever uma rubrica que um modelo juiz aplica da mesma forma a cada resposta, ler o veredito dele com um código que nunca conta nada que não possa ser lido como veredito, e dizer quando uma comparação em pares ou uma escala vale o custo.
-
6Meça os erros de um juiz contra as avaliações humanas e depois corrija uma taxa de aprovação
Ao final deste capítulo, você será capaz de medir como os veredictos de um juiz diferem das avaliações humanas, separar essas diferenças em omissões (erros não detectados) e falsas aprovações, e corrigir uma taxa de aprovação observada considerando esses erros, com a suposição em que a correção se apoia escrita ao lado dela.
-
7Descubra onde o veredito de um juiz deixa de ser confiável
Ao final deste capítulo, você será capaz de testar um juiz quanto a dois vieses que os dados deste livro podem mostrar: posição e comprimento.
-
8Decida se uma mudança é melhor, e de quantas perguntas você precisa
Ao final deste capítulo, você será capaz de dizer se uma diferença entre duas versões do assistente vai além do ruído, usando um intervalo em uma comparação pareada.
-
9Verifique se as respostas se apoiam nos documentos citados, na versão pedida
Ao final deste capítulo, você saberá contar se as citações de uma resposta sustentam o que ela afirma, se cada afirmação repousa nas seções que o assistente recebeu, se a resposta está correta para a versão que o leitor pediu e se a recuperação alcançou a seção certa no caminho.
-
10Recuse-se quando a documentação não disser, e meça os dois tipos de erro
Ao final deste capítulo, você será capaz de contar as duas maneiras pelas quais um assistente deixa de responder a partir da sua documentação, ler as duas taxas sobre os seus próprios denominadores e dizer quando uma regra que recusa com mais frequência vale o que custa.
-
11Coloque a avaliação no CI e compare variantes com o tráfego
Ao final deste capítulo, você será capaz de colocar a avaliação em um portão que bloqueia uma mudança somente quando ela for mensuravelmente pior.