Cover of Evaluating LLM Applications, edition 2026.11.3, code 4V0Y-VKTV Evaluating LLM Applications 4V0Y-VKTV 3 editions since Nov 2026 Rolling Edition 2026.11.3

Avaliando Aplicações de LLM

Edição 2026.11.3 Exemplos aprovados em 21 de nov de 2026 54 de 54 exemplos passam O que mudou

Traduzido com IA. Verificado por pessoas em inglês. Como fazemos os livros

Traduzido do livro em inglês, edição 2026.11.3. Leia o original

Saiba se uma aplicação com LLM funciona e se uma mudança a tornou melhor: conjuntos de teste, verificações, juízes em que você possa confiar e estatísticas que se sustentem, em um assistente de documentação para uma pequena ferramenta de linha de comando.

Para quem é Para engenheiros que já entregaram, ou estão prestes a entregar, um recurso construído sobre um modelo: um assistente, um serviço de perguntas e respostas ou uma etapa de extração. Eles escrevem em Python e conhecem prompts, embeddings e testes, mas não estatística além da média.

Comece a ler
Histórico de edições3 edições desde novembro de 2026Cada edição e o que ela mudou
2026.11.12026.11.3
2026.11.3 · 21 de nov de 2026Correção de texto,Conteúdo novo27 seções alterado(s)

Sumário

11 capítulos, cerca de 4 horas 27 minutos de leitura, com 54 exemplos.

  1. 1Meça um assistente antes de alterá-lo

    Ao final deste capítulo, você será capaz de medir um assistente de documentação com um conjunto fixo de perguntas, interpretar o resultado com o seu intervalo e dizer quando vinte perguntas são poucas para distinguir dois prompts.

  2. 2Leia as respostas para descobrir o que medir

    Ao final deste capítulo, você será capaz de ler um conjunto de respostas de um assistente, classificar o que há de errado em cada uma delas em um modo de falha e dizer quais dessas falhas uma verificação consegue enxergar.

  3. 3Monte um conjunto de testes que você possa defender, e leia os benchmarks públicos

    Ao final deste capítulo, você será capaz de montar um conjunto de testes cuja pontuação diga algo útil, verificar seu esquema e sua cobertura com código, e explicar o que a pontuação de um benchmark público diz e o que não diz sobre o seu próprio assistente.

  4. 4Escreva verificações em código para as falhas que você encontrou

    Ao final deste capítulo, você será capaz de escrever as verificações de formato e de citação que rodam em cada resposta sem custo, de dizer quais das falhas do capítulo 2 cada uma consegue ou não consegue detectar, e de mostrar onde duas métricas padrão de sobreposição classificam uma resposta errada acima de uma certa.

  5. 5Escreva uma rubrica que um juiz possa aplicar

    Ao final deste capítulo, você saberá escrever uma rubrica que um modelo juiz aplica da mesma forma a cada resposta, ler o veredito dele com um código que nunca conta nada que não possa ser lido como veredito, e dizer quando uma comparação em pares ou uma escala vale o custo.

  6. 6Meça os erros de um juiz contra as avaliações humanas e depois corrija uma taxa de aprovação

    Ao final deste capítulo, você será capaz de medir como os veredictos de um juiz diferem das avaliações humanas, separar essas diferenças em omissões (erros não detectados) e falsas aprovações, e corrigir uma taxa de aprovação observada considerando esses erros, com a suposição em que a correção se apoia escrita ao lado dela.

  7. 7Descubra onde o veredito de um juiz deixa de ser confiável

    Ao final deste capítulo, você será capaz de testar um juiz quanto a dois vieses que os dados deste livro podem mostrar: posição e comprimento.

  8. 8Decida se uma mudança é melhor, e de quantas perguntas você precisa

    Ao final deste capítulo, você será capaz de dizer se uma diferença entre duas versões do assistente vai além do ruído, usando um intervalo em uma comparação pareada.

  9. 9Verifique se as respostas se apoiam nos documentos citados, na versão pedida

    Ao final deste capítulo, você saberá contar se as citações de uma resposta sustentam o que ela afirma, se cada afirmação repousa nas seções que o assistente recebeu, se a resposta está correta para a versão que o leitor pediu e se a recuperação alcançou a seção certa no caminho.

  10. 10Recuse-se quando a documentação não disser, e meça os dois tipos de erro

    Ao final deste capítulo, você será capaz de contar as duas maneiras pelas quais um assistente deixa de responder a partir da sua documentação, ler as duas taxas sobre os seus próprios denominadores e dizer quando uma regra que recusa com mais frequência vale o que custa.

  11. 11Coloque a avaliação no CI e compare variantes com o tráfego

    Ao final deste capítulo, você será capaz de colocar a avaliação em um portão que bloqueia uma mudança somente quando ela for mensuravelmente pior.

Citar esta seção

Formato

Cada formato cita o livro em inglês, que esta tradução acompanha.

Todos os formatos citam esta edição. Seu link abre a edição atual, em que o título de cada seção indica quando seu texto foi alterado pela última vez. As datas de acesso e de recuperação são o dia em que você abre esta página.