Construir software com grandes modelos não exige dominar a ferramenta da moda. APIs e frameworks envelhecem em meses, e quem depende deles fica preso a um ciclo de reescrita constante. O que dura é o fundamento: saber avaliar o resultado de forma sistemática e otimizar, na ordem certa, os pontos que controlam a qualidade da resposta.
Este manual condensa o essencial de AI Engineering, o livro de Chip Huyen publicado pela O'Reilly em 2024, em um guia prático para quem usa LLMs e LMMs em produção. O percurso é direto: primeiro se domina a geração (sampling), depois as instruções (prompt), em seguida o contexto (RAG e agentes) e por fim, quando nada disso basta, o modelo (finetune). Só então se trabalha para tornar a inferência mais rápida e barata. O leitor sai com uma ordem de ataque clara e a noção de que avaliar é a parte mais difícil da engenharia de IA.
Sete princípios que regem tudo
Estes são os fios condutores do livro, e valem para qualquer projeto com foundation models.
Esgote o barato antes do caro. Prompt, contexto e sampling vêm antes de finetune. O ajuste do modelo é o último recurso, não o primeiro passo.
Foque em fundamentos, não em ferramentas. Ferramentas e APIs envelhecem; princípios duram.
Avaliação primeiro. É o maior gargalo para adotar IA em produção. Sem avaliação sistemática, nenhuma métrica ou ferramenta torna o sistema robusto.
O sampling é subestimado. Escolher a estratégia certa melhora muito o output com pouco esforço, e explica boa parte do comportamento "estranho", da inconsistência à alucinação.
Qualidade não é velocidade. Melhorar a qualidade e tornar a inferência mais rápida ou barata são problemas diferentes, resolvidos em etapas distintas.
Feedback do usuário conta como dado. Em IA, a reação do usuário não serve só para guiar o produto: é fonte de dados para melhorar o modelo continuamente.
É um kit de decisão, não um tutorial. O livro ensina a escolher soluções, com trade-offs e perguntas, em vez de instruir o uso de uma ferramenta específica.
Fluxo de trabalho recomendado
Quando enfrentar um problema com grandes modelos, ataque na ordem abaixo. Cada passo responde a uma pergunta-chave e só passa para o seguinte quando o anterior não resolve.
- Decidir se vale construir. Esta aplicação precisa de IA? Preciso construir eu mesmo? A análise de necessidade e retorno vem do Capítulo 1.
- Avaliar de forma contínua. Como meço o resultado? Posso usar IA para julgar IA? Entram aqui AI-as-judge e benchmarks, dos capítulos 3 e 4.
- Tunar a geração. Qual temperatura, top-p e sampling? O ajuste é do Capítulo 2.
- Escrever o prompt. A instrução está clara e protegida contra ataques? É o campo do prompt engineering, com defesa, do Capítulo 5.
- Construir contexto. O modelo tem a informação certa para a consulta? Entra RAG ou agentes, do Capítulo 6.
- Finetune, só se preciso. Prompt e RAG não bastam? Precisa de estilo ou formato fixo? Aí vale finetune ou PEFT, do Capítulo 7.
- Garantir os dados. Os dados são bons? Dá para sintetizá-los? É o dataset engineering do Capítulo 8.
- Otimizar a inferência. Está rápido e barato o suficiente? Envolve modelo e serviço, do Capítulo 9.
- Arquitetar e coletar sinal. Como capturar o feedback do usuário? Fecha no Capítulo 10.
Capítulos essenciais
Como o modelo funciona
O sampling é a alavanca mais barata de performance. Ele decide como o modelo escolhe um output entre as opções possíveis, e é subestimado: explica inconsistência e alucinação, e acertar a estratégia, como temperatura e top-p, melhora o resultado com pouco esforço. Em tarefas determinísticas use temperatura baixa; em tarefas criativas, mais alta. Teste o sampling antes de trocar de modelo.
O pré-treino e o pós-treino fazem papéis distintos. O pré-treino dá capacidade ao modelo; o pós-treino o alinha com a preferência humana, em segurança e facilidade de uso. O desenho desse alinhamento afeta diretamente a usabilidade.
Como o modelo aprende da distribuição de dados de treino, essa distribuição define suas capacidades e limitações, tema detalhado no Capítulo 8. E a arquitetura importa: o transformer domina, e o tamanho do modelo é uma decisão que pesa em velocidade, custo e qualidade.
Avaliação, o maior desafio
Avaliar não é uma etapa isolada. O julgamento acontece no contexto do sistema inteiro, não do modelo sozinho. O ponto de partida é o risco: descobrir onde o sistema pode falhar e desenhar a avaliação em torno disso.
A estratégia mais prática aqui é o AI-as-judge: um modelo avaliando os outputs de outro, muito mais barato e consistente do que revisão humana em tudo. Complementam métricas pragmáticas, como correção funcional, perplexidade e benchmarks, cada uma com suas limitações. São essas métricas que orientam a seleção do modelo certo para cada aplicação.
Prompt engineering
O prompt vem antes do finetune, para aproveitar a capacidade base do modelo. Trate-o como experimento de ML, e não como brincadeira de palavras: é experimentação sistemática com avaliação por trás.
O prompt também abre risco. Prompt injection pode explorar a aplicação, e o capítulo trata das defesas. Há ainda um limite claro: prompt engineering sozinho não sustenta produção, que exige estatística, avaliação e curadoria de dados.
Contexto: RAG e agentes
Sem contexto, o modelo alucina. Como um humano sem informação, ele erra mais. O RAG, retrieval-augmented generation, resolve isso fazendo o modelo buscar informação em fontes externas; é o padrão mais conhecido e comprovado em produção.
O agente vai além: o modelo usa ferramentas, como busca na web e APIs, para interagir com o mundo e automatizar. É mais poderoso, porém mais complexo e ainda em exploração. A diferença central é que o RAG constrói contexto, enquanto um agente pode executar ações no mundo real.
Finetune e PEFT
Finetune treina o modelo, ou parte dele, para uma tarefa específica, ajustando os pesos e não apenas a instrução. Os usos comuns são melhorar habilidades de domínio, como código e saúde, reforçar segurança e, o mais frequente, garantir estilo e formato de output.
O custo é alto: o footprint de memória do finetune naive em modelos gigantes excede uma GPU. Técnicas de PEFT reduzem esse custo. Para a decisão de quando usar, o capítulo oferece um framework simples: finetune entra quando prompt e RAG não bastam.
Dataset engineering
Finetune em si é fácil, há muitos frameworks; o difícil é conseguir dados bons. Os dados são o gargalo. O capítulo define o que conta como qualidade e mostra como avaliá-la, e trata da síntese de dados sintéticos como estratégia, uma prática que também vale fora de finetune.
Inferência mais rápida e barata
A otimização vive em três níveis: no modelo, reduzindo o tamanho e usando arquitetura eficiente; no hardware; e no nível de serviço, alocando recursos para reduzir latência e custo (as duas métricas centrais, TTFT e TPOT: tempo até o primeiro token e tokens por segundo). É um campo interdisciplinar, que junta pesquisadores, desenvolvedores, sistemas, compiladores, hardware e centros de dados.
Quem usa uma API não precisa se ocupar disso, o provedor cuida. Só quem hospeda, com modelo open source ou próprio, implementa essas técnicas.
Arquitetura e feedback do usuário
Comece com a arquitetura mais simples e adicione componentes apenas quando um desafio concreto exigir. O feedback é crucial por uma razão específica da IA: ele é fonte de dados para melhorar o modelo, e não só um guia de produto.
Há um paradoxo no caminho. A interface conversacional facilita o usuário dar feedback, mas dificulta extrair um sinal limpo do que ele realmente quis dizer. Desenhar esse loop é parte do trabalho.
A regra de ouro
Não corra atrás do modelo mais novo. Estruture a avaliação e respeite a ordem de otimização: esgote sampling, depois prompt, depois contexto, e finetune por último. Com essa disciplina, a maior parte dos problemas se resolve antes de tocar nos pesos do modelo.
Síntese dos dez capítulos de AI Engineering, de Chip Huyen, publicado pela O'Reilly em 2024. O livro cobre LLMs e LMMs e funciona como manual prático de uso de grandes modelos em produção.
Fontes
- Chip Huyen, AI Engineering — O'Reilly, 2024.
