Masterclass - Evals e contracts: como saber onde meu agente está errando?

Todo mundo testa agente do mesmo jeito: roda uma pergunta, olha a resposta, acha que tá bom. Só que um agente não produz uma resposta — produz uma trajetória: uma cadeia de raciocínio, chamadas de ferramenta e passos intermediários. Duas execuções da mesma tarefa podem seguir caminhos completamente diferentes e as duas estarem certas ou as duas erradas por motivos diferentes.

Nesta masterclass vamos separar as duas camadas que ninguém separa: contracts (o que é determinístico e você pode validar com schema, sem LLM no meio) e evals (o que é probabilístico e precisa ser medido, não garantido). Você vai sair sabendo instrumentar seu agente para responder a pergunta que importa: em qual passo isso quebrou?

Vamos cobrir as três camadas de avaliação: resposta final, trajetória e produção. Por que medir só a primeira dá falsa confiança, e como montar seu primeiro dataset de casos reais sem virar um projeto de seis meses.