Python para QA que Testa IA (Volume 5) | Coleção QA & IA - Pare de Só Usar IA — Aprenda a Testá-la com Python (DeepEval, Ragas e Muito Mais)
Você já usa IA no trabalho, mas sabe testá-la de verdade? A maioria do conteúdo de “IA para QA” no Brasil ensina a usar ChatGPT/Copilot — nenhum ensina a construir a suíte de testes que prova, com evidência, que um sistema de IA está funcionando. Este é o Volume 5 e último da Coleção QA & IA: o volume de implementação prática em Python.
31 capítulos cobrindo do Python essencial (com exemplo de payload de API, nunca “lista de frutas”) até um AI Testing Framework completo — testando LLMs, RAG e Agentes com as ferramentas reais do mercado em 2026. O que torna esse material diferente: → Código verificado contra sintaxe e versão real — DeepEval 4.2.0, Ragas, pytest 9.1.1, API atual da OpenAI.
Nada escrito de memória.
→ O princípio Conceito
→ Código
→ Teste
→ Evidência
→ Regressão se repete em cada capítulo técnico — você não sai só sabendo chamar uma API, sai sabendo provar que ela funciona dentro de critério.
→ Os 7 níveis de validação de resposta de LLM — do determinístico ao LLM-as-a-Judge — com quando usar cada um, incluindo os vieses reais (position bias, verbosity bias) que ninguém te conta.
→ RAG e Agentes testados de verdade: retrieval separado de generation, trajetória de agente separada de resultado final — não só “a resposta ficou boa”.
→ Regressão de IA, Quality Gates e CI/CD com GitHub Actions — a suíte roda sozinha, com threshold definido junto ao dono do produto, não número genérico copiado. → 7 Desafios de Portfólio distribuídos pelo livro (API Testing Framework, Golden Dataset, LLM Evaluation Framework, RAG Evaluation, Agent Testing, Regression Pipeline, AI Quality Gate) — cada um publicável no GitHub, além do projeto final completo com README que se defende em entrevista técnica.
→ 17 diagramas originais, glossário técnico e seção de referências reais — sem fonte, URL ou paper inventado. Fecha a Coleção QA & IA onde o mercado geralmente para: a implementação. Sabe o que é RAG e agente, mas nunca testou nenhum? Aqui isso vira código de verdade.
