ODBIERZ TWÓJ BONUS :: »

AI Evals in Practice. Testing, reliability, and quality for LLM systems in production Caio Incau

Książka w języku angielskim angielski
AI Evals in Practice. Testing, reliability, and quality for LLM systems in production Caio Incau - okladka książki

AI Evals in Practice. Testing, reliability, and quality for LLM systems in production Caio Incau - okladka książki

Autor:
Caio Incau
Serie wydawnicze:
Practical
Ocena:
Bądź pierwszym, który oceni tę książkę
Stron:
216
Dostępne formaty:
     PDF
     ePub

Ebook
107,10 zł 119,00 zł (-10%)
119,00 zł najniższa cena z 30 dni

Dodaj do koszyka Dostępny natychmiast po opłaceniu zakupu lub Kup na prezent Kup 1-kliknięciem

Przenieś na półkę

Do przechowalni

LLM applications can look healthy in dashboards while their answers quietly become less accurate, less useful, or less reliable. AI Evals in Practice gives developers and AI engineers a systematic way to measure quality, catch regressions, and make evidence-based improvements before and after deployment.
You will build evalkit, a complete Python evaluation harness, while learning the core components of an eval: datasets, scorers, runners, and golden test sets. You will create deterministic scorers and LLM-as-judge evaluations, then calibrate judges and mitigate common biases. The book applies these foundations to prompt regression testing and CI, RAG retrieval and generation metrics, agent trajectories and tool calls, and human annotation workflows. You will then extend evaluation into production with online sampling, guardrails, and cost- and latency-aware pipelines, while comparing tools such as DeepEval, promptfoo, Langfuse, and Braintrust. A case study and final project bring the pieces together into an eval-driven development workflow with CI and a dashboard.
By the end, you will be able to design evaluation pipelines that help you ship LLM systems with measurable, repeatable quality.

Wybrane bestsellery

O autorze książki

Caio Incau is an Engineering Manager with experience leading software engineering teams at scale. In his day-to-day work, he combines people leadership with deep technical expertise to deliver products that impact millions of users. He started using Claude Code out of curiosity, became an advocate after seeing the productivity gains firsthand, and wrote this book so other developers wouldn't have to figure everything out on their own.

Packt Publishing - inne książki

Zamknij

Przenieś na półkę
Dodano produkt na półkę
Usunięto produkt z półki
Przeniesiono produkt do archiwum
Przeniesiono produkt do biblioteki

Zamknij

Wybierz metodę płatności

Ebook
107,10 zł
Dodaj do koszyka
Płatności obsługuje:
Ikona płatności Alior Bank Ikona płatności Apple Pay Ikona płatności Bank Pocztowy Ikona płatności Banki Spółdzielcze Ikona płatności BLIK Ikona płatności Crédit Agricole e-przelew Ikona płatności dawny BNP Paribas Bank Ikona płatności Google Pay Ikona płatności ING Bank Śląski Ikona płatności Inteligo Ikona płatności iPKO Ikona płatności mBank Ikona płatności Millennium Ikona płatności Nest Bank Ikona płatności Paypal Ikona płatności PayPo | PayU Płacę później Ikona płatności PayU Płacę później Ikona płatności Plus Bank Ikona płatności Płacę z Bankiem Pekao S.A. Ikona płatności Płacę z Getin Bank Ikona płatności Płać z BOŚ Ikona płatności Płatność online kartą płatniczą Ikona płatności Santander Ikona płatności Visa Mobile