LLM Evaluations for Product Managers. A practical guide to measuring, improving, and delivering value with LLMs James Corcoran

LLM Evaluations for Product Managers. A practical guide to measuring, improving, and delivering value with LLMs James Corcoran - okladka książki

Autor:: James Corcoran
Serie wydawnicze:: Hands-on
Wydawnictwo:: Packt Publishing (Z chęcią przeczytam książkę w języku polskim)
Ocena:

Ebook

139,00 zł

Powiadom mnie, gdy książka będzie dostępna

Przenieś na półkę

Build AI products that don’t just function—they deliver results. This book shows product managers how to drive business value with LLMs through evaluation-first decision making. You’ll learn to move beyond traditional metrics and implement strategic evaluation approaches that match real user needs, drive product iteration, and support scalable success.
With case studies from GitHub, Duolingo, and Notion, you’ll discover practical tools to assess model performance, optimize product-model fit, and prioritize features based on measurable outcomes. The book provides battle-tested templates, evaluation canvases, and decision trees that help you quickly translate insights into action.
You’ll explore frameworks for human-in-the-loop evaluation, LLM-as-a-judge automation, and A/B testing, all within real product development workflows. Written by a seasoned AI product leader with experience across high-stakes enterprise environments, this guide bridges the gap between model performance and business impact.
By the end of this book, you’ll know how to design scalable evaluation systems, communicate results that influence stakeholders, and future-proof your AI strategy in a rapidly evolving landscape.

Wybrane bestsellery

O autorze książki

James Corcoran is Head of AI at STAC, where he leads evaluation strategies for financial AI products. With 15+ years of experience building scalable, high-impact ML systems in enterprise settings, he previously served as SVP Product and Engineering at KX and CTO at First Derivative. A recognized speaker on AI product strategy, James brings deep expertise in aligning AI development with business goals.

Zobacz pozostałe książki z serii Hands-on

Ebooka "LLM Evaluations for Product Managers. A practical guide to measuring, improving, and delivering value with LLMs" przeczytasz na:

czytnikach Inkbook, Kindle, Pocketbook, Onyx Boox i innych
systemach Windows, MacOS i innych

systemach Windows, Android, iOS, HarmonyOS
na dowolnych urządzeniach i aplikacjach obsługujących formaty: PDF, EPub, Mobi

Masz pytania? Zajrzyj do zakładki Pomoc »

Oceny i opinie klientów: LLM Evaluations for Product Managers. A practical guide to measuring, improving, and delivering value with LLMs James Corcoran

(0)

Szczegóły książki

Tytuł oryginału:: LLM Evaluations for Product Managers. A practical guide to measuring, improving, and delivering value with LLMs
ISBN Ebooka:: 978-18-066-9406-8, 9781806694068
Data wydania ebooka :: 2026-04-10 Data wydania ebooka często jest dniem wprowadzenia tytułu do sprzedaży i może nie być równoznaczna z datą wydania książki papierowej. Dodatkowe informacje możesz znaleźć w darmowym fragmencie. Jeśli masz wątpliwości skontaktuj się z nami sklep@ebookpoint.pl.
Język publikacji:: angielski

Zgłoś erratę
Serie wydawnicze: Hands-on

Kategorie

Kliknij, aby zgłosić błędnie przypisaną kategorię »

Informatyka » Programowanie
Informatyka » Sztuczna inteligencja
Informatyka » Programowanie » Techniki programowania
Biznes i ekonomia » Zarządzanie projektami

Dostępność produktu

Produkt nie został jeszcze oceniony pod kątem ułatwień dostępu lub nie podano żadnych informacji o ułatwieniach dostępu lub są one niewystarczające. Prawdopodobnie Wydawca/Dostawca jeszcze nie umożliwił dokonania walidacji produktu lub nie przekazał odpowiednich informacji na temat jego dostępności.

Spis treści książki

1. The New Frontier: Why LLM Evaluation is Now a Core PM Skill
2. The PM's Evaluation Toolkit: Essential Concepts and Strategic Frameworks
3. Choosing Your Evaluation Strategy: Automated, Human-in-the-Loop, and Hybrid Approaches
4. Building Evaluation Datasets That Predict Real-World Success
5. Human-in-the-Loop Evaluation: When and How to Scale Human Judgment
6. Automated Evaluation at Scale: LLM-as-a-Judge and Beyond
7. Evaluation Infrastructure: Building vs. Buying for Product Success
8. Rapid Product Discovery: Lean Evaluation for Fast Iteration
9. Measuring Product-Model Fit: When Your LLM Delivers User Value
10. Evaluation-Driven Feature Prioritization and Roadmap Planning
11. Safety and Responsible AI: Evaluation for Trust and Compliance
12. Evaluating Complex Systems: RAG, Agents, and Multi-Turn Experiences
13. Model Evolution and A/B Testing: Managing LLM Transitions
14. Building Evaluation-Driven Product Teams and Culture
15. Scaling Evaluation Practices: From Team to Organization
16. Communicating Evaluation Results: From Data to Strategic Decisions
17. Future-Proofing Your AI Products: Adaptive Evaluation for Emerging Technologies