# Ćwiczenia do rozdziału 6.

1. W zadaniu klasyfikacji binarnej (przy dość dobrze zrównoważonych klasach), w którym przypadku obszar AUC nie jest rzetelnym wskaźnikiem wydajności pozwalającym na wybór modelu? Interesuje nas przypadek ogólny. Wskazówka: wyobraź sobie, że stworzyliśmy wykresy krzywych ROC dla dwóch modeli - w jakiej sytuacji obszar AUC stanowi zbyt duże uproszczenie dla porównania tych modeli?


## Temat powiązany, ale wykraczający poza zakres książki

*Nie da się rozwiązać zadanych tu ćwiczeń bez dalszego zagłębienia się w tematykę.*

1. W poniższym fragmencie w miejsce ‘__’ wstaw litery a-c, które są definiowane jako  
a): Agregacja typu Out-of-Bag (OOB)  
b): Metoda .632 Bootstrap   
c): Metoda .632+ Bootstrap  

"W celu oszacowania wydajności uogólniania, _(1) jest mniej obciążona optymistycznie niż _, podczas gdy (1) i _ są mniej obciążone pesymistycznie _."

Bibliografia: 

- Sebastian Raschka (2018). Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning.  
https://arxiv.org/abs/1811.12808

