PRECISION, RECALL, CONFUSION MATRIX, ТОЧНОСТЬ, ПОЛНОТА, МАТРИЦА ОШИБОК | МЕТРИКИ КЛАССИФИКАЦИИ

Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео рассмотрим метрики для задачи классификации Precision (точность), Recall (полнота) и Confusion Matrix (матрица ошибок). Наконец-то разберемся, что значит TP, FP, TN, FN.

Курсы на платформе Stepik:
1. Библиотеки Python для Data Science https://stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) https://stepik.org/a/127274


Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео (   • ПЕРЕОБУЧЕНИЕ И НЕДООБУЧЕНИЕ В МАШИННО...  )


Остальные метрики классификации:
1. Accuracy -    • ACCURACY | МЕТРИКИ КЛАССИФИКАЦИИ В МА...  
2. Precision. Recall. Confusion Matrix -    • PRECISION, RECALL, CONFUSION MATRIX, ...  
3. F-score -    • F-SCORE, F1-SCORE, Fbeta-SCORE, F-МЕР...  
4. Micro, Macro, Weighted -    • MICRO, MACRO, WEIGHTED УСРЕДНЕНИЕ | Д...  


Ноутбук из видео:
https://colab.research.google.com/dri...


0:00 Пройденная метрика Accuracy
0:27 Проблемы метрики Accuracy
0:44 Ошибки модели в задаче кредитного скоринга

1:24 Ошибка ложного срабатывания (False Positive)
1:43 Ошибка ложного пропуска (False Negative)
2:08 Истинное срабатывание (True Positive)
2:23 Истинный пропуск (True Negative)
2:40 Матрица ошибок (Confusion Matrix)
3:50 Построение матрицы ошибок для первой модели

4:34 Метрики Precision, Recall
5:10 Удобная визуализации двух метрик

5:49 Точность (Precision) - чистота классификации
6:29 Минимизации ошибок FP в Precision
7:30 Разница моделей по Precision

7:52 Полнота (Recall) - количество или охват классификации
8:35 Минимизации ошибок FN в Recall
9:50 Разница моделей по Recall

10:10 Сравнение моделей

10:44 Примеры задач на максимизацию метрик
10:53 Классификация сотрудников на АЭС
12:38 Диагностика заболеваний

14:07 Резюме