Как остановить переобучение: Математика регуляризации (Ридж и Лассо)

Мы наделили нашу модель слишком большой мощностью, и она создала монстра. В прошлом видео мы видели, как полиномы высокой степени могут привести к переобучению — когда модель запоминает шум вместо того, чтобы изучать закономерности.

Итак, как же нам укротить сложную модель? Мы не удаляем признаки вручную. Мы меняем математику.

В этом видео мы расшифруем регуляризацию. Мы рассмотрим, как добавление простого «штрафного члена» (лямбда) к нашей функции потерь заставляет модель выбирать простоту вместо хаоса. Мы выведем математику, лежащую в основе Ridge (L2) и Lasso (L1), визуализируем, как они стабилизируют кривую, и реализуем их на Python.

Это мост между моделью, которая «работает», и моделью, которая «обобщает».

🎓 В ЭТОМ ВИДЕО ВЫ УЗНАЕТЕ:
Интуиция: как «штрафовать» сложность с помощью функции потерь.

Математика алгоритма Ridge (L2): Как добавление значения к диагонали делает матрицы обратимыми.

Сила алгоритма Lasso (L1): Как функция абсолютного значения выполняет выбор признаков.

Визуализация решения: Как «извилистая» линия сглаживается в реальном времени.

Код: Реализация алгоритма Ridge с нуля в NumPy и Scikit-Learn.

---

▶️ ПРЕДЫДУЩИЕ ВЫПУСКИ В ЭТОЙ СЕРИИ (ПОЛИНОМИАЛЬНАЯ РЕГРЕССИЯ):
   • The "Linear" Trick for Non-Linear Data (Po...  

📚 ПОЛНОЕ РУКОВОДСТВО ПО ЛИНЕЙНОЙ АЛГЕБРЕ ДЛЯ ML:
   • Mathematics for Machine Learning  

🔗 СОПУТСТВУЮЩИЙ ПОСТ В БЛОГЕ И ТЕТРАДЬ ДЛЯ СОВМЕСТНОЙ РАБОТЫ:
https://drive.google.com/file/d/1I5oV...

https://www.pradeeppanga.com/2025/12/...

---

ВРЕМЕННЫЕ МЕТКИ:
0:00 - Хаос против контроля
0:38 - "Штраф за сложность"
1:23 - Гребневая регрессия (L2): геометрический якорь
2:15 - Математика: от функции потерь к матрице
2:58 - Код: ручная реализация гребневой регрессии (NumPy)
3:35 - Регрессия Lasso (L1): селектор признаков
4:44 - Переобучение против гребневой регрессии против Lasso
5:14 - Резюме и следующие шаги: собственный опорный элемент

---

#Регуляризация #МашинноеОбучение #ГребневаяРегрессия #РегрессияLasso #Переобучение #НаукаОДанные #Python #NumPy #ЛинейнаяАлгебра