Причина, по которой экспоненциальное сглаживание превосходит сложные методы прогнозирования: комп...

Всем привет!

В этом выпуске программы «The Casual Causal Talk» мне посчастливилось побеседовать с доктором Стефаном Колассой (/stephankolassa) — ведущим экспертом по прогнозированию временных рядов с богатым опытом в области прогнозирования розничной торговли.

В те времена, когда ещё не было ChatGPT/Perplexity, если у вас возникали вопросы по статистике, прогнозированию или машинному обучению, Cross Validated был лучшим местом.

Среди всех ответов один голос всегда выделялся своей ясностью, строгостью и глубиной — голос самого доктора Колассой.

Годами я хотел узнать его мнение о прогнозировании, и этот разговор наконец-то дал мне такую ​​возможность.

И какой же интересной получилась эта беседа!

Прогнозирование временных рядов — это не просто академическая дисциплина, оно повсюду: моделирование маркетингового комплекса (MMM), прогнозирование в розничной торговле, управление запасами, цепочками поставок, финансы и даже работа магистратуры права (LLM) (да, здесь есть элемент авторегрессии. Подробнее об этом в подкасте). Кроме того, темпоральность — один из основных принципов установления причинно-следственных связей.

Этот выпуск выходит за рамки подкаста, это, по сути, мастер-класс. Мне посчастливилось попасть на него в первый ряд, и теперь вам тоже.

Мы обсудили широкий круг увлекательных тем, а доктор Коласса также подготовил набор ресурсов (см. первый комментарий).

Присоединяйтесь, учитесь и наслаждайтесь этим глубоким погружением в мир прогнозирования.

00:00 — Введение

00:30 — Не доверяйте магистратурам права, доверяйте кросс-валидированным

02:25 — Карьерный путь Стефана. Как психолог (жена Стефана) превратила математика в статистика.

04:24 - Прогнозирование, важное для выводов.

05:25 - Мы живём на стреле времени

06:00 - Как время влияет на такие области, как кредитный скоринг и классификация изображений

07:50 - Что такое прогнозирование временных рядов?

09:00 - Прогнозирование розничной торговли и его значение

10:00 - Компоненты временных рядов

12:20 - Что такое сглаживание? Почему оно вообще так называется? Что такое экспоненциальное сглаживание?

15:00 - Соревнования Макридакиса «M»

16:40 - Скромное экспоненциальное сглаживание превзошло ARIMA в соревновании M1!

17:25 — 92,5% заявок не превзошли экспоненциальное сглаживание в соревновании M5, где использовались данные розничной торговли (данные Walmart).

19:00 — Экспоненциальное сглаживание часто превосходит сложные методы прогнозирования.

21:20 — Почему экспоненциальное сглаживание превосходит сложные методы прогнозирования? — Компромисс между смещением и дисперсией?

24:00 — Является ли ARIMA началом эпохи прогнозирования временных рядов?

26:45 — Понимание компонентов AR, I и MA в ARIMA.

30:00 — Как найти оптимальные параметры для модели ARIMA.

31:15 — ARIMA популярен, потому что помогает доказывать, а математики и статистики любят это делать.

33:42 — Как проверить ARIMA с помощью Auto ARIMA.

34:50 — Следует ли увеличить количество итераций для Auto ARIMA, чтобы повысить вероятность восстановления параметров модели ARIMA?

35:50 — Авторегрессия присутствует во всех моделях — от временных рядов до моделей с ограниченной продолжительностью жизни (LLM) — почему она так эффективна и есть ли в ней какая-либо форма кодирования памяти?

37:06 — Когда авторегрессия может дать сбой и как она может повлиять на причинно-следственную связь.

39:00 — В прогнозировании розничной торговли простого прогнозирования недостаточно, важна также объяснимость.

41:00 — Моделирование маркетинг-микса (MMM) сочетает в себе лучшее из двух миров — прогнозирования и объяснения.

42:00 — Что такое сезонность? Хорошо ли справляется с ней ARIMA или SARIMA — лучший вариант?

48:00 — Что лучше для прогнозирования: больше данных? Примеры из MMM и прогнозирования розничной торговли.

51:00 - Как ориентироваться в периоды, подобные пандемии COVID, при прогнозировании временных рядов?

51:40 - Прогнозирование — это не только наука, но и искусство.

52:00 - Почему кодирование фиктивных переменных — это плохо, и в чём преимущества методов RBF

55:35 - Как RBF помог Aryma Labs повысить точность моделей MMM

56:45 - Что такое иерархическое прогнозирование?

01:02:00 - Иерархические сверки.

01:04:00 - Квантильные прогнозы

01:06:00 - Хорошая ли идея моделировать на детализированном временном уровне, например, на уровне секунд, минут или часов?

01:09:00 - Почему валидация K-кратности плоха для валидации прогнозирования временных рядов?

01:11:00 - Разница между интервалами прогнозирования и доверительными интервалами

01:13:05 - Что такое конформные прогнозы?

01:18:00 - Являются ли MAPE, MASE и RMSE неадекватными?

01:26:00 - Что такое прогнозируемость? Что можно прогнозировать, а что нельзя?

01:31:00 - Не просто прогнозируйте. Прогнозирование для бизнес-решений

01:33:00 - Почему фондовые рынки невозможно предсказать — теория эффективного рынка.

01:34:00 - Возможно ли причинно-следственное прогнозирование?

01:36:25 - Недооценены или переоценены ансамблевые ме...