Парадокс Симпсона — объяснение на простом примере

Данные подобны магии. Почему вещи не всегда такие, какими кажутся? Могут ли данные лгать? Да! Данные — инструмент для манипуляций. В математике и статистике существует ряд парадоксов, которые делают это намеренно или случайно.

Откройте для себя парадокс Симпсона — ошеломляющее явление, когда тенденции в группах меняются местами при их объединении. Многим это довольно сложно понять. Именно поэтому я решил привести очень простой статистический пример того, почему и когда может возникнуть парадокс Симпсона (он же эффект Юла-Симпсона).

Парадокс Симпсона возникает, когда разбиение данных существенно меняет результаты анализа. Как выбрать правильное разбиение? Этот вопрос я рассмотрю в следующих видео.

Вы, вероятно, много раз слышали: корреляция не всегда подразумевает причинно-следственную связь. Парадокс Симпсона не доказывает и не опровергает причинно-следственную связь напрямую, но он подчеркивает, почему следует быть осторожным при выводе причинно-следственных связей из данных наблюдений, особенно при работе с агрегированной статистикой. Почему? Вот краткий список того, что следует иметь в виду:
Вводящие в заблуждение корреляции.
Скрытые переменные.
Важность стратификации.
Причинно-следственные модели (очень интересно, скоро будут другие видео об этом, также известном как «Причинный ИИ»).
Вмешательства против наблюдения.

Это видео знакомит вас с примером о препаратах (D) A и B. И вы удивитесь, почему разделение данных по общему числу приводит к одним результатам, а разделение по полу переворачивает всё с ног на голову и приводит к другим.

Приятного просмотра!

#парадокссимпсона #корреляция #причинныйИИ