CloudFlare: Как подключить и настроить защиту сайта от ботов и накрутки ПФ? - Soltyk.ru

Рассказываю про сервис CloudFlare, используемый для защиты сайтов от ботов, накрутки поведенческих факторов, спама, DDOS-атак. И какие настройки повлияли на SEO - ранжирование в поисковых системах Яндекс и Google.

ВНИМАНИЕ! Видео устарело! Эти настройки уже не работают для защиты от накрутчиков ПФ на 05.2024.
В данный момент у меня уже другая методика защиты и правила WAF. Могу настроить за отдельную плату.

Тайм-коды, оглавление видео в YouTube:
0:00 Введение. Что такое CloudFlare.com?
0:36 Регистрируемся в CloudFlare.com
0:53 Проверяем свой сайт на блокировку Роскомнадзором
1:19 Добавляем сайт в CloudFlare
1:36 Выбираем бесплатный тарифный план в CloudFlare
1:43 DNS-записи домена и их сверка с записями на хостинге
3:03 Прописываем NS-записи CloudFlare вместо NS-записей хостинга в регистраторе доменных имен, ждем обновления до 48 часов
4:07 Включаем DNSSEC
4:46 Настраиваем SSL/TLS - настраиваем безопасное подключение и сертификаты
6:10 Настраиваем WAF (Web Application Firewall) - 5 правил безопасности брандмауэра, которые отсекают около 90% ботов на сайт
6:27 Создаем правила в WAF. Виды блокирования
7:09 1 правило. Разрешаем Белых ботов
7:36 2 правило. Выдаем капчу: кто не SSL или имеет IPV6
8:52 3 правило. Выдаем капчу,кто не HTTP2+ или с пустым реферером
9:58 4 правило. Блокируем плохие парсеры
10:15 5 правило. Плохие страны - на усмотрение CloudFlare
10:50 Смотрим отчет География в Яндекс.Метрике
11:46 Включаем Bot Fight Mode - обнаружение JavaScript у ботов
12:14 Включаем Early Hints - предзагрузка страниц, ускорение
12:35 Сбрасываем кеш Purge Cache - Purge Everything
12:53 Включаем Browser Cache TTL - Respect Existing Headers
13:10 Включаем Crawler Hints - ускоряем индексацию поисковиками (возможно используют IndexNow)
13:56 Page Rules - настраиваем 3 правила базовых редиректов на уровне брандмауэра используя Forwarding URL + 301 - Permanent Redirect
15:33 Включаем Normalize URLs to origin - убираем двойные слеши и закодированные символы в URL, приводим к стандарту
15:43 Включаем 0-RTT Connection Resumption - повышаем производительность при повторных визитах
15:57 Включаем gRPC - для снижения использования полосы пропускания, уменьшения задержек и ускорения
16:15 Включаем Pseudo IPv4 - для поддержки сервером IPv4 при посещениях с IPv6
16:28 Внимание Maximum Upload Size - больше 100 МБ пользователи не смогут загрузить на сайт!
17:07 Смотрим отчеты
17:41 Анализируем отчет файервола - сколько ботов и прошедших проверку
18:14 Как накручивают сайт, делают отказы - как выявить и результаты после включения защиты
21:35 Включаем отображение роботного трафика в отчетах Яндекс.Метрики
22:22 Турбо-страницы Яндекса и ботный трафик
22:55 Как CloudFlare влияет на посещаемости с органики?
23:08 Смотрим отчет по страницам в Яндекс Вебмастер
24:03 Смотрим отчет по страницам в Google Search Console
24:37 Смотрим отчет Тренды в Яндекс Вебмастер
25:16 Как анализировать влияние CloudFlare на SEO
25:24 Заключение
26:15 Что делать, если CloudFlare запретят в РФ?

После завершения настройки DNS - отправляем обновление DNS по кнопке "Check nameservers".

Используемые инструменты:
https://cloudflare.com/ - Сервис защиты
https://blocklist.rkn.gov.ru/ - Сервис для проверки ограничений на домене от Роскомнадзора

Шаблон 1 правила:
(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (http.user_agent contains "msnbot") or (http.user_agent contains "Googlebot")

Шаблон 2 правила:
(ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238})

Шаблон 3 правила:
(not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.src in {ВАШ_IP_АДРЕС_С_КОТОРОГО_ПАРСИТЕ_СВОЙ_САЙТ} and not ip.geoip.asnum in {13238}) or (http.referer eq "" and not ip.src in {ВАШ_IP_АДРЕС_С_КОТОРОГО_ПАРСИТЕ_СВОЙ_САЙТ} and not ip.geoip.asnum in {13238})

Шаблон 4 правила:
(http.user_agent contains "Abonti") or (http.user_agent contains "AspiegelBot") or (http.user_agent contains "aggregator") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Aport") or (http.user_agent contains "asterias") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "hloader") or (http.user_agent contains "httplib") or (http.user_agent contains "HTTrack")...

Шаблон 5 правила:
(ip.geoip.country ne "RU" and ip.geoip.country ne "BY" and ip.geoip.country ne "KZ")

Подписывайтесь на YouTube-канал.
Мой телеграм канал "Заметки по SEO Soltyk.ru": https://t.me/soltykseo
SEO-блог: https://soltyk.ru/

Алексей Солтык, SEO-специалист из Санкт-Петербурга.
Контакты: https://soltyk.ru/kontaktyi
Мои кейсы по SEO: https://soltyk.ru/cases

#cloudflare #ddos