Всегда проверяйте наличие скрытого API при парсинге сайтов

⭐ Курс ООП и Приват канал: https://www.zproger-school.com/?utm_s...
⭐ Телеграм канал: https://t.me/+ag3TWfFIuKs1NjMx
⭐ Прокси сервис: https://proxy6.net/en/a/91388

Бывало ли у вас такое, что при парсинге сайтов вы не могли достать тот контент, который отображается на странице? Часто это говорит о том, что данные рендерятся через JS.

Поэтому в таких ситуациях многие предпочитают использовать Selenium, чтобы имитировать поведение пользователя. Но что если я вам скажу, что вы можете найти скрытый API сайта и избежать использования таких инструментов как Селениум?

В этом видео я покажу как искать зацепки на сайтах, и как использовать Insomnia для проверки запросов. Мы научимся находить чистые данные, которые отдает сервер, прежде чем JS проведет над ними свои манипуляции.

📁 Github: https://github.com/Zproger
📁 Все плейлисты с уроками: https://bit.ly/39GaY89
📁 Связаться со мной: [email protected]
📁 Поддержать канал: https://github.com/Zproger/donate

Тайм-коды:
0:00 - Почему важно знать этот способ?
1:13 - Ищем способ автоматизации сайта с Insomnia
5:07 - Ищем данные в sitemap.xml и сравниваем контент без JS
5:49 - Как узнать что сайт хранит данные локально?
7:53 - Ищем скрытый API сайта с Insomnia