Учебное пособие по веб-скрапингу на Python: сбор динамических веб-сайтов JavaScript/AJAX с помощь...

Это руководство по веб-скрапингу на Python посвящено парсингу динамических сайтов, контент которых отображается с помощью JavaScript.

Для этого руководства я использовал магазин Steam в качестве примера. Сайт Steam — это пример сайта с обширной базой данных JavaScript/AJAX и динамическим контентом.

Для парсинга сайта Steamstore на Python я использовал только библиотеки Python Requests и BeautifulSoup (bs4). Собранные данные я экспортировал в CSV-файл.

Это руководство по веб-скрапингу на Python — подробное объяснение того, как парсить страницы и сайты, работающие на JavaScript, с помощью Python и библиотеки BeautifulSoup для начинающих.

Чтобы установить BeautifulSoup, Requests и Lxml:
pip install bs4 requests lxml

Подпишитесь на меня:
Telegram: https://t.me/red_eyed_coder_club
Twitter:   / codereyed  
Facebook: https://fb.me/redeyedcoderclub

=========================================
📎️ ИСХОДНЫЙ КОД доступен на Patreon:
  / steam-store-with-35670113  
=========================================

Таймкоды:

00:00 - Начало.
01:09 — Предварительное исследование (что именно нужно парсить)
03:15 — Создание функции, выполняющей GET-запросы к магазину Steam
06:01 — Исследование ответа сервера: какой URL-адрес следует передать функции get_html()
09:24 — План парсинга
09:43 — Получение всех игр из магазина Steam с помощью Python Requests и BeautifulSoup. Парсинг пагинации.
12:40 - Алгоритм парсинга всех страниц с помощью GET-запросов пагинации
16:35 - Парсинг данных определенной страницы с играми
25:30 - Парсинг данных при наведении курсора на все игры на каждой странице, включая данные из окна при наведении курсора
38:40 - Запись парсинга в CSV-файл

✴️✴️✴️ Также может быть полезно ✴️✴️✴️
Руководство по Python: Пространства имен и области видимости -    • Python tutorial #7: Python Namespaces and ...  
Руководство по регулярным выражениям в Python -    • Regex Python Tutorial: Python Regular Expr...  
Руководство по Python: Обработка исключений -    • Python tutorial #14: Python Exceptions Han...  
Как читать и записывать CSV-файлы -    • Python CSV tutorial: How to read and write...  

✴️✴️✴️ Курс по веб-скрейпингу ✴️✴️✴️
доступен на Patreon здесь:
  / red_eyed_coder_club  

или на его лендинге:
https://red-eyed-coder-club.github.io...

✴️✴️✴️ ПЛЕЙЛИСТЫ ✴️✴️✴️

🔹Урок по Django 3: блог-движок
   • Python Django Tutorial #0: Demo of Django ...  

🔹Урок по Kivy: Проект Coppa
   • Python Kivy tutorial #0: Demo Project | Ki...  

🔹Бот Telegram на Python (CoinMarketCap)
   • Python Telegram Bot Tutorial: Demo and Int...  

🔹Веб-скрейпинг на Python
   • Python Ebay Scraping Tutorial: Web scrapin...  

➥➥➥ ПОДПИШИТЕСЬ, ЧТОБЫ СМОТРЕТЬ БОЛЬШЕ ВИДЕО ➥➥➥
Red Eyed Coder Club — лучшее место для изучения программирования на Python и Django:
Подпишитесь ⇢    / @redeyedcoderclub  

Руководство по веб-скрапингу на Python: сбор динамических сайтов на JavaScript/AJAX с помощью BeautifulSoup
   • Python Web Scraping Tutorial: scraping dyn...  

#python #pythonwebscraping #beautifulsoup #bs4 #redeyedcoderclub #webscrapingpython #beautifulsouptutorial