Python Selenium ve BeautifulSoup paketlerini kullanarak internetten otomatik veri çekme uygulaması

Python ile Selenium ve BeautifulSoup paketlerini kullanarak internet sitelerinden otomatik veri çekme
(web tarayıcı: Chrome ve Pycharm ile)
gerekli kütüphaneler: selenium, bs4, pandas, openpyxl

Python kodu için link:
https://github.com/bulentsezen/intern...

Yapacağımız Örnek uygulama web sayfası: https://www.science.org/journal/sciro...

Referans alınan youtube videoları:
   • Python BeautifulSoup Dersleri - 2 ( Twitter )  

   • Python ile Websitesinden Veri Çekmek - Bea...  

Adımlar:

1- Selenium ve Beautiful Soup kütüphanelerinin Pycharm da kurulması ve kullanılan versiyonlar (ayrıca pandas ve openpyxl kütüphaneleri de gerekecek)

2- Selenium test aracı için kullanılan web tarayıcıya (Chrome) uygun “chromedriver.exe” dosyasının indirilmesi ve kullanılması

3- Selenium ile Python kodu çalıştırılarak web sayfasının otomatik açılması

4- Sonra açılan sayfada Beautifulsoup kullanılarak makale başlıklarının otomatik olarak çekilmesi ve konsolda yazdırılması

5- Pandas ve openpyxl kütüphanelerini kullanarak makale başlıklarının önce veri tabanına dönüştürülmesi ve sonra bir excel dosyasına aktarılması

6- Web tarayıcısında bir sonraki sayfaya otomatik geçilmesi için ilgili sayfa geçiş linkinin alınması ve konsola yazdırılması

7- Web tarayıcısında bir sonraki sayfaya otomatik geçilmesi

8- Bir while döngüsü ile sonraki sayfalara otomatik geçişi 5 defa tekrarlayarak bu sayfalardaki makale başlıklarını excel dosyasına yazdırma

9- while döngüsü ile sonraki sayfalara otomatik geçişi tüm sayfalar için (16 sayfa) tekrarlayarak tüm makale başlıklarını excel dosyasına yazdırma

Diğer konular:
Twitter gibi sitelerde otomatik veri çekerken “sayfayı aşağı kaydırma” (scroll down) işlemini Python kodu ile yapmak gerekir.