Конвейер данных статистики крикета в облаке Google с использованием Airflow | Проект по инжинирин...

Хотите связаться со мной?
Напишите мне на [email protected] или запланируйте встречу по предоставленной ссылке https://topmate.io/vishal_bulbule
Конвейер данных статистики крикета в Google Cloud с использованием Airflow, Dataflow, Cloud Function и Looker Studio

Извлечение данных: Мы извлекаем данные из API Cricbuzz с помощью Python.

Хранение данных в GCS: После извлечения данных мы сохраняем их в CSV-файле в Google Cloud Storage (GCS).

Триггер облачной функции: Создайте облачную функцию, которая срабатывает при загрузке файла в контейнер GCS. Функция будет выполняться при обнаружении нового CSV-файла и запустит задание Dataflow.

Выполнение облачной функции: Внутри облачной функции будет находиться код, запускающий задание Dataflow. Убедитесь, что вы правильно обрабатываете триггер и передаете необходимые параметры для запуска задания Dataflow.

Задание Dataflow: Задание Dataflow запускается функцией Cloud Function и загружает данные из CSV-файла в контейнере GCS в BigQuery. Убедитесь, что вы настроили необходимые настройки.

Looker Dashboard: BigQuery служит источником данных для вашего Looker Studio. Настройте Looker для подключения к BigQuery и создайте панель управления на основе загруженных данных.

Репозиторий Github для всего кода, использованного в этом проекте
https://github.com/vishal-bulbule/cri...
================================================

Младший облачный инженер — полный бесплатный курс
   • Associate Cloud Engineer -Complete Free Co...  

Сертификационный курс Google Cloud Data Engineer
   • Google Cloud Data Engineer Certification C...  

Google Cloud Platform (GCP) Обучающие материалы
   • Плейлист  

Генеративный ИИ
   • Generative AI  

Начало работы с Duet AI
   • Getting started with Duet AI | Google Clou...  

Проекты Google Cloud
   • Google Cloud Projects  

Python для GCP
   • Python for GCP  

Учебные пособия по Terraform
   • Terraform  Associate Certification(003) Co...  

Linkedin
  / vishal-bulbule  

Блог на Medium
  / vishalbulbule  

Репозиторий исходного кода на Github
https://github.com/vishal-bulbule

Электронная почта: [email protected]

#dataengineeringessentials #dataengineers #dataengineeringproject #airflow #dataflow #cloudcomposer #bigquery #looker #googlecloud #datapipeline