Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

Twitter Data Pipeline using Airflow for Beginners | Data Engineering Project

Автор: Darshil Parmar

Загружено: 2022-09-20

Просмотров: 406862

Описание:

➡️ Check Out My Data Engineering Bootcamp: https://bit.ly/3yXsrcy
USE CODE: COMBO50 for a 50% discount

This is End-To-End Data Engineering Project using Airflow and Python. In this project, we will extract data using Twitter API, use python to transform data, deploy the code on Airflow/EC2 and save the final result on Amazon S3

Code and commands used in the project - https://github.com/darshilparmar/twit...

Other resources:
Twitter API -   / twitter-api  
Python (Installation & Basics) -    • Python Tutorial - Python for Beginners | P...  
Setup AWS Account -    • AWS Account Setup - Step by Step procedure...  
Airflow Doc - https://airflow.apache.org/docs/

Join Data With Darshil Discord Server:   / discord  

Timestamps
0:00 Project introduction
0:56 Section 1 (Prerequisite)
2:21 Section 2 (Understand basic concept)
7:55 Section 3 (Project execution)

👦🏻 My Linkedin -   / darshil-parmar  
📷 Instagram -   / darshilparmarr  
🎯Twitter -   / parmardarshil07  

🌟 Please leave a LIKE ❤️ and SUBSCRIBE for more AMAZING content! 🌟

3 Books You Should Read
📈Principles: Life and Work: https://amzn.to/3HQJDyP
👀Deep Work: https://amzn.to/3IParkk
💼Rework: https://amzn.to/3HW981O

Tech I use every day
💻MacBook Pro M1: https://amzn.to/3CiFVwC
📺LG 22 Inch Monitor: https://amzn.to/3zk0Dts
🎥Sony ZV1: https://amzn.to/3hRpSMJ
🎙Maono AU-A04: https://amzn.to/3Bnu53n
⽴Tripod Stand: https://amzn.to/3tA7hu7
🔅Osaka Ring Light and Stand: https://amzn.to/3MtLAEG
🎧Sony WH-1000XM4 Headphone: https://amzn.to/3sM4sXS
🖱Zebronics Zeb-War Keyboard and Mouse: https://amzn.to/3zeF1yq
💺CELLBELL C104 Office Chair: https://amzn.to/3IRpiL2


👉Data Engineering Complete Roadmap:    • Data Engineer Complete Road Map 2022  
👉Data Engineering Project Series:    • Data Engineering Project Portfolio  
👉Become Full-Time Freelancer:    • Best Freelancer Series 2024  
👉Data With Darshil Podcast:    • Podcast Series - Data With Darshil  



✨ Tags ✨
data engineering project, complete data engineering project for beginners, learn data engineering, data engineering roadmap

✨ Hashtags ✨
#airflow #dataengineering #project

Twitter Data Pipeline using Airflow for Beginners | Data Engineering Project

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

array(20) { ["KerNf0NANMo"]=> object(stdClass)#9080 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "KerNf0NANMo" ["related_video_title"]=> string(91) "📈 Stock Market Real-Time Data Analysis Using Kafka | End-To-End Data Engineering Project" ["posted_time"]=> string(21) "2 года назад" ["channelName"]=> NULL } ["Ye-N92ObhU4"]=> object(stdClass)#9095 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "Ye-N92ObhU4" ["related_video_title"]=> string(122) "Comedy Club: Голосовые от друга | Батрутдинов, Карибидис, Шкуро @ComedyClubRussia" ["posted_time"]=> string(24) "17 часов назад" ["channelName"]=> NULL } ["2hPCX-p_X8Q"]=> object(stdClass)#9081 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "2hPCX-p_X8Q" ["related_video_title"]=> string(109) "Извлечение данных Amazon с помощью Python (пошаговое руководство)" ["posted_time"]=> string(21) "3 года назад" ["channelName"]=> NULL } ["tsnZMWMM9Uk"]=> object(stdClass)#9078 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "tsnZMWMM9Uk" ["related_video_title"]=> string(84) "How to Build and Run a Java Spring Boot App using Maven | Step-by-Step for Beginners" ["posted_time"]=> string(19) "3 дня назад" ["channelName"]=> NULL } ["bCaTpfYuCJs"]=> object(stdClass)#9073 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "bCaTpfYuCJs" ["related_video_title"]=> string(91) "How to install GIT and self-hosted Gitea: Your Personal GitHub on a Home Server #git #gitea" ["posted_time"]=> string(19) "4 дня назад" ["channelName"]=> NULL } ["IaA9YNlg5hM"]=> object(stdClass)#9089 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "IaA9YNlg5hM" ["related_video_title"]=> string(66) "Olympic Data Analytics | Azure End-To-End Data Engineering Project" ["posted_time"]=> string(21) "2 года назад" ["channelName"]=> NULL } ["OMMLP5UngvA"]=> object(stdClass)#9070 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "OMMLP5UngvA" ["related_video_title"]=> string(99) "Мобильным интернетом все не ограничится. Сергей Бойко" ["posted_time"]=> string(24) "14 часов назад" ["channelName"]=> NULL } ["IQNVoPi1ww0"]=> object(stdClass)#9090 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "IQNVoPi1ww0" ["related_video_title"]=> string(60) "These Data Engineering Projects Give You An Unfair Advantage" ["posted_time"]=> string(21) "2 года назад" ["channelName"]=> NULL } ["PwKUw5ljc2o"]=> object(stdClass)#9075 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "PwKUw5ljc2o" ["related_video_title"]=> string(79) "Школьник Взломал Playstation, но его Спасли Anonymous" ["posted_time"]=> string(19) "2 дня назад" ["channelName"]=> NULL } ["OAGAYOOz3A8"]=> object(stdClass)#9088 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "OAGAYOOz3A8" ["related_video_title"]=> string(136) "Пирамида ОФЗ | Правительство занимает триллионы у россиян (English subtitles) @Max_Katz" ["posted_time"]=> string(23) "9 часов назад" ["channelName"]=> NULL } ["xcer0m20sSQ"]=> object(stdClass)#9069 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "xcer0m20sSQ" ["related_video_title"]=> string(91) "Чистая Архитектура На FastAPI/Litestar | Шаблоны проектов" ["posted_time"]=> string(25) "2 недели назад" ["channelName"]=> NULL } ["yZKJFKu49Dk"]=> object(stdClass)#9079 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "yZKJFKu49Dk" ["related_video_title"]=> string(108) "Анализ данных YouTube | Комплексный проект по обработке данных" ["posted_time"]=> string(21) "3 года назад" ["channelName"]=> NULL } ["F2FmTdLtb_4"]=> object(stdClass)#9074 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "F2FmTdLtb_4" ["related_video_title"]=> string(48) "System Design Concepts Course and Interview Prep" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["0iNJPKheQqM"]=> object(stdClass)#9071 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "0iNJPKheQqM" ["related_video_title"]=> string(68) "IPL Data Analysis | Apache Spark End-To-End Data Engineering Project" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["HxdoBLc5_Qc"]=> object(stdClass)#9072 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "HxdoBLc5_Qc" ["related_video_title"]=> string(133) "Дорожная карта инженерии данных уровня God Tier 2024 с комплексными проектами" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["NcyNCAlFjZA"]=> object(stdClass)#9060 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "NcyNCAlFjZA" ["related_video_title"]=> string(63) "End to End Azure Data Factory Project | Data Migration Project" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["l_DSupG77ME"]=> object(stdClass)#9061 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "l_DSupG77ME" ["related_video_title"]=> string(43) "Only Data Engineering Roadmap You Need 2025" ["posted_time"]=> string(27) "9 месяцев назад" ["channelName"]=> NULL } ["voY-Xr6sFnQ"]=> object(stdClass)#9067 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "voY-Xr6sFnQ" ["related_video_title"]=> string(87) "DevOps on AWS: Part 12 | Basic Linux Commands | Building a Foundation for Cloud Success" ["posted_time"]=> string(21) "6 дней назад" ["channelName"]=> NULL } ["9-Jl0dxWQs8"]=> object(stdClass)#9068 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "9-Jl0dxWQs8" ["related_video_title"]=> string(97) "Как LLM могут хранить факты | Глава 7, Глубокое обучение" ["posted_time"]=> string(19) "1 год назад" ["channelName"]=> NULL } ["4aXp4TNzxC8"]=> object(stdClass)#9066 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "4aXp4TNzxC8" ["related_video_title"]=> string(0) "" ["posted_time"]=> string(25) "3 месяца назад" ["channelName"]=> NULL } }
📈 Stock Market Real-Time Data Analysis Using Kafka | End-To-End Data Engineering Project

📈 Stock Market Real-Time Data Analysis Using Kafka | End-To-End Data Engineering Project

Comedy Club: Голосовые от друга | Батрутдинов, Карибидис, Шкуро @ComedyClubRussia

Comedy Club: Голосовые от друга | Батрутдинов, Карибидис, Шкуро @ComedyClubRussia

Извлечение данных Amazon с помощью Python (пошаговое руководство)

Извлечение данных Amazon с помощью Python (пошаговое руководство)

How to Build and Run a Java Spring Boot App using Maven | Step-by-Step for Beginners

How to Build and Run a Java Spring Boot App using Maven | Step-by-Step for Beginners

How to install GIT and self-hosted Gitea: Your Personal GitHub on a Home Server #git #gitea

How to install GIT and self-hosted Gitea: Your Personal GitHub on a Home Server #git #gitea

Olympic Data Analytics | Azure End-To-End Data Engineering Project

Olympic Data Analytics | Azure End-To-End Data Engineering Project

Мобильным интернетом все не ограничится. Сергей Бойко

Мобильным интернетом все не ограничится. Сергей Бойко

These Data Engineering Projects Give You An Unfair Advantage

These Data Engineering Projects Give You An Unfair Advantage

Школьник Взломал Playstation, но его Спасли Anonymous

Школьник Взломал Playstation, но его Спасли Anonymous

Пирамида ОФЗ | Правительство занимает триллионы у россиян (English subtitles) @Max_Katz

Пирамида ОФЗ | Правительство занимает триллионы у россиян (English subtitles) @Max_Katz

Чистая Архитектура На FastAPI/Litestar | Шаблоны проектов

Чистая Архитектура На FastAPI/Litestar | Шаблоны проектов

Анализ данных YouTube | Комплексный проект по обработке данных

Анализ данных YouTube | Комплексный проект по обработке данных

System Design Concepts Course and Interview Prep

System Design Concepts Course and Interview Prep

IPL Data Analysis | Apache Spark End-To-End Data Engineering Project

IPL Data Analysis | Apache Spark End-To-End Data Engineering Project

Дорожная карта инженерии данных уровня God Tier 2024 с комплексными проектами

Дорожная карта инженерии данных уровня God Tier 2024 с комплексными проектами

End to End Azure Data Factory Project  | Data Migration Project

End to End Azure Data Factory Project | Data Migration Project

Only Data Engineering Roadmap You Need 2025

Only Data Engineering Roadmap You Need 2025

DevOps on AWS: Part 12 | Basic Linux Commands | Building a Foundation for Cloud Success

DevOps on AWS: Part 12 | Basic Linux Commands | Building a Foundation for Cloud Success

Как LLM могут хранить факты | Глава 7, Глубокое обучение

Как LLM могут хранить факты | Глава 7, Глубокое обучение

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]