Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

1 Introduction to Transformation

Spark Transformation

step by step Spark transformation

Spark Chain Transformation

Spark Actions

Spark UI Jobs

Spark UI Environment

Explain Spark UI Tabs

Spark agg transformation

spark col function

spark sort limit

spark drop transformation

is Spark load action or transformation

spark load file details

Spark SelectExpr

Spark withColumn

orderBY groupBy

Spark Join transformation

Spark transformation details

spark action details

Hands on Labs Spark

Автор: Cloud - DeepTech

Загружено: 2025-06-03

Просмотров: 0

Описание:

This is Volume 2 of Data Engineering course. In this course I will talk about Open Source Data Processing technologies - Spark and Kafka, which are the most used and most popular data processing frameworks for Batch & Stream Processing. In this course you will learn Spark from Level 100 to Level 400 with real-life hands on and projects. I will also introduce you to Data Lake on AWS (that is S3) & Data Lakehouse using Apache Iceberg.

I will use AWS as the hosting platform and talk about AWS Services - EMR, S3, Glue and MSK. I will also show you Spark integration with other services like AWS RDS (MySQL or PostgreSQL), Redshift and DynamoDB.

You will get opportunities to do hands-on using large datasets (100 GB - 300 GB or more of data). This course will provide you hands-on exercises that match with real-time scenarios like Spark batch processing, stream processing, performance tuning, streaming ingestion, Window functions, ACID transactions on Iceberg etc.

Some other highlights:
5 Projects with different datasets. Total dataset size of 250 GB or more.
Other technologies covered - EC2, EBS, VPC and IAM.
Optional Python videos
Optional AWS and SQL Essentials videos

1  Introduction to Transformation

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

array(10) { [0]=> object(stdClass)#4095 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "SfDHTEdygis" ["related_video_title"]=> string(58) "Spark Ecosystem, Development, Architecture & Execution" ["posted_time"]=> string(22) "10 дней назад" ["channelName"]=> string(16) "Cloud - DeepTech" } [1]=> object(stdClass)#4068 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "adrpm9E3Heg" ["related_video_title"]=> string(31) "YARN - Architecture & Usage" ["posted_time"]=> string(23) "1 месяц назад" ["channelName"]=> string(16) "Cloud - DeepTech" } [2]=> object(stdClass)#4093 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "ALHDEHEbVb0" ["related_video_title"]=> string(45) "Intro to Spark, Batch & Stream Processing" ["posted_time"]=> string(22) "10 дней назад" ["channelName"]=> string(16) "Cloud - DeepTech" } [3]=> object(stdClass)#4100 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "aircAruvnKk" ["related_video_title"]=> string(101) "Но что такое нейронная сеть? | Глава 1. Глубокое обучение" ["posted_time"]=> string(19) "7 лет назад" ["channelName"]=> string(11) "3Blue1Brown" } [4]=> object(stdClass)#4079 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "tz0fzaIE5Pk" ["related_video_title"]=> string(119) "Собираю AI-Агента с RAG в N8N — работает как человек (шаблон внутри)" ["posted_time"]=> string(22) "11 дней назад" ["channelName"]=> string(6) "Kireev" } [5]=> object(stdClass)#4097 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "OUpaNrsge64" ["related_video_title"]=> string(75) "BLAST.tv Austin Major 2025, Stage 3, Day 2 - Stream B - FURIA vs Virtus.pro" ["posted_time"]=> string(0) "" ["channelName"]=> string(13) "BLAST Premier" } [6]=> object(stdClass)#4092 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "NJ-xGN9uygs" ["related_video_title"]=> string(127) "Всем вернуться в ICQ! | Заменит ли госмессенджер телегу (English subtitles) @Max_Katz" ["posted_time"]=> string(21) "3 часа назад" ["channelName"]=> string(19) "Максим Кац" } [7]=> object(stdClass)#4102 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "hbrvRevqUdA" ["related_video_title"]=> string(102) "Израиль атаковал Иран — будет ли ответ? | Скотт Риттер" ["posted_time"]=> string(21) "3 часа назад" ["channelName"]=> string(21) "Мысли Вслух" } [8]=> object(stdClass)#4078 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "_rkBx62J3Mk" ["related_video_title"]=> string(68) "Российско-украинская война - на карте" ["posted_time"]=> string(23) "5 часов назад" ["channelName"]=> string(21) "Гео-История" } [9]=> object(stdClass)#4096 (5) { ["video_id"]=> int(9999999) ["related_video_id"]=> string(11) "frthm0rwYQs" ["related_video_title"]=> string(178) "Осечкин: "Все кончено! Для Путина лавочка прикрылась": мощная атака на Иран, Кремль, судьба Вагнера" ["posted_time"]=> string(21) "4 часа назад" ["channelName"]=> string(24) "И Грянул Грэм" } }
Spark Ecosystem, Development, Architecture & Execution

Spark Ecosystem, Development, Architecture & Execution

YARN - Architecture & Usage

YARN - Architecture & Usage

Intro to Spark, Batch & Stream Processing

Intro to Spark, Batch & Stream Processing

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Собираю AI-Агента с RAG в N8N — работает как человек (шаблон внутри)

Собираю AI-Агента с RAG в N8N — работает как человек (шаблон внутри)

BLAST.tv Austin Major 2025, Stage 3, Day 2 - Stream B - FURIA vs Virtus.pro

BLAST.tv Austin Major 2025, Stage 3, Day 2 - Stream B - FURIA vs Virtus.pro

Всем вернуться в ICQ! | Заменит ли госмессенджер телегу (English subtitles) @Max_Katz

Всем вернуться в ICQ! | Заменит ли госмессенджер телегу (English subtitles) @Max_Katz

Израиль атаковал Иран — будет ли ответ? | Скотт Риттер

Израиль атаковал Иран — будет ли ответ? | Скотт Риттер

Российско-украинская война - на карте

Российско-украинская война - на карте

Осечкин:

Осечкин: "Все кончено! Для Путина лавочка прикрылась": мощная атака на Иран, Кремль, судьба Вагнера

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]