Как подключить к Apache Spark проприетарный источник данных / Александра Белоусова (Яндекс.Go)
Автор: HighLoad Channel
Загружено: 2021-10-04
Просмотров: 1684
Приглашаем на крупнейшую профессиональную конференцию для разработчиков высоконагруженных систем Saint HighLoad++ 2026
Подробнее: https://clck.ru/3QZHTb
Июнь, 2026
Санкт-Петербург, DESIGN DISTRICT DAA in SPb
---------
HighLoad++ Весна 2021
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем
17 и 18 мая 2021. Москва, Крокус-Экспо
Тезисы и презентация:
https://www.highload.ru/spring/2021/a...
Apache Spark -- это популярный фреймворк для обработки данных. В него из коробки встроена интеграция с HDFS и разными форматами хранения, а, кроме этого, есть опенсорсные коннекторы почти к чему угодно. Но иногда эти коннекторы работают недостаточно оптимально, а для проприетарного хранилища просто не существует готовых решений. Тогда нужно разобраться в деталях API и написать коннектор самому.
...
Нашли ошибку в видео? Пишите нам на [email protected]
Доступные форматы для скачивания:
Скачать видео mp4
-
Информация по загрузке:
