Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
dTub
Скачать

PyWaw #98 - Managing Python dependencies at scale

Автор: PyWaw

Загружено: 2022-11-09

Просмотров: 121

Описание:

Prelegent: Jarek Potiuk

In this talk Jarek will talk about the challenges we faced when managing Apache Airflow dependencies at scale. Jarek will present the solutions that allowed Airflow to survive breaking one monolithic package into 70+ smaller ones and continue releasing Airflow for the last 3 years, despite a bit of a hostile environment of the Python dependency world, breaking changes in PyPI and setuptools. Jarek will tell you how he kept sanity while doing so while mostly single-handedly managing the environment, with non-stop development of Airflow through multiple releases. Apache Airflow is one of the biggest projects in PyPI when it comes to dependencies. Airflow itself consists of the main "Airflow" package but additionally to that Apache Airflow releases 70+ provider packages that give optional Airflow functionality. We regularly release - at least 20-30 packages a month (sometimes all 70+), and when you count all transitive dependencies we have way more than 500 (!) Python dependencies. It's so big that we broke PyPI after the new dependency resolver was introduced and got into an argument with PyPI maintainers, which finally led to building new friendships and helping PyPI become more stable and robust. The story is fascinating (for those who are fascinated by dependency hell management that is).

Prezentacja odbyła się podczas spotkania PyWaw #98 (22.11.2021) - http://www.pywaw.org/98/

PyWaw (http://pywaw.org) to cykliczne spotkania pasjonatów języka programowania Python z Warszawy i okolic. Projekt ten skierowany jest zarówno do studentów stołecznych uczelni, profesjonalnych deweloperów oraz wszystkich tych, którzy swoją przygodę z Pythonem dopiero zaczynają. Celem naszych spotkań jest wymiana doświadczenia pomiędzy programistami, integracja pythonowego środowiska Warszawy oraz propagowanie Pythona jako uniwersalnego języka programowania. Spotkania PyWaw odbywają się w każdy drugi lub trzeci poniedziałek miesiąca.

PyWaw #98 - Managing Python dependencies at scale

Поделиться в:

Доступные форматы для скачивания:

Скачать видео mp4

  • Информация по загрузке:

Скачать аудио mp3

Похожие видео

Алгоритмический скальпель: как Python помогает находить и использовать рыночные неэффективности

Алгоритмический скальпель: как Python помогает находить и использовать рыночные неэффективности

PyWaw #116 - Python data processing libraries and how to stitch them into a data platform

PyWaw #116 - Python data processing libraries and how to stitch them into a data platform

Стоимость небольших криптографических компаний вот-вот резко возрастет.

Стоимость небольших криптографических компаний вот-вот резко возрастет.

Создавайте профессиональные архитектурные схемы с помощью ИИ бесплатно, используя Python и Github...

Создавайте профессиональные архитектурные схемы с помощью ИИ бесплатно, используя Python и Github...

Сисадмины больше не нужны? Gemini настраивает Linux сервер и устанавливает cтек N8N. ЭТО ЗАКОННО?

Сисадмины больше не нужны? Gemini настраивает Linux сервер и устанавливает cтек N8N. ЭТО ЗАКОННО?

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

LLM fine-tuning или ОБУЧЕНИЕ малой модели? Мы проверили!

Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория

Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория

СРОЧНО отключи это в Telegram! Защити себя ПРОСТЫМ и ЗАКОННЫМ способом

СРОЧНО отключи это в Telegram! Защити себя ПРОСТЫМ и ЗАКОННЫМ способом

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Typst: Современная замена Word и LaTeX, которую ждали 40 лет

Typst: Современная замена Word и LaTeX, которую ждали 40 лет

Трамп опять презирает Зеленского?

Трамп опять презирает Зеленского?

Если у тебя спросили «Как твои дела?» — НЕ ГОВОРИ! Ты теряешь свою силу | Еврейская мудрость

Если у тебя спросили «Как твои дела?» — НЕ ГОВОРИ! Ты теряешь свою силу | Еврейская мудрость

Клон SpaceX за $100 млрд в Китае не смог превзойти даже одну частную компанию США!

Клон SpaceX за $100 млрд в Китае не смог превзойти даже одну частную компанию США!

Первый взгляд на новый одноплатный компьютер Orange pi 4 pro. Тест производительности.

Первый взгляд на новый одноплатный компьютер Orange pi 4 pro. Тест производительности.

PyWaw #121 - Diving into OpenTelemetry: Python web app case study

PyWaw #121 - Diving into OpenTelemetry: Python web app case study

Я случайно создал приложение на работе. Gemini Canvas + NotebookLM гайд.

Я случайно создал приложение на работе. Gemini Canvas + NotebookLM гайд.

PyWaw #116 Airflow 3 is coming!

PyWaw #116 Airflow 3 is coming!

Слышал, их ПРОКАЧАЛИ!💪 POCO M8 PRO и POCO M8 - расскажу ПРАВДУ

Слышал, их ПРОКАЧАЛИ!💪 POCO M8 PRO и POCO M8 - расскажу ПРАВДУ

Понимание GD&T

Понимание GD&T

PyWaw #117 What NOT TO DO when type hinting in Python?

PyWaw #117 What NOT TO DO when type hinting in Python?

© 2025 dtub. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: infodtube@gmail.com