PyWaw #98 - Managing Python dependencies at scale

Prelegent: Jarek Potiuk

In this talk Jarek will talk about the challenges we faced when managing Apache Airflow dependencies at scale. Jarek will present the solutions that allowed Airflow to survive breaking one monolithic package into 70+ smaller ones and continue releasing Airflow for the last 3 years, despite a bit of a hostile environment of the Python dependency world, breaking changes in PyPI and setuptools. Jarek will tell you how he kept sanity while doing so while mostly single-handedly managing the environment, with non-stop development of Airflow through multiple releases. Apache Airflow is one of the biggest projects in PyPI when it comes to dependencies. Airflow itself consists of the main "Airflow" package but additionally to that Apache Airflow releases 70+ provider packages that give optional Airflow functionality. We regularly release - at least 20-30 packages a month (sometimes all 70+), and when you count all transitive dependencies we have way more than 500 (!) Python dependencies. It's so big that we broke PyPI after the new dependency resolver was introduced and got into an argument with PyPI maintainers, which finally led to building new friendships and helping PyPI become more stable and robust. The story is fascinating (for those who are fascinated by dependency hell management that is).

Prezentacja odbyła się podczas spotkania PyWaw #98 (22.11.2021) - http://www.pywaw.org/98/

PyWaw (http://pywaw.org) to cykliczne spotkania pasjonatów języka programowania Python z Warszawy i okolic. Projekt ten skierowany jest zarówno do studentów stołecznych uczelni, profesjonalnych deweloperów oraz wszystkich tych, którzy swoją przygodę z Pythonem dopiero zaczynają. Celem naszych spotkań jest wymiana doświadczenia pomiędzy programistami, integracja pythonowego środowiska Warszawy oraz propagowanie Pythona jako uniwersalnego języka programowania. Spotkania PyWaw odbywają się w każdy drugi lub trzeci poniedziałek miesiąca.