Starlake : La Data Platform Open Source !

La récente fusion de Fivetran et dbt Labs confirme une tendance que Starlake anticipait dès sa création : le chargement et la transformation des données sont indissociables. Développée par des ingénieurs de terrain en mission chez des clients, la plateforme open source Starlake répond à un besoin concret d'orchestration cohérente sans créer de complexité superflue.

L'approche de Starlake repose sur un langage déclaratif unifié en YAML pour le Load et le Transform, tout en restant composable avec l'écosystème existant. La plateforme génère automatiquement l'orchestration pour Airflow, Dagster et Snowflake Tasks, évitant ainsi tout enfermement propriétaire. Cette philosophie d'ouverture est renforcée par un engagement total vers l'open source, garantissant que les utilisateurs ne se sentiront jamais bridés vers une version commerciale.

L'innovation majeure réside dans le lineage automatique. Grâce à JSQLParser, un parseur SQL open source auquel l'équipe contribue activement, Starlake génère le graphe de dépendances directement depuis du SQL standard, sans imposer de macros ou de langages propriétaires. Les analystes peuvent copier-coller leurs requêtes existantes et bénéficier immédiatement du lignage et de l'orchestration.

Le développement local constitue un autre atout différenciant. Starlake intègre une fonctionnalité de transpilation qui convertit le SQL des entrepôts de production (Snowflake, BigQuery, Redshift, Databricks) en SQL compatible avec DuckDB. Les développeurs testent ainsi leurs pipelines entièrement en local, exécutent leur CI/CD sans comptes de service distants, et respectent les bonnes pratiques d'ingénierie logicielle.

La fonctionnalité de branching de données révolutionne le travail sur les données réelles. Inspirée de Git, elle exploite les snapshots des bases pour créer des copies instantanées et isolées de tables de production. Plusieurs développeurs travaillent simultanément sur des données authentiques sans risque d'altération, tout en garantissant des tests de performance fiables. Cette capacité sera bientôt accessible via Starlake JDBC pour des outils comme DBeaver.

L'interface combine intelligemment code et interface graphique. Les assistants accélèrent les tâches répétitives tandis que l'éditeur de code offre auto-complétion, validation en temps réel et documentation intégrée. La création d'un projet prend quelques secondes, le schéma des fichiers chargés est inféré automatiquement, et le lignage au niveau table et colonne devient immédiatement explorable.

La sécurité et la souveraineté des données sont natives. Starlake opère dans l'infrastructure du client sans exiger de clés d'accès externes, répondant aux exigences des secteurs régulés. La plateforme intègre également un système de gestion de la qualité via des "expectations" définies en YAML, validant automatiquement les chargements selon des règles métier.

Développé par une équipe de data engineers experts, Starlake incarne une vision pragmatique où chaque fonctionnalité résout un problème réel rencontré sur le terrain. L'installation via Docker simplifie la prise en main, et la documentation complète accompagne les utilisateurs dans leur adoption.

Face à la consolidation du marché des données, Starlake démontre qu'une alternative open source, intégrée mais composable, peut répondre aux besoins des organisations sans compromis sur la flexibilité ou la souveraineté.