Trois options natives GCP couvrent le spectre d’orchestration pour dbt : Cloud Run Jobs + Scheduler, Cloud Workflows + Cloud Run, et Cloud Composer 3. Cette note les relie dans un cadre de décision. Cloud Composer 3 a un coût minimum de 300 à 400 $ par mois au repos ; les autres options sont nettement moins chères. Les besoins réels du workflow déterminent le bon choix.
Les trois options en un coup d’œil
| Cloud Run Jobs + Scheduler | Cloud Workflows + Cloud Run | Cloud Composer 3 | |
|---|---|---|---|
| Coût mensuel | < 5 $ (souvent dans le tier gratuit) | < 10 $ | Minimum 300-400 $ |
| Orchestration | Cron + déclencheurs d’événements | Multi-étapes avec conditionnels | Orchestration DAG complète |
| Backfill | Manuel | Manuel | Intégré |
| Interface | Cloud Logging | Logs d’exécution | Interface web Airflow |
| Complexité de configuration | Faible | Moyenne | Élevée |
| Idéal pour | Projet dbt unique | Pipelines multi-étapes | Orchestration enterprise |
Commencer avec Cloud Run Jobs
La recommandation par défaut est Cloud Run Jobs déclenché par Cloud Scheduler, sauf si des exigences spécifiques imposent autre chose. Pour la majorité des workflows dbt, Cloud Run Jobs fournit tout ce qui est nécessaire à une fraction du coût de Composer.
Choisissez Cloud Run Jobs lorsque :
- Votre projet dbt compte moins de 50 modèles avec des dépendances simples
- La planification est le besoin principal d’orchestration (exécutions quotidiennes, horaires ou déclenchées par événements)
- Vous valorisez la simplicité plutôt que des fonctionnalités d’orchestration inutilisées
- L’efficacité des coûts prime sur le confort opérationnel marginal
- Votre équipe est petite et n’a pas besoin de la visibilité multi-utilisateurs d’Airflow
Commencez ici, puis n’ajoutez de complexité que si vous atteignez une réelle limitation.
Ajouter Workflows quand la planification ne suffit plus
Cloud Workflows gère l’orchestration multi-étapes sans les coûts fixes de Composer. Choisissez cet intermédiaire lorsque votre pipeline comporte des dépendances séquentielles que la planification cron seule ne peut pas exprimer.
Choisissez Workflows plus Cloud Run lorsque :
- Vous avez besoin d’une orchestration multi-étapes avec logique conditionnelle
- Les besoins de backfill sont minimes ou peuvent être gérés manuellement
- La sensibilité aux coûts exclut Composer
- La complexité du pipeline dépasse ce que Cloud Scheduler seul peut exprimer
- Vous êtes à l’aise sans l’interface et l’écosystème Airflow
Le déclencheur typique pour passer de Cloud Scheduler pur à Workflows : vous avez besoin de « n’exécuter dbt qu’après la réussite de l’extraction » ou de « lancer la validation après dbt, puis notifier différemment selon les résultats ». Ce sont des exigences de contrôle de flux, pas de planification, et Workflows les gère pour une fraction de centime.
Passer à Composer quand l’orchestration l’exige
Composer devient rentable une fois que vous avez besoin de backfills, d’une surveillance enterprise, ou de pipelines multi-systèmes complexes. Le coût est réel, mais les capacités le sont aussi.
Choisissez Cloud Composer lorsque :
- Les pipelines couvrent l’extraction, la transformation et le chargement sur plusieurs systèmes
- Vous avez besoin de capacités de backfill pour le retraitement historique
- Les exigences de conformité imposent des pistes d’audit détaillées au niveau des tâches
- Plusieurs équipes ont besoin de visibilité sur le statut des pipelines partagés
- Vous exécutez déjà Composer pour d’autres charges de travail (le coût marginal est faible)
Ce dernier point mérite d’être souligné. Si Composer est déjà déployé pour des charges de travail non-dbt, ajouter un DAG dbt est quasi gratuit. L’argument coût contre Composer ne s’applique que lorsqu’il serait déployé exclusivement pour dbt.
Le chemin de migration incrémental
La beauté de ces trois options est qu’elles se composent naturellement à mesure que vos besoins croissent :
Étape 1 : Cloud Run Jobs + Cloud Scheduler. Déployez votre projet dbt dans un conteneur, déclenchez-le sur un cron. Cela couvre 80 % des besoins d’orchestration dbt.
Étape 2 : wrapper Cloud Workflows. Lorsque vous ajoutez des étapes d’extraction ou une validation post-dbt, encapsulez l’invocation Cloud Run Job dans un Workflow. Votre Cloud Run Job existant ne change pas — Workflows le séquence simplement avec d’autres étapes.
Étape 3 : Cloud Composer. Lorsque vous avez besoin de backfills, d’une surveillance enterprise, ou que votre pipeline dépasse ce que Workflows exprime proprement, migrez vers Composer. Votre projet dbt (toujours dans un conteneur) s’exécute via KubernetesPodOperator ou BashOperator. Le code dbt lui-même reste inchangé.
À chaque étape, le projet dbt reste portable. L’image conteneur, le profiles.yml, les modèles — rien de tout cela ne change quand vous changez d’orchestrateur. Vous ne changez que comment et quand le conteneur est invoqué. C’est l’avantage pratique de l’exécution dbt conteneurisée : l’orchestration devient interchangeable.
Évaluer selon les capacités actuelles
La plateforme a considérablement évolué. Les recommandations de 2023 ou antérieures reflètent souvent des limitations (plafonds de durée d’exécution, intégrations manquantes, outillage immature) qui ne s’appliquent plus. Cloud Run Jobs en 2026 gère des charges de travail qui nécessitaient auparavant Composer.
Hypothèses obsolètes courantes :
- « Cloud Run ne peut s’exécuter que 15 minutes » — faux, la limite est désormais de 168 heures
- « Vous avez besoin d’Airflow pour une planification fiable » — Cloud Scheduler + les retries Cloud Run gèrent cela
- « dbt piloté par événements nécessite Composer » — les déclencheurs Eventarc invoquent Cloud Run Jobs directement
- « Cloud Run ne peut pas gérer de grands projets dbt » — les limites de ressources sont généreuses et configurables
Évaluez selon les capacités actuelles, non selon des hypothèses obsolètes. Le même principe s’applique aux décisions build vs achat plus largement : les contraintes d’hier ne déterminent pas l’architecture optimale d’aujourd’hui.
Comparaison des coûts
Choisir Cloud Run Jobs plutôt que Composer économise 300 à 400 $ par mois (3 600 à 4 800 $ par an). Pour les consultants et les petites équipes gérant des budgets de plateforme, c’est une différence significative. Adaptez le choix d’orchestration à la complexité réelle du workflow ; Cloud Run Jobs est le bon choix pour la majorité des déploiements dbt sur GCP.