ServicesÀ proposNotesContact Me contacter →
EN FR
Note

Planifier dbt sans orchestrateur

Comment exécuter dbt en production sans Airflow, Dagster ou Prefect — les options pratiques de GitHub Actions à 0 €/mois jusqu'à Cloud Run Jobs, quand chacune convient et quand passer à la suite.

Planté
dbtgcpdata engineeringautomationcost optimization

Ce hub couvre les options de planification pour les projets dbt qui ne nécessitent pas un orchestrateur complet. Un dbt build quotidien déclenché par Cloud Scheduler coûte 0 à 3 €/mois ; Cloud Composer commence à 377 €/mois au repos. Pour les consultants indépendants ou les petites équipes exécutant 15 à 100 modèles sur un calendrier quotidien, une approche basée sur cron suffit souvent pendant des mois ou des années.

Prérequis : Un projet dbt fonctionnel sur BigQuery (ou un autre entrepôt). Pour la conteneurisation de dbt, commencez par Cloud Run Jobs pour dbt.

Les options

ApprocheCoût mensuelIdéal pour
Cloud Scheduler + Cloud Run Job0-3 €Équipes GCP-native, fiabilité en production
GitHub Actions0 €Équipes déjà sur GitHub, configuration minimale
Cloud Workflows + Cloud Run0-5 €Pipelines multi-étapes avec logique séquentielle
dbt Cloud (niveau Developer)0 €Consultants indépendants souhaitant une planification gérée
Dagster+ Solo10 €Première montée en gamme vers un orchestrateur, surveillance de fraîcheur
Cloud Composer 3 (small)377 €+Orchestration enterprise, pipelines complexes multi-systèmes

Ordre de lecture

Si vous configurez votre premier run dbt planifié sur GCP : Commencez par Cloud Run Jobs pour dbt. C’est le choix par défaut recommandé — fiable, bon marché et extensible.

Si vous êtes déjà sur GitHub et souhaitez zéro nouvelle infrastructure : Lisez dbt Orchestration Decision Framework for GCP. C’est le chemin le plus rapide vers un calendrier fonctionnel sans aucune configuration GCP requise.

Si votre pipeline implique plus que juste dbt — ingestion avant, validation après, notifications en aval : Cloud Workflows Orchestration explique comment séquencer plusieurs étapes pour une fraction de centime.

Si vous vous demandez si le planificateur intégré de dbt Cloud élimine le besoin de tout cela : dbt Cloud Managed Platform couvre ce qu’il inclut et le modèle de tarification. Vaut la peine d’être lu avant de s’engager sur une tarification par siège.

Une fois que vous avez quelque chose qui fonctionne, consultez la tarification des orchestrateurs pour les équipes dbt pour une comparaison complète des coûts entre toutes les options gérées — utile quand quelqu’un demande pourquoi vous n’utilisez pas le « vrai » orchestrateur.

Quand les choses commencent à sembler insuffisantes avec le cron job : dbt Orchestration Decision Framework for GCP nomme les cinq indicateurs concrets. Si vous n’en voyez aucun, vous n’avez probablement pas encore besoin d’une mise à niveau.

Un dbt build quotidien sur Cloud Run avec un déclencheur cron Cloud Scheduler est une infrastructure de qualité production. Les signaux qui indiquent qu’une mise à niveau est nécessaire sont des échecs de timing, des échecs silencieux, et une confusion sur la propriété.

Pour la décision complète native GCP entre Cloud Run, Cloud Workflows et Cloud Composer, consultez le cadre de décision d’orchestration dbt pour GCP.