ServicesÀ proposNotesContact Me contacter →
EN FR
Note

Hub de migration dbt vers Dataform

Hub de référence pour migrer de dbt vers Dataform — la décision, le mapping des concepts, les étapes procédurales et ce que vous perdrez. Pour les équipes BigQuery qui évaluent ce changement.

Planté
dbtdataformbigquerydata engineering

Ce hub couvre la décision de migrer de dbt vers Dataform et les étapes procédurales si vous décidez d’aller de l’avant. À 100 $/utilisateur/mois, une équipe analytics de 10 personnes paie 12 000 $ par an pour dbt Cloud. Dataform offre des capacités de transformation comparables à coût de licence zéro pour les utilisateurs BigQuery, mais la migration a des coûts réels et des compromis qui vont au-delà de la simple comparaison de licences.

Prérequis

Cette migration n’est pertinente que si vous êtes une équipe exclusivement sur BigQuery. Dataform fonctionne avec BigQuery et rien d’autre. S’il y a la moindre chance d’ajouter Snowflake, Databricks ou un autre entrepôt dans les prochaines années, la décision est déjà prise pour vous : restez sur dbt.

Vous devez être familier avec :

La décision

Commencez ici avant de regarder les étapes procédurales.

Ce que vous perdrez

Ces notes documentent les lacunes. Lisez-les avant de vous engager.

  • Fonctionnalités dbt sans équivalent Dataform — Snapshots, l’écosystème de packages, la stratégie incrémentale microbatch, Slim CI. Les capacités qui n’ont pas d’équivalent Dataform et nécessiteront une implémentation manuelle ou des contournements.
  • Limitations des tests Dataform — Les assertions intégrées de Dataform couvrent trois scénarios. L’écosystème de dbt en fournit des dizaines. Cet écart se creuse à mesure que la complexité du projet augmente.
  • Lacunes de l’écosystème et des outils Dataform — Automatisation CI/CD, outillage IDE, écosystème de packages et verrouillage sur la plateforme.

La migration

Si vous avez décidé de procéder :

  • Mapping des concepts Dataform-dbt — Table de référence : refs, configs, sources, matérialisations, structure des répertoires, lacunes de fonctionnalités.
  • JavaScript vs Jinja en analytics engineering — Le problème de conversion des macros en profondeur : où la traduction syntaxique est mécanique et où elle nécessite de réécrire des algorithmes.
  • Processus de migration dbt vers Dataform — Le guide procédural en six étapes : auditer votre projet, exécuter l’outil automatisé, convertir les macros en includes JavaScript, recréer les tests comme assertions, configurer l’orchestration et valider en parallèle.
  • Patterns de validation de migration dbt — Comment prouver que la migration a produit des résultats équivalents : exécution parallèle, requêtes de comparaison, tests de régression ML, bascule progressive.