Ce hub connecte les notes du jardin couvrant la migration de Dataform vers dbt. L’article source est Migrer de Dataform vers dbt : guide pas à pas.
Décision et planification
- Critères de décision pour la migration Dataform vers dbt — Quand la migration est pertinente, quand rester, calcul du seuil de rentabilité, et délais réalistes.
Référence principale de migration
- Correspondance des concepts Dataform-dbt — Le tableau de traduction : refs, configs, sources, matérialisations, structure de répertoires, et lacunes de fonctionnalités entre les deux outils.
- JavaScript vs Jinja en analytics engineering — Les différences philosophiques et pratiques de templating, y compris la conversion des macros et l’écart de génération dynamique de modèles.
Validation
- Patterns de validation de migration dbt — Exécution parallèle, requêtes de comparaison à trois niveaux, tests de régression ML, et stratégie de bascule par phases.
Fondamentaux dbt associés
Ces notes existantes couvrent les concepts dbt référencés tout au long du processus de migration :
- Architecture trois couches dbt — Comment
definitions/correspond àmodels/organisé en couches base, intermédiaire et marts. - Macros dbt — Fondamentaux Jinja et patterns de macros, essentiels pour convertir les includes JavaScript Dataform.
- Taxonomie des tests dbt — Comment les assertions Dataform se traduisent dans le modèle de testing dbt (génériques, singuliers, unitaires, contractuels, basés sur packages).
- Modèles incrémentaux dans dbt — Détails des stratégies pour convertir les modèles incrémentaux Dataform vers dbt.
- Configuration dbt BigQuery — Configuration de profiles.yml, authentification, et contrôles de coûts pour l’adaptateur BigQuery.
- SCD Type 2 avec les snapshots dbt — Une capacité dbt sans équivalent Dataform.
- Structure et nommage des projets dbt — Conventions de nommage et organisation des dossiers dans les projets dbt.