dbt vous offre plusieurs outils pour la validation du schéma et des données — contrats, tests de données, dbt-expectations — mais ils ne sont pas interchangeables. Ils s’activent à des moments différents, couvrent des choses différentes et coûtent des quantités différentes à exécuter. Une fois que vous comprenez les différences, vous pouvez les superposer délibérément plutôt que d’accumuler des tests en espérant que quelque chose fonctionne.
Ce hub relie les notes qui couvrent ces couches, les lacunes entre elles, et ce qui se passe quand vous câblez les fonctionnalités de gouvernance autour des modèles qui comptent vraiment.
Le problème
Les contrats garantissent la forme du modèle. Les tests garantissent le contenu. Mais les sources n’ont pas de protection par contrat, et la validation du contenu nécessite des tests séparés de l’une ou l’autre. Et quand vous construisez des modèles dont d’autres équipes dépendent — à travers les frontières de projet, dans les configurations Mesh, dans des tableaux de bord à fort enjeu — les garanties structurelles seules ne suffisent pas. Vous avez besoin de la pile de gouvernance complète.
Prérequis
Ces notes supposent que vous êtes familier avec la mécanique des contrats de modèle dbt et la taxonomie des tests dbt. Sinon, commencez par là.
Ordre de lecture
dbt Validation Mechanisms Compared — La comparaison des trois mécanismes : contrats (au moment de la compilation, zéro calcul, structurel uniquement), tests de données (post-build, requêtes SQL, contenu), et dbt-expectations (post-build, requêtes SQL, schéma + contenu). Le tableau de comparaison et la discussion sur le timing sont les parties essentielles.
Validation du schéma source dbt — Les contrats ne s’appliquent pas aux sources, donc cela couvre la solution de contournement : utiliser dbt-expectations directement sur les sources pour détecter la dérive des colonnes avant l’exécution des transformations. Inclut la séparation pratique entre les tests de métadonnées uniquement sur les sources et les tests de contenu sur les modèles base.
Triade de gouvernance dbt Mesh — Comment les contrats, les contrôles d’accès et la gestion des versions de modèles fonctionnent individuellement et ce qui change quand vous les appliquez tous les trois ensemble. Le lien avec le data mesh et les modèles qui méritent réellement ce traitement.
Contract-First Development in dbt — L’inverse du rétrofit : définir le contrat avant d’écrire le SQL. L’analogie avec la conception d’API, le workflow et comment l’ODCS Data Contract CLI peut générer du YAML dbt à partir d’un contrat organisationnel plus large.
Hubs connexes
-
Hub des contrats de données — Le contexte complet : ce que sont les contrats de données, la spécification ODCS, les modèles de propriété, l’écosystème d’outils et les défis d’adoption. La série que cet article conclut.
-
dbt-expectations Hub — dbt-expectations en détail : configuration, référence des tests, le pattern row_condition, le réglage de la sévérité et les patterns d’implémentation BigQuery.