dbt-audit-helper est un package de dbt Labs pour comparer deux relations — valider des refactorings, prouver l’équivalence lors d’une migration, et détecter les régressions en CI. Il fournit des macros qui progressent depuis des vérifications de métadonnées peu coûteuses vers des diffs complets au niveau des lignes, pour ne brûler du compute que quand des vérifications moins coûteuses ont déjà indiqué un problème.
Notes principales
-
Validation progressive dbt-audit-helper — La méthodologie : commencer par les vérifications de schéma, escalader via les comptes de lignes, les vérifications de hash et les diffs au niveau des lignes. Pourquoi l’ordre importe pour le coût et les diagnostics.
-
Référence des macros dbt-audit-helper — Chaque macro documentée :
compare_relation_columns,compare_row_counts,quick_are_relations_identical,compare_relations,compare_queries,compare_which_relation_columns_differ,compare_column_values,compare_all_columns, etcompare_and_classify_relation_rows. Paramètres, format de sortie, support des plateformes, pièges. -
Intégration CI/CD de dbt-audit-helper — Utiliser
compare_all_columnscomme test CI, configuration des jobs PR dbt Cloud, dbt Core avec GitHub Actions (--defer --state),--store-failurespour le diagnostic, et gérer les changements attendus vs inattendus.
Sujets connexes
-
Précision en virgule flottante dans la comparaison de données — Pourquoi l’égalité exacte échoue sur les valeurs en virgule flottante et comment la gérer avec ROUND/CAST avant de comparer. S’applique à audit-helper, aux requêtes EXCEPT, et à toute approche de comparaison.
-
Paysage des outils de comparaison de données — Quand utiliser audit-helper vs Elementary, dbt-expectations, Datafold, ou Soda. Matrice de décision par scénario.
Connexions
dbt-audit-helper s’inscrit dans la stack de validation de la qualité des données plus large. Il occupe la niche “comparaison ponctuelle” — prouver qu’un changement n’a pas cassé la sortie. Pour le monitoring continu, voir Elementary pour dbt. Pour la validation basée sur des règles, voir la Taxonomie des tests dbt.
Pour les workflows spécifiques aux migrations (exécution parallèle, bascule par phases, critères de validation), voir Patterns de validation de migration dbt, qui couvre le processus plus large que les macros audit-helper automatisent.