ServicesÀ proposNotesContact Me contacter →
EN FR
Note

Dataform pour BigQuery

Un guide structuré pour évaluer Dataform comme outil de transformation BigQuery — ce qu'il est, comment il se compare à dbt, et quand il est pertinent

Planté
dataformbigquerydbtgcpdata engineeringcost optimization

Dataform est le service de transformation SQL gratuit et entièrement géré de Google pour BigQuery, en compétition avec dbt pour les charges de travail d’analytics engineering sur GCP. Ce hub organise les considérations clés pour évaluer Dataform : ce qu’il est, ses lacunes de capacités, et le cadre de décision.

Les notes

Dataform en tant que service GCP — Ce qu’est Dataform en 2026 : un service GCP entièrement géré avec du templating SQLX/JavaScript, une intégration profonde avec IAM et Dataplex, et zéro coût de licence. Couvre l’historique de l’acquisition, le fonctionnement de SQLX, et l’IDE intégré Cloud Console.

Dataform vs dbt : comparaison des coûts — L’équation réelle des coûts. La licence dbt Cloud coûte 100 $/utilisateur/mois ; Dataform est gratuit. Mais “gratuit” masque les coûts d’ingénierie pour la configuration CI/CD, l’infrastructure de testing, et les lacunes d’outillage. Inclut le calcul du seuil de rentabilité sur deux ans et les considérations liées au marché des carrières.

Limitations du testing Dataform — La lacune de capacité la plus significative. Dataform fournit trois types d’assertions (unicité, contrôles de nullité, conditions de ligne). L’écosystème dbt propose plus de 50 tests via des packages, la détection d’anomalies, et des tests unitaires natifs. La différence de friction détermine la différence de couverture.

Lacunes de l’écosystème et de l’outillage Dataform — Au-delà du testing : l’automatisation CI/CD requiert une intégration manuelle via l’API REST, aucun IDE local avec des fonctionnalités orientées transformation n’existe, l’écosystème de packages est quasi vide, et la dépendance à BigQuery est permanente. Ces lacunes se cumulent avec la complexité du projet.

Migration Dataform vers dbt — Des outils de migration existent dans les deux sens, mais la conversion des macros est là où les projets s’enlisent. Les délais réalistes vont de 1-2 semaines pour les petits projets à 3-6 mois pour les entreprises. La règle des deux ans : si le coût de migration dépasse deux années d’économies de licence, ne migrez pas.

Cadre de décision Dataform — Quand Dataform l’emporte (100 % BigQuery, sensibilité aux coûts, besoins simples, volonté de construire). Quand dbt l’emporte (multi-cloud possible, CI/CD nécessaire aujourd’hui, dépendance aux packages, besoins incrémentaux complexes). Une liste de contrôle pour les équipes évaluant le choix.

Fusion dbt-Fivetran et le paysage de la transformation 2026 — Comment la fusion d’octobre 2025 a reconfiguré les dynamiques concurrentielles. L’élargissement de l’écart Core/Cloud, la maturation de Dataform de jouet à usage enterprise, et pourquoi la valeur par défaut « utilisez simplement dbt » requiert plus de nuance en 2026.

Connexions clés