L’optimisation des coûts BigQuery est organisée ici par impact : le calcul (85-90 % de la facture) en premier, le stockage en dernier. La séquence ci-dessous respecte cet ordre de priorité.
La Hiérarchie d’Optimisation
1. Comprendre le Modèle de Coûts
Modèle de coûts BigQuery — couvre la tarification on-demand vs Editions, le mécanisme de facturation par octets scannés, et la répartition stockage/calcul. Le mécanisme central : vous payez pour les octets lus depuis le stockage, pas pour les octets retournés.
2. Identifier Où Va l’Argent
Attribution des coûts BigQuery avec INFORMATION_SCHEMA — requêtes INFORMATION_SCHEMA pour identifier les requêtes coûteuses, attribuer les coûts par utilisateur et dataset, et repérer les tables non partitionnées. Dans la plupart des projets, 3 à 5 requêtes représentent plus de 70 % des dépenses.
3. Corriger les Patterns de Requêtes
BigQuery Partition Pruning Patterns — partitionnement, clustering et anti-patterns qui annulent silencieusement l’élagage. La sélection de colonnes (éviter SELECT *) est couverte dans la note sur le modèle de coûts.
4. Optimiser les Configurations dbt
dbt Materialization Cost Impact on BigQuery — pourquoi la matérialisation en table surpasse les vues sur BigQuery et comment le pattern anti-chaîne de vues crée des coûts de scan en cascade. Incremental Models in dbt — traitement uniquement des nouvelles données plutôt que de rafraîchissements complets.
5. Ajouter la Gouvernance
Garde-fous de gouvernance des coûts BigQuery — max_bytes_billed, exigences de filtres de partition, quotas au niveau du projet, vues autorisées et affectations de réservations. Pour les organisations avec des utilisateurs ad-hoc, les contrôles de gouvernance peuvent générer plus d’économies que l’optimisation des requêtes.
6. Évaluer le Modèle de Tarification
BigQuery Editions and Slot-Based Pricing — calcul du seuil de rentabilité, configuration de l’autoscaling, réductions sur engagement et comparaison des fonctionnalités par édition. Pertinent seulement après que les patterns de requêtes sont optimisés ; changer de modèle de tarification ne corrige pas les requêtes inefficaces.
7. Optimiser le Stockage
BigQuery Storage Billing Strategies — facturation physique vs logique, remises de stockage long terme et politiques d’expiration des tables. Le stockage représente 10-15 % de la facture typique ; ce sont des configurations ponctuelles.