dlt (data load tool) est une bibliothèque Python pour construire des pipelines API personnalisés. Elle s’installe via pip, ne nécessite ni conteneur ni orchestration pour démarrer, et transforme les données API en tables d’entrepôt.
Ce hub cartographie les concepts nécessaires pour construire des pipelines API de qualité production avec dlt.
Sélection de l’approche
dlt RESTClient vs REST API Source — La décision impérative vs. déclarative. REST API Source couvre les patterns d’API standard ; RESTClient gère les authentifications, paginations ou flux de contrôle non standards.
Blocs de construction
Mécanique de dlt RESTClient — Comment RESTClient fonctionne : instanciation, méthode paginate(), paramètres clés et gestion intégrée des réessais et du backoff.
Patterns de pagination dlt — Les paginateurs intégrés pour les patterns d’API courants (JSON link, header link, offset, numéro de page, curseur), et comment étendre BasePaginator pour les schémas non standards.
Patterns d’authentification dlt — Bearer token, clé API, HTTP basic et OAuth2 client credentials, plus comment étendre pour les flux d’authentification non standards. S’associe avec la gestion des secrets.
dlt pour le développement de pipelines assisté par IA — REST API Source déclaratif en pratique, fonctionnalités spécifiques à BigQuery, et pourquoi la conception de dlt rend le développement de pipelines assisté par IA efficace.
État et qualité des données
Chargement incrémental dlt — Comment le chargement incrémental basé sur curseur fonctionne dans dlt, où l’état est stocké, et comment le configurer pour les approches RESTClient et REST API Source.
Gestion des secrets dlt — La hiérarchie de configuration qui garde les credentials hors du code : secrets.toml pour le développement local, variables d’environnement pour le CI/CD, intégrations vault pour la production.
Tests et déploiement
Tests de pipelines dlt — Tests avec DuckDB localement avant de toucher la production, validation du schéma, tests d’état incrémental, et modes d’échec courants à vérifier.
Options de déploiement dlt — Où exécuter les pipelines : GitHub Actions, Airflow, Cloud Run Jobs, Modal, Dagster, et comment la commande dlt deploy génère un scaffolding spécifique à la plateforme.
Contexte
L’économie build vs. buy des pipelines de données couvre l’économie derrière la décision pipeline managé vs. personnalisé. La stratégie ELT hybride décrit la répartition de portefeuille entre outils managés pour les sources stables et dlt pour les APIs à fort MAR ou non supportées.
Une fois les données dans BigQuery, dbt gère la couche de transformation. La note Modèles incrémentiels dans dbt couvre comment cela fonctionne.