Comparaison de la qualité et de la couverture des connecteurs ELT

Le nombre brut de connecteurs est une façon trompeuse d’évaluer les outils ELT. Fivetran en recense 700+, Airbyte 600+, dlt 60+. Ces chiffres ne disent pas grand-chose tant qu’on ne comprend pas le modèle de qualité derrière chacun.

Les trois modèles de couverture

Outil	Connecteurs totaux	Officiels / Vérifiés	Communauté	Voie de construction personnalisée
Fivetran	700+	Tous	Aucun	N’est pas le modèle
Airbyte	600+	~350 officiels	~250+ communauté	Construction avec Connector Builder
dlt	60+ vérifiés	Tous vérifiés	En croissance	REST API builder

Les chiffres semblent très différents, mais la couverture pratique pour les cas d’usage courants converge plus vite qu’on ne le pense. Les trois outils prennent en charge les principales sources : Google Ads, Meta/Facebook Ads, GA4, HubSpot, Salesforce, Shopify, et la plupart des plateformes SaaS courantes.

C’est dans la longue traîne et dans les cas limites au sein des connecteurs populaires que leurs différences apparaissent.

Fivetran : les connecteurs comme produit

Les connecteurs Fivetran ne sont pas des fonctionnalités — ils sont le produit. Chacun est construit et maintenu par les ingénieurs de Fivetran, qui suivent les versions d’API, gèrent les changements cassants et accompagnent les clients en cas de problème.

Cela a une implication concrète : lorsque Google Ads publie une nouvelle version d’API et déprécie l’ancienne, Fivetran gère la migration. Vous recevez une notification par email. Aucune mise à jour de code n’est nécessaire. Lorsque Meta restructure son API Ads Insights (ce qu’elle fait avec une certaine régularité), Fivetran met à jour le connecteur avant la date limite.

Le niveau de qualité plancher des connecteurs Fivetran est élevé précisément parce qu’ils sont des produits commerciaux avec des SLA associés. Un connecteur défaillant est un ticket de support, une potentielle violation de SLA, et une raison pour laquelle un client pourrait se désabonner. Cette pression commerciale produit des connecteurs constamment maintenus.

La limitation : vous obtenez ce que Fivetran a construit. Vous ne pouvez pas modifier le comportement d’un connecteur, ajouter des champs qu’il n’extrait pas, ou changer le schéma qu’il produit. Vous travaillez dans leur modèle.

Airbyte : deux niveaux de qualité

Le catalogue de connecteurs Airbyte comporte deux niveaux qui se comportent très différemment.

Les connecteurs officiels (environ 350) sont maintenus par l’équipe d’ingénierie d’Airbyte. Pour les principales sources — Google Ads, Meta Ads, Salesforce, HubSpot, Stripe — les connecteurs officiels sont de qualité production et suivent les changements d’API de manière fiable. Ces connecteurs constituent le cœur de l’offre commerciale d’Airbyte.

Les connecteurs communautaires sont contribués par des tiers et varient en qualité, allant de la qualité production à l’état pratiquement non maintenu. Certains sont activement maintenus par des éditeurs qui construisent sur l’écosystème Airbyte. D’autres ont été contribués une seule fois et n’ont pas été mis à jour depuis que l’API source a changé.

L’implication pratique : avant de s’appuyer sur un connecteur communautaire pour des données de production, examinez son historique de maintenance. Quand a-t-il été mis à jour pour la dernière fois ? Suit-il les changements récents de l’API ? Y a-t-il des issues ouvertes concernant des échecs connus ? Un connecteur communautaire avec 200 étoiles GitHub et des commits récents est très différent d’un avec 3 étoiles et un dernier commit vieux de deux ans.

Les retours de la communauté sur r/dataengineering et dbt Slack confirment ce schéma. Les connecteurs officiels d’Airbyte sont généralement solides ; les plaintes se concentrent sur les problèmes de fiabilité des connecteurs maintenus par la communauté.

dlt : construisez le vôtre, rapidement

dlt adopte l’approche la plus différente. Au lieu d’essayer de maintenir une grande bibliothèque de connecteurs pré-construits, il fournit un framework pour construire des connecteurs rapidement et un catalogue vérifié de 60+ sources couramment utilisées.

Le REST API builder est l’outil clé. Pointez-le vers la documentation d’une API (ou fournissez directement la spec), et vous pouvez générer un pipeline fonctionnel pour presque n’importe quelle API REST. En septembre 2024, les utilisateurs ont créé 50 000 connecteurs personnalisés avec cette approche — une augmentation de 20x par rapport à janvier 2024. Ce chiffre indique que le REST API builder fonctionne réellement comme annoncé.

import dlt
from dlt.sources.rest_api import rest_api_source

# Générer un pipeline pour n'importe quelle API REST en décrivant sa structure
source = rest_api_source({
    "client": {
        "base_url": "https://api.your-source.com/v1",
        "auth": {
            "type": "bearer",
            "token": dlt.secrets.value
        }
    },
    "resources": [
        {
            "name": "records",
            "endpoint": {
                "path": "records",
                "paginator": {
                    "type": "cursor",
                    "cursor_path": "next_page_token",
                    "cursor_param": "page_token"
                }
            }
        }
    ]
})

Le workflow assisté par IA rend cela pratique : donnez à un LLM la documentation de l’API et la référence REST API de dlt, demandez-lui de générer la configuration, et vous avez un pipeline fonctionnel en quelques minutes. Consultez dlt Custom API Pipelines pour le pattern complet.

Le compromis avec l’approche de dlt : vous êtes responsable de la maintenance lorsque les API sources changent. dlt gère l’évolution du schéma automatiquement (les nouveaux champs sont ajoutés à vos tables d’entrepôt sans intervention manuelle), mais si une API change la structure de son URL ou sa méthode d’authentification, vous mettez à jour votre code. Pour les sources où vous construisez déjà quelque chose de personnalisé, c’est acceptable — vous en êtes propriétaire. Pour les sources où vous vouliez un connecteur géré sans intervention, ce n’est pas le cas.

Le cas particulier des données marketing

Les données marketing sont là où les différences de qualité de connecteurs ont les conséquences les plus importantes.

Les trois outils disposent de connecteurs pour les principales plateformes publicitaires. Mais les données marketing ont des caractéristiques spécifiques qui mettent à l’épreuve la qualité des connecteurs :

Mises à jour rétroactives des métriques : Meta et Google révisent régulièrement les métriques de performance sur des fenêtres de 3 à 7 jours au fur et à mesure que l’attribution se stabilise. Un connecteur qui prend des instantanés plutôt que de rafraîchir les données historiques affichera des chiffres périmés.
Versionnage d’API : les plateformes publicitaires publient de nouvelles versions d’API avec une certaine régularité et déprécient les anciennes. Un connecteur qui ne suit pas proactivement les versions d’API se brise lorsque l’ancienne version est désactivée.
Limitations de granularité : certains connecteurs n’exposent que des données au niveau de la campagne alors que vous avez besoin d’une granularité au niveau des ensembles d’annonces ou des annonces pour une analyse d’optimisation significative.

Les connecteurs Fivetran gèrent bien ces cas limites parce qu’ils sont des produits commerciaux avec des clients payants qui signalent les problèmes. Les connecteurs officiels Google Ads et Meta d’Airbyte sont solides ; les connecteurs communautaires pour les plateformes plus petites sont plus variables. Avec dlt, vous définissez exactement ce que vous extrayez et à quelle granularité — ce qui signifie que vous gérez ces cas limites dans le code, mais vous avez un contrôle total sur la façon dont ils sont traités.

Gestion des changements de schéma

Les trois outils gèrent l’évolution du schéma — l’apparition de nouveaux champs dans les données sources — mais avec des approches différentes.

Fivetran propage automatiquement les changements de schéma avec une gestion configurable. Les colonnes supprimées sont soft-deleted plutôt que supprimées. Les changements de type de données créent de nouvelles colonnes. Vous choisissez entre les modes Allow All, Allow Columns, ou Block All.

Airbyte offre une propagation de schéma configurable avec sélection de colonnes. Vous pouvez choisir quelles nouvelles colonnes propager.

dlt fournit des options schema_contract sur chaque ressource :

@dlt.resource(schema_contract={"columns": "evolve"})
def campaigns():
    yield from get_campaigns()

Le paramètre evolve adapte automatiquement le schéma de destination. Le paramètre freeze stocke les changements inattendus en JSON sans modifier vos tables d’entrepôt. La plupart des pipelines dlt en production utilisent evolve pendant le développement et passent à freeze une fois le schéma stabilisé.

La décision pratique

La couverture des connecteurs est un prérequis minimal pour les principales sources — les trois outils les couvrent. Les vrais facteurs de décision sont :

Besoin d’un connecteur de niche spécifique : le catalogue 700+ de Fivetran est le plus large, et les connecteurs sont maintenus professionnellement. Si vous avez besoin de Zendesk, Jira, NetSuite, et quinze autres outils SaaS standards de manière fiable, la couverture de Fivetran est un réel avantage.
Tolérance pour la qualité des connecteurs communautaires : le chiffre de 600+ d’Airbyte inclut des connecteurs que vous ne devriez pas utiliser en production sans évaluation préalable. Le compte est réel ; la qualité n’est pas uniforme.
Volonté de construire : les 60+ sources vérifiées de dlt plus le REST API builder suffisent pour les équipes qui peuvent et vont construire des connecteurs pour les sources restantes. La question est de savoir si votre équipe a les compétences Python et le temps pour posséder ce code.