Construction d'un pipeline d'intégration Microsoft Fabric pour les données CRM

Contexte et objectifs

Le client avait besoin de sécuriser et optimiser l'intégration de ses données CRM (HubSpot) dans sa plateforme Microsoft Fabric.

Le data path ajoutait lui-même de la complexité : les données sources provenaient du système ERP du client, transitaient par une couche d'intégration SSIS et un entrepôt de données SQL Server, avant d'atteindre Fabric puis HubSpot. Une couche de données brutes initiale était déjà en place, construite lors d'une phase d'implémentation précédente, mais les couches nécessaires pour rendre ces données fiablement exploitables manquaient encore.

Plusieurs défis se posaient :

• Identifier quels objets et champs CRM étaient réellement nécessaires, et comment ils devaient être mappés

• Tirer parti d'une implémentation existante mais incomplète, avec une documentation limitée comme point de départ

• Structurer une architecture médaillon (couches brute, raffinée et curée) au-dessus d'un chemin de données multi-systèmes assez complexe

• Garantir que le pipeline reste maintenable par une équipe sans connaissance spécialisée approfondie de la technologie d'intégration sous-jacente

Approche

1. Prise en main et alignement

Le projet a débuté par une revue de l'implémentation Fabric existante pour comprendre ce qui avait déjà été construit, identifier les lacunes et clarifier un périmètre réaliste pour la suite. Une phase de cadrage dédiée a suivi pour valider, avec le client, quels objets et champs CRM importaient et quelles règles d'intégration devaient s'appliquer.

Ce travail a été consigné dans un document de référence partagé, donnant aux deux équipes une base commune et structurée pour la construction technique qui a suivi.

2. Construction de l'architecture médaillon

Une fois le périmètre validé, Agilytic a construit les couches manquantes d'une architecture médaillon, faisant passer les données de leur forme brute jusqu'à des datasets curés prêts pour le business :

• Configuration et stabilisation des Fabric Dataflows et des étapes de pipeline sous-jacentes nécessaires pour déplacer les données de manière fiable de la source vers la plateforme

• Conception et implémentation des couches intermédiaires et curées au-dessus de la couche brute existante, en structurant les données autour des besoins réels de consommation métier

• Résolution des problèmes de mapping et de qualité des données entre les systèmes sources impliqués

Cela a donné au client un socle de données à la fois fonctionnel et structuré pour une maintenabilité et une gouvernance à long terme, ce qui était essentiel étant donné le nombre de systèmes par lesquels les données transitaient avant d'atteindre HubSpot.

3. Stabilisation et transfert de compétences

Une phase de support a suivi, axée sur le dépannage, l'affinement du comportement de rafraîchissement et l'amélioration globale de la qualité des données, garantissant que le pipeline pouvait être considéré comme une fondation stable plutôt qu'une livraison ponctuelle.

La mission s'est conclue par un transfert structuré, documentant ce qui avait été livré et identifiant les prochaines étapes pour faire mûrir davantage le produit data.

Résultats

Le projet a livré une intégration Microsoft Fabric fonctionnelle pour les données CRM, restructurée autour d'une architecture médaillon complète :

• Passage d'une plateforme incomplète avec une seule couche de données brutes à des couches curées prêtes pour le business

• Implémentation et stabilisation des étapes de pipeline nécessaires pour déplacer les données de manière fiable sur un chemin multi-systèmes, de l'ERP source jusqu'à la plateforme finale

• Livraison d'un modèle de données et d'un document de mapping validés, donnant au client une vue claire sur le périmètre et les règles à appliquer

• Formulation de recommandations concrètes d'étapes suivantes pour faire mûrir la solution, notamment l'optimisation des couches et la mise en place du reporting