Bronze Layer : fondation brute et immuable

Les données arrivant dans cette couche sont brutes et non modifiées. La règle d'or ? On ne touche à rien !
C'est le principe de l'immuabilité : une fois qu'une donnée, même erronée, est entrée, tant pis, c'est trop tard. On ne peut pas aller l'éditer (c'est comme un tatouage fait à 4h du matin, il faudra vivre avec, du moins à ce stade).
À ce point, les données ne sont pas validées et le « business » n'est pas censé avoir accès à ces dernières.

Formats supportés :
Tout format de fichier peut être supporté, mais nous utiliserons généralement du CSV, JSON, Parquet ou encore Delta. (Promis, un article sera rédigé un jour pour vous expliquer ce qui se cache derrière ces noms barbares).

Comme le but de ce blog est de parler de Fabric, faisons le lien.

Composants Fabric pour l'ingestion et le stockage :

• Lakehouse (via OneLake) : Il s'agit du stockage principal pour les fichiers bruts.

• Pipeline Data Factory : Pour orchestrer l'ingestion en batch via l'activité « Copy Data » (plus de 200 connecteurs disponibles).

• Shortcuts : Pour référencer directement des données externes stockées dans Amazon S3, Dataverse, etc., sans les copier physiquement.

• Notebooks : Pour ingérer des sources de données complexes (API, JSON, etc.).

Silver Layer : consolidation et assurance qualité 

Avant d'atterrir dans cette couche, les données de la couche bronze vont subir des transformations afin de devenir exploitables. Généralement, les transformations appliquées pour passer de bronze à « silver » sont :

• Nettoyage : On supprime ou on traite les valeurs nulles ou invalides, on normalise les formats (dates, textes) et on filtre les doublons.

• Fusion : On consolide les données similaires issues de sources multiples (exemple : combiner plusieurs tables, gérer les changements de noms des colonnes, etc.).

• Enrichissement : Ajout d'informations d'appoint (par exemple, attribution de clés, géocodage, etc.).

• Contrôle de qualité : On applique des règles métiers pour valider la cohérence (p. ex., tester que chaque vente dispose d'un client existant, vérifier que les montants sont positifs, etc.).

Après ces transformations, les données sont structurées en tables, prêtes à être analysées et présentent une première source de vérité partagée.

Format des données
Le format Delta Lake est généralement privilégié pour ses propriétés ACID, sa gestion du temps (Time Travel) et ses optimisations (V-Order).

Composants Fabric utilisés pour la transformation et le stockage :

• Lakehouse « Silver » : Il s'agit du composant de stockage principal pour les tables Delta nettoyées.

• Notebook : Très efficace pour les traitements volumineux ou complexes (plus technique, mais beaucoup plus efficace).

• Dataflow Gen2 : Adapté aux transformations plus simples via une interface graphique (pour les utilisateurs de Power BI, vous retrouverez l'interface de Power Query avec quelques différences minimes).

• Pipeline Data Factory : Ici, le pipeline aura un rôle d'orchestrateur pour planifier (scheduler) les flux de transformations de bronze vers silver

Gold Layer : la donnée prête à la consommation

Contrairement aux couches précédentes plus généralistes, la couche gold est orientée use case. Par exemple : un tableau de bord des ventes, un modèle prédictif du taux de rétention des clients, des rapports financiers, etc.
Les données y sont modélisées pour faciliter les requêtes : niveau d'agrégation voulu (quotidien, mensuel…), schéma en étoile ou en flocon (table de faits + dimensions), vues matérialisées optimisées…

Exemple de tables/vues  
table de faits (ventes consolidées), tables de dimensions (profils clients enrichis). Ces tables sont généralement stockées dans un Warehouse.

Composants Fabric utilisés pour la transformation et le stockage :

• Data Warehouse : Souvent préféré pour des requêtes T-SQL optimisées et complexes.

• Power BI (Direct Lake) : Permet à Power BI de se connecter directement aux tables pour des performances élevées sans copier les données (Direct Lake, encore un autre sujet à venir…)

• Endpoint analytique SQL : Le Warehouse expose une interface SQL qui permet d'utiliser des outils clients tiers (en toute objectivité, vous disposez du meilleur outil existant, alias Power BI, pourquoi vouloir utiliser un outil plus cher et moins bon ?).

• Modèles sémantiques : La couche sémantique finale pour définir les relations entre les tables, les hiérarchies et les mesures DAX.

Synthèse et best practices

Nous touchons à la fin de l'article ; faisons donc un bref récapitulatif de ce que nous venons de voir avant de passer aux best practices.

Résumé du parcours de la donnée

L'architecture Médaillon structure le traitement des données en un flux progressif et maîtrisé, de la source brute à la consommation finale :

1. Bronze : Ingestion des données à l'état originel.

2. Silver : Application des traitements de nettoyage, de standardisation et d'enrichissement pour fiabiliser la donnée.

3. Gold : Modélisation et agrégation des données pour les optimiser en vue de cas d'usage analytiques spécifiques (BI, Data Science).