Bonjour à tous, et bienvenue dans ce nouvel article

Vous venez de convaicre votre responsable de vous offrir une licence Fabric pour faire votre POC, plein d'espoir et de curiosité, vous décidez de créer des dataflows, des pipelines ou pour les plus foux, des notebooks, maintenant,vient le moment du choix de l'endroit où stocker ces données transformées?

Un lakehouse? un (data)warehouse ?

Bien qu'ils puissent sembler similaires, ils présentent des différences distinctes qui peuvent avoir un impact significatif sur la manière dont les entreprises gèrent et analysent leurs données. 

Pour commencer, posons deux définitions (pas trop techniques, promis)

Qu'est ce qu'un Data Warehouse?

Un Data Warehouse est un système de stockage de données hautement organisé, dont la mission est de servir l'analyse décisionnelle (Business Intelligence). Il centralise les données structurées issues de différentes sources (systèmes transactionnels, applications, etc.). 

La particularité du Warehouse réside dans son approche : les données y sont organisées dans un format prédéfini et optimisé pour la performance des requêtes. Le processus d'intégration, connu sous le nom d'ETL (Extract, Transform, Load), est le garant de cette cohérence. Il s'assure que les données sont extraites, transformées dans un format standard, puis chargées dans le système. C'est cette discipline qui assure que les données sont toujours propres, fiables et prêtes pour une analyse rigoureuse. 

Qu'est ce qu'un Lakehouse ?

Un Data Lakehouse est une architecture de données hybride qui met fin à un vieux dilemme : faut-il privilégier la flexibilité ou la structure ? En combinant l'agilité d'un Data Lake avec la robustesse d'un Data Warehouse, il propose une solution unifiée.

Le concept est simple : on garde la capacité du Data Lake à stocker massivement tout type de données (structurées ou non) et on y ajoute les fonctionnalités de gouvernance, de gestion et de performance d'un Data Warehouse. Le but est de créer une source de données unique et fiable pour l'ensemble de l'organisation. Ainsi, les équipes de BI et de Data Science peuvent collaborer sur les mêmes données, ce qui élimine les silos et la duplication d'informations, de l'analyse la plus exploratoire au reporting le plus formel.

Donc pour ceux qui ont bien lu, la question qui arrive: Pourquoi s'embeter à faire un choix, alors que le lakehouse présente les avantages du data warehouse avec une plus grande flexibilité ?  Faisons une rapide comparaison de ce que nous venons de voir avant de continuer

Voici les differences principales entre nos deux structures

Structure des Données

La différence la plus fondamentale réside dans les types de données acceptées.

Le Data Warehouse est un spécialiste : il n'accepte que des données structurées, déjà propres et bien rangées dans des tables. Cette discipline le rend extrêmement performant pour la BI et le reporting, où la vitesse et la fiabilité sont reines.

Le Lakehouse, lui, est un généraliste polyvalent. Il ouvre grand ses portes à tous les formats : structurés, semi-structurés (comme le JSON) et non structurés (textes, images, etc.). Cette hospitalité en fait l'outil de prédilection pour des usages plus exploratoires comme la Data Science ou le Machine Learning, qui se nourrissent de la richesse des données brutes.

Approche du Schéma

La divergence se poursuit dans la gestion du "schéma", c'est-à-dire les règles qui définissent la structure des données. Le Data Warehouse applique une politique stricte du "schema-on-write". Concrètement, une donnée doit prouver sa conformité à un plan prédéfini avant même d'être stockée. C'est la garantie d'une cohérence absolue.

Le Lakehouse adopte l'approche inverse et plus souple du "schema-on-read". Il accueille les données dans leur état brut, sans poser de questions. C'est seulement au moment de l'analyse qu'on leur applique une structure. Cette méthode favorise l'agilité et simplifie grandement l'analyse exploratoire.

Traitement des Données

Enfin, la manière de préparer les données diffère radicalement. Le Data Warehouse s'appuie sur le processus historique ETL (Extraire, Transformer, Charger). Les données sont extraites, lourdement transformées et nettoyées en amont, puis finalement chargées dans l'entrepôt. Cette préparation, bien que robuste, peut s'avérer rigide et lente. Le warehouse est optimisé pour etre utilisé avec du SQL, il est possible d'utiliser du python, mais toutes les fo

Le Lakehouse modernise cette approche avec le processus ELT (Extraire, Charger, Transformer). Ici, on charge d'abord les données brutes dans le Lakehouse, et on ne les transforme qu'ensuite, en fonction des besoins spécifiques de l'analyse. Cette méthode est nettement plus flexible, rapide et adaptée aux grands volumes de données.

Language

Le choix des langages pour interagir avec un Data Warehouse ou un Data Lakehouse reflète directement leur philosophie.

Pour le Data Warehouse, le roi incontesté est le SQL (Structured Query Language). La raison est simple : le Warehouse est un monde de données structurées, organisées en tables bien définies. SQL est le langage universel pour interroger, manipuler et analyser ces données relationnelles. C'est le dialecte natif des analystes de données et des outils de Business Intelligence, optimisé pour des requêtes analytiques performantes.

Le Data Lakehouse, étant un hybride, est polyglotte. Il parle couramment SQL, mais aussi Python (et parfois Scala)

• SQL est utilisé pour la partie "house" : il offre une interface familière aux analystes pour effectuer des requêtes de BI, comme ils le feraient sur un Warehouse classique.

• Python est essentiels pour la partie "lake". Ce langages, souvent utilisé  via des frameworks comme Apache Spark, est indispensable pour la Data Science et le Machine Learning. Il permet de manipuler des données brutes et non structurées, d'appliquer des transformations complexes et d'entraîner des modèles d'intelligence artificielle, des tâches qui dépassent largement les capacités du SQL seul.

En résumé : SQL pour l'analyse et le reporting structuré, et Python pour la flexibilité, la science des données et le traitement avancé.

Ce tableau récapitulatif va vous permettre de schématiser les differents points que nous venons juste d'aborder