Microsoft Fabric promet de valoriser les données, qu’elles proviennent de nos ERP/CRM, de nos objets connectés ou même de ce fameux fichier Excel qui est la mine d’or de connaissances des entreprises. Quelles que soient leur taille ou leur format, ces données constituent la matière première à partir de laquelle nous extrayons des informations précieuses pour le business.
Cependant, avec toute cette diversité de données que nous avons, quel service est le plus adapté à ma donnée et à mon besoin ?
En reprenant l’idée de Jean Anthelme Brillat-Savarin : « Dis-moi ce que tu manges, je te dirai ce que tu es », essayons de l’adapter à notre situation : « Dis-moi ton format, je te dirai où tu devrais être stocké ».
Source : https://learn.microsoft.com/fr-fr/fabric/fundamentals/microsoft-fabric-overview/
Tu es un fichier ? Direction OneLake
OneLake est le Lakehouse (ou lac de données) de Microsoft Fabric. Il constitue le point d’entrée central, où sont stockées toutes les données hébergées au sein de la plateforme.
Source : https://learn.microsoft.com/fr-fr/fabric/governance/onelake-catalog-overview/
Basé sur le moteur Azure Data Lake Storage Gen2, OneLake permet d’organiser la donnée en Workspace où la gestion des accès est gérée par le propriétaire de celui-ci via une interface collaborative à la manière de OneDrive.
Il permet d’héberger tous les types de données brutes, fichiers structurés (CSV, XML, JSON) ou non structurés (images, vidéos, …), tout en les rendant accessibles à tous les services Microsoft Fabric.
En effet, en plus de gérer le stockage, OneLake s’occupe de la compression et du reformatage en format Delta-Parquet afin de le rendre accessible à l’ensemble des outils de la suite Fabric, tout en conservant le fichier original.
Ces derniers restent accessibles et modifiables à tout moment via l’interface Web ou l’explorateur de fichiers OneLake.
Tu es de la donnée sérialisée ? Direction l’entrepôt de données
L’entrepôt de données (Data Warehouse) est la solution pour profiter des capacités d’une base de données relationnelle en mode distribuée.
Source : https://learn.microsoft.com/fr-fr/fabric/data-warehouse/create-warehouse
Basé sur Azure SQL Database, il permet de manipuler ses données comme on le ferait dans une base données standard, avec en plus les capacités de requêtage et d’analyse de données en SQL.
Cette solution est idéale pour stocker les données déjà nettoyées et les modéliser afin d’être prêtes à l’emploi, pour les différents cas d’usage Data.
L’entrepôt de données est nativement compatible avec les solutions d’ETL (Extract Transform Load) proposées par Fabric (Pipeline, Dataflow Gen2).
La base de données résultante sera stockée physiquement en format Delta Parquet dans OneLake.
Tu es une donnée en temps réel (event) ? Direction l’Eventhouse
Eventhouse est la solution pour gérer de grands volumes de données et des analyses en quasi-temps réel (Near Realtime).
Source : https://learn.microsoft.com/fr-fr/fabric/real-time-intelligence/eventhouse
Profitant du système de stockage de OneLake en Delta Parquet et du partitionnement automatique en fonction du temps, l’Eventhouse propose tous les outils pour gérer et interagir avec les données de type Event.
Un langage de requête dédié le KSQL et son intégration native avec Data Activator pour automatiquement déclencher des actions en fonction de données ingérer en mode Data Driven
La donnée est déjà hébergée ailleurs ? Prenons un Raccourci
Le Raccourci (Shortcut) est la dernière solution qui permet de consommer la donnée sans forcément la stocker.
Source : https://learn.microsoft.com/fr-fr/fabric/onelake/onelake-shortcuts
Plus rapide que de la répliquer pour son traitement, consulter la donnée sur sa source est donc un gain de temps dans la mise en place de solutions Data.
Le Raccourci prend en charge la gestion des accès vers la source pour une expérience centralisée dans Fabric.
De plus, étant nativement compatible à l’ensemble des composants de Fabric, le Raccourci est la solution la plus rapide et efficace pour la lecture de données à la volée sans effort.
Conclusion
Avec Fabric, tout type de données devient stockable et exploitable facilement sur une seule et unique plateforme.
Qu’importe son format, elle sera automatiquement convertie en mode Delta Parquet et stockée physiquement dans OneLake, devenant accessible et exploitable par l’ensemble des outils proposés par Fabric en sans effort supplémentaire.
Cette versatilité permet une réutilisation facilitée de la donnée en fonction du besoin.
