Cas client

Enseigne française de grande distribution

Mise en place d’un framework de gestion de la qualité des données

Secteur d'activité

Grande distribution

Expertise(s)

Data Engineering
Data Management

Partenaire(s)

Databricks

Contexte

Enseigne devenue incontournable en France et deuxième distributeur avec plus de 1800 points de vente, le client défend un positionnement unique et très engagé, celui de « Producteurs & Commerçants », qui lui permet d’aider ses clients à mieux vivre au quotidien et à acheter au prix le plus juste.

 

Fin 2020, le client a conclu un partenariat stratégique avec un éditeur de logiciels spécialisé Retail pour faire basculer la gestion commerciale et la Supply Chain dans l’ère de l’Intelligence Artificielle et, de ce fait, augmenter la performance tout au long de la Supply Chain, de la prise de commandes fournisseurs jusqu’à la livraison en magasins.

Pour mener à bien le projet de déploiement planifié sur plusieurs années et tirer pleinement profit de nouvelles fonctionnalités boostées à l’IA, disposer de données de qualité est primordial. De ce fait, en parallèle du déploiement, des travaux de mise en qualité des données sont menées par des équipes spécialisées composées de Data Managers et collaborant de manière étroite avec les différents domaines métiers responsables des données en question.

Enjeux

Dans ce contexte, le client souhaite pouvoir suivre l’évolution de la qualité de ses données à travers le temps et être en mesure d’expliquer l’amélioration ou la dégradation de la qualité des données.

 

Le solution mise en œuvre doit notamment permettre de répondre aux questions suivantes :

  • Est-ce que la variation de la qualité est liée à l’intégration de nouvelles données ?
  • Est-ce que la variation est liée à l’intégration de données ayant mises à jour des données historiques ?

 

Après avoir évalué différentes solutions (Delta Live Tables, Great Expectations, PyDeequ, …) compatibles avec sa Data Platform basée sur Azure Databricks, le client, par l’intermédiaire du Head of Data Science & Analytics, a décidé de lancer le développement de sa propre solution de qualité de données afin de :

  • Permettre aux Data Managers d’accélérer la mise en place de nouveaux contrôles ;
  • Calculer et historiser les métriques (ou points de mesure de la qualité) pour chacun des contrôles implémentés sur les données ;
  • Proposer des fonctionnalités de restitution des métriques pour permettre un pilotage efficace de la qualité des données.

#WeHelpDataPeople

DES BESOINS ET DES
ENJEUX SIMILAIRES ?

Démarche et réalisations

Aubay Data & AI a mobilisé une Data Squad spécialisée en Data Engineering pour accompagner le Head of Data Science & Analytics dans les chantiers techniques de mise œuvre du framework de gestion de la qualité des données baptisé « CQFD » pour « Contrôle Qualité et Fiabilité des Données ».

 

Liste des activités adressées par les consultants de Aubay Data & AI :

  • Collaboration avec l’équipe Data Management pour identifier les fonctionnalités à implémenter au sein de CQFD afin d’accélérer la mise en œuvre des contrôles (Validité, Cohérence et Consistance) par les Data Managers ;
  • Développement d’un catalogue de contrôles de données prêts à l’emploi ainsi que les tests techniques et fonctionnels associés ;
  • Conception, architecture et persistance des métriques calculés par CQFD pour chacun des contrôles afin de permettre leur exploitation par les Data Analyts :
    • Définition du modèle de données ;
    • Implémentation des tables de stockage des métriques sous Databricks.
  • Accompagnement des différents utilisateurs à la prise en main de CQFD :
    • Utilisation des contrôles prêts à l’emploi et développement de nouveaux contrôles pour les Data Managers ;
    • Exploitation des métriques pour produire des tableaux de bord sous Power BI pour les Data Analysts.

Bénéfices

  • Standardisation et industrialisation de la mise en œuvre des contrôles de qualité ;
  • Gain de productivité significatif pour les Data Managers dans la mise en œuvre et l’exécution de nouveaux contrôles ;
  • Autonomie de l’équipe Data Management et des métiers dans le pilotage de l’évolution de la qualité des données.

Découvrez nos autres cas clients