Fournir l'intelligence des données pour l'industrie chimique

Client

Le client est un fabricant de produits chimiques basé au Royaume-Uni. L'entreprise recherchait un moyen plus efficace d'analyser la composition chimique des mélanges et des produits ainsi que leurs résultats de tests. Les données de vente d'un produit chimique particulier restaient également inexploitées, nécessitant une solution analytique robuste.

Le client voulait se concentrer sur une solution de requêtage de données basée sur des graphes qui récupère des données en flux sur les ventes et la composition chimique des produits. Les enseignements devaient ensuite être visualisés pour l'enregistrement et l'évaluation des informations, ainsi que pour devenir une source fiable de décisions métier critiques fondées sur les données.

DataSqueeze a été choisi par un client comme partenaire technologique disposant de : solutions d'analyse Big Data et services de conseil en apprentissage automatique , ainsi que d'une expérience dans le déploiement de l'IA dans l'industrie chimique.

Défi : Données de production non structurées avec des relations complexes entre bases de données parent-enfant rendant les requêtes de données intensives en ressources

Le principal problème était que l'approche de stockage des données existante du client reposait sur des données de production non structurées provenant de différentes étapes et formes. De plus, les données avaient des relations complexes de type parent-enfant qui devaient être maintenues pour les requêtes et les analyses de suivi.

Un nouveau processus de compilation était nécessaire pour inclure les métadonnées nouvellement créées et les relations de base de données afin d'interroger les données via une base de données de graphes sans mobiliser beaucoup de puissance de calcul et dans une contrainte de temps de 5 secondes.

Solution : solution analytique pour les ventes en temps réel et l'analyse des produits avec une base de données de graphes pour maintenir des relations complexes, construite sur Azure

Notre équipe d'ingénierie Big Data a réalisé une analyse approfondie des exigences et des goulots d’étranglement du client. Le périmètre de travail suivant a été exécuté pour transformer les données :

• Données importées, nettoyées et transformées à partir de fichiers CSV En utilisant Azure Databricks.
• Relations définies et données transformées sous forme de graphes dans Azure Databricks. Envoi dans Azure Cosmos DB et interrogation des données et des graphes via l'API Graph d'Azure Cosmos DB.
• Interopérabilité établie avec une requête basée sur des graphes dans Azure Cosmos DB.
• Mise en place d'un flux en temps réel dans Power BI pour l'enregistrement et l'évaluation.

L'ensemble du processus de transformation a été réalisé par trois spécialistes du Big Data, dont un architecte de données, un ingénieur en données et un expert BI. Le projet de business intelligence a été achevé en 6 mois.

Voici l'architecture de la solution qui illustre cette étude de cas de l'industrie chimique et du cycle de vie des données :

Résultat : exploitation des données chimiques et commerciales avec une solution BI et de rapports

Grâce à notre collaboration, nous avons transformé l'architecture des données du client et fourni une solution d'analyse avancée des données sur mesure qui a considérablement amélioré la prise de décision, l'analyse en temps réel et l'extraction d'enseignements. L'entreprise dispose désormais d'une vue d'ensemble complète des données sur l'analyse de la composition chimique ainsi que des données historiques des clients, visualisées dans une plateforme évolutive en libre-service et d'intelligence d'affaires d'entreprise.