La plateforme de Data Intelligence, le 3e pilier du Data Mesh

L’approche matérielle du Data Mesh

Puisque l’approche Data Mesh a vocation à donner – voire à rendre – aux métiers la main sur leurs propres données, il faut nécessairement leur mettre à disposition de manière simple. C’est le rôle d’une plateforme de données. Fédérée et interopérable, elle organise le self-service des données et des produits de données créés par les métiers (les domaines selon la terminologie Data Mesh). 
Dans le cadre du Data Mesh, la plateforme va plus loin que la donnée en libre-service. Elle fournit également les ressources utiles destinées à la conception des produits : services applicatifs, provisionning, ressources matérielles, etc. C’est une véritable infrastructure.
Le principe d’une plateforme de données repose sur le stockage de gros volumes de données, en vue d’exploiter des cas d’usage spécifiques, comme offrir une réponse à la demande en quasi temps réel ou multiplier les interactions entre données de types variés (on songera aux profils utilisateurs riches de données binaires et non binaires). Plus largement, une plateforme de données adresse tous les processus nécessaires à la mise en œuvre de projet de type : data quality, intelligence artificielle ou encore machine learning, Data science et autre IA. 
Si le Cloud et la virtualisation offrent la souplesse attendue en ingénierie de la donnée, on rappellera qu’une plateforme de data intelligence doit rester agnostique. En fonction des contraintes, des exigences de sécurité, de l’organisation préalable, l’organisation pourra parfaitement adopter un fonctionnement hybride, préférer un Cloud privé ou encore s’appuyer sur son Datalake si elle en détient déjà un. L’essentiel est de conserver la maîtrise de l’allocation des ressources matérielles et de préserver l’agilité requise pour industrialiser à terme tous les usages. 

POST Data Intelligence

Basée sur un datalake implémenté d’abord pour les besoins du groupe POST Luxembourg, dont l’activité couvre un spectre extrêmement large de services, cette plateforme de data intelligence fut en premier lieu pensée et conçue pour garantir que l’ensemble des données soient détenues, gérées et utilisées de façon rigoureuse et cohérente pour répondre tant aux besoins des clients internes qu’externes du groupe.  
Désormais distribuée par Digora, cette dataplatform est composée de plusieurs stacks technologiques, On premise ou dans le Cloud, lesquels permettent d’ingérer la donnée, peu importe sa provenance, avec différents modes d’articulation : ingestion, transformation, stockage, historisation, data discovery (data mining et machine learning) notamment. Elle se destine ainsi à toutes les grandes organisations ayant entrepris une démarche initiale de big data ou ayant détecté des besoins particuliers liés à d’importants flux de données, comme l’exploitation massive d’IoT.  
POST Data Intelligence gère la ségrégation des données, en vue d’opérer la charge différentielle permettant d’améliorer les temps de latence du système. Ses solutions d’autoréplication multisite garantissent la continuité de service. 
Tout comme la Logical data fabric, la Dataplatform est un framework (physique) modulable, que l’on compose brique par brique au gré de ses besoins applicatifs et d’élaboration de la data vers l’information : temps réel, archivage, data quality, IA, reporting, etc.
Une data platform ne remplace pas l’existant. Elle consolide et sécurise les nombreuses sources de gestion de données qu’une grande organisation détient généralement. 

Un exemple concret des possibilités de POST Data Intelligence 

Un cas d’usage tout à fait illustratif des possibilités de la plateforme POST Data Intelligence et notamment de son module automated machine learning est en cours, et ce, à l’échelle européenne. 
Data for road safety est un projet de grande ampleur de sécurisation des routes européennes, basé sur la convergence et l’analyse en temps réel, à partir de la plateforme POST Luxembourg, de multiples sources de données. Les contributeurs sont nombreux, constructeurs et équipementiers automobiles, relevés de trafic, données GPS, données publiques des autorités et des États européens, etc. Cette collaboration entre les secteurs publics et privés a par exemple contribué à réduire les temps de détection des situations critiques pour la sécurité de 12 minutes en moyenne aux Pays-Bas. 

Accompagnement, sécurité et souveraineté de la donnée

Disponible dans le Cloud et On premise, POST Data Intelligence est une plateforme Data as a Service. Les clients disposent alors de deux possibilités : développer en interne leurs propres produits ou en confier le soin au département analytique de POST Luxembourg. 
L’enrichissement de données peut également être opéré par les experts POST Luxembourg en vue de l’intégration ou de la mise à disposition de données externes de type Open data et de leur exposition. Enfin, des outils de dashboarding et de visualisation sont directement implémentés (sous forme de modules à la carte) sur le datalake. Dans sa version Cloud, POST Data Intelligence est hébergée dans un Cloud souverain.

Voici pour le 3e pilier du Data Mesh. Alors que reste-t-il à mettre en œuvre ? Eh bien, la gouvernance des données et des produits de données. Fédérée bien sûr pour ne perdre aucun avantage du maillage permis par la technologie. C’est un pilotage autant qu’une stratégie. Elle orchestre toutes les interactions, avec qualité et fluidité. La gouvernance fédérée fait l’objet du 4e et dernier article sur notre voyage autour du Data Mesh. 

Si vous avez aimé cet article et souhaitez être tenu au courant de nos prochains articles, abonnez-vous à notre newsletter. Vous aurez accès à nos nouveaux articles et à nos actualités directement dans votre boîte mail.