From Analytics to AI: Evolving a Data Platform to Power Machine Learning at Scale

À mesure que l’IA devient un pilier central du développement produit chez Datadog, le département Analytics Data Platform a dû évoluer pour la soutenir. Initialement conçue pour l’analytics traditionnel, la business intelligence et les pipelines ETL, la plateforme alimente désormais également le travail des AI engineers. Ces derniers, une nouvelle catégorie de "first-class citizen" parmi les data practitioners accompagnés par Datadog, conçoivent et déploient des modèles de machine learning à travers de nombreux composants de la suite produit Datadog.

Dans cette présentation, il sera expliqué comment la plateforme a été adaptée pour répondre aux besoins de l’AI engineering à grande échelle, sans compromis sur le self-service, la gouvernance ou la fiabilité. En cours de route, la prise en charge de nouveaux formats de stockage comme Iceberg et de moteurs de traitement distribués tels que Ray a été introduite. De l’ingestion de données en self-serve à des workflows d’exploration flexibles, enrichis par des métadonnées robustes et l’observabilité, l’expérience de la plateforme a été repensée pour le développement itératif de modèles dans un environnement complexe et multi-source.

Il sera exposé comment les AI engineers chez Datadog peuvent découvrir, explorer, valider et utiliser un large éventail de données pour construire des modèles de ML. Cela inclut la télémétrie d’observabilité issue des produits Datadog, ainsi que des datasets cloud et métiers. Il sera montré comment ces ingénieurs utilisent un catalogue unifié pour accéder aux données, que ce soit à travers le Lakehouse basé sur Iceberg, les systèmes de séries temporelles internes ou le stockage propriétaire alimentant des produits clés comme Logs.

Que l’on cherche à moderniser une analytics platform ou à développer de nouvelles fonctionnalités pour des équipes IA, cette session apportera des enseignements concrets sur la construction d’une infrastructure scalable, fiable et en self-serve pour la data et l’IA.

‍