Designing Data Infrastructure in the Age of Generative AI

Le développement d’outils d’IA puissants a été le fil conducteur de l’année, avec une montée en puissance des agents et des foundational models dans tous les domaines. Cependant, une question persiste : comment servir la donnée pour permettre aux agents de fonctionner efficacement ? Quels types d’interfaces et d’infrastructures de service mesh seront nécessaires ? Qu’en est-il à l’échelle enterprise ? Et, finalement, que signifie réellement le contexte ?

Dans cette présentation, il sera question du paysage actuel du big data, des défis liés à la data platforming pour l’IA, ainsi que de l’importance croissante des open table formats, des catalogs et des engines comme leviers d’un développement d’IA efficace et gouverné. Les technologies open source telles qu’Apache Spark, Unity Catalog OSS et Apache Iceberg seront utilisées comme composants clés de cette architecture de référence.

‍