Data Quality at Scale: Building a Robust Framework for Complex data Models

À mesure que les modèles de données gagnent en complexité et en nombre, garantir leur qualité devient exponentiellement difficile. Chez Sopht, nous mesurons l'empreinte carbone des systèmes informatiques à travers une architecture de données complexe, qui couvre des centaines de tables aux sources et aux méthodes de calcul variées.
Ce talk présente notre cadre de tests complet, qui maintient l'intégrité des données à grande échelle. Nous couvrirons les tests unitaires techniques et fonctionnels, la gestion de la complexité, les environnements de recette proches de la production, une meilleure visibilité sur les erreurs grâce à un monitoring sur mesure, et notre approche la plus récente pour détecter les écarts de données par instantanés automatisés.
Venez découvrir des stratégies concrètes pour appliquer des pratiques de test inspirées du développement, capables de transformer des environnements de données chaotiques en systèmes fiables et maintenables