Lors de son Cloud Data Summit, Google introduit BigLake, un nouveau moteur de stockage de lac de données Cela permet aux entreprises d'analyser plus facilement les données de leurs entrepôts de données et de leurs lacs de données.
L'idée, en substance, est de prendre l'expérience de Google avec l'exécution et la gestion de votre entrepôt de données BigQuery et son extension aux lacs de données dans Google Cloud Storage, en combinant le meilleur des lacs de données et des entrepôts en un seul service qui résume le stockage, les formats et les systèmes sous-jacents.
Il convient de noter que ces données peuvent se trouver dans BigQuery ou AWS S3, Azure ou Gen2. Grâce à BigLake, les développeurs auront accès à un moteur de stockage cohérent et à la possibilité d'interroger les magasins de données sous-jacents via un système unique sans déplacer ni dupliquer les données.
"La gestion des données dans des entrepôts et des lacs disparates crée des silos et augmente les risques et les coûts, en particulier lorsque les données doivent être déplacées", a déclaré Gerrit Kazmaier, vice-président et directeur général des bases de données, de l'analyse des données et de l'informatique décisionnelle chez Google Cloud. "BigLake permet aux entreprises d'unifier leurs lacs de données et leurs entrepôts pour analyser les données sans se soucier du système ou du format de stockage sous-jacent, éliminant ainsi le besoin de dupliquer ou de déplacer des données à partir d'une source et réduisant les coûts et les inefficacités."
Crédits image : Google
À l'aide d'un ensemble de balises de stratégie d'utilisation, BigLake permet aux administrateurs de définir leurs propres préférences de sécurité au niveau des tables, des lignes et des colonnes. Cela inclut les données stockées dans Google Cloud Storage, ainsi que les deux systèmes tiers pris en charge, où BigQuery Omni, le service d'analyse multicloud de Google, permet ces contrôles de sécurité. Ces contrôles de sécurité garantissent également que seules les bonnes données circulent dans des outils tels que Spark, Presto, Trino et TensorFlow. Le service s'intègre également à Google Dataplex outil pour fournir des capacités de gestion de données supplémentaires.
Google note que BigLake fournira des contrôles d'accès précis et que son API couvrira Google Cloud ainsi que les formats de fichiers Apache tels que Parquet et des moteurs de traitement open source comme Apache Spark.
Crédits image : Google
"Le volume de données précieuses que les entreprises doivent gérer et analyser augmente à un rythme incroyable", expliquent Justin Levandoski, ingénieur logiciel Google Cloud, et Gaurav Saxena, chef de produit. « Ces données sont de plus en plus distribuées sur de nombreux sites, notamment des entrepôts de données, des lacs de données et des espaces NoSQL. À mesure que les données d'une organisation deviennent plus complexes et prolifèrent dans des environnements de données disparates, des silos apparaissent, créant des risques et des coûts accrus, en particulier lorsque ces données doivent être déplacées. Nos clients l'ont clairement indiqué; ils ont besoin d'aide."
En plus de Big Lake, Google a également annoncé que clé à molette, sa base de données SQL distribuée dans le monde entier, bénéficiera bientôt d'une nouvelle fonctionnalité appelée "modifier les flux". Grâce à cela, les utilisateurs peuvent facilement suivre en temps réel toute modification apportée à une base de données, qu'il s'agisse d'insertions, de mises à jour ou de suppressions. « Cela garantit que les clients ont toujours accès aux données les plus à jour, car ils peuvent facilement répliquer les modifications de données. clé à molette à BigQuery pour des analyses en temps réel, déclenchez le comportement des applications en aval via Pub/Sub ou stockez les modifications dans Google Cloud Storage (GCS) pour la conformité. Kazmayer explique.
Google Cloud complète l'offre de services avec IA des sommets un outil pour gérer l'ensemble du cycle de vie d'un projet de science des données, hors version bêta et en disponibilité générale, et a publié des feuilles connectées pour Looker, ainsi que la possibilité d'accéder aux modèles de données Looker dans leur outil DataStudio BI.
