Al suo Cloud Data Summit, Google ha introdotto BigLake, una novità motore di archiviazione del data lake ciò rende più facile per le aziende analizzare i dati nei loro data warehouse e data lake.
L'idea, in sostanza, è quella di prendere l'esperienza di Google con l'esecuzione e la gestione del tuo data warehouse BigQuery ed estendendolo ai data lake in Google Cloud Storage, combinando il meglio dei data lake e dei warehouse in un unico servizio che astrae lo storage, i formati e i sistemi sottostanti.
Vale la pena notare che questi dati potrebbero essere in BigQuery o AWS S3, Azure o Gen2. Attraverso BigLake, gli sviluppatori avranno accesso a un motore di archiviazione coerente e alla possibilità di eseguire query sugli archivi di dati sottostanti attraverso un unico sistema senza spostare o duplicare i dati.
"La gestione dei dati in magazzini e laghi disparati crea silos e aumenta i rischi e i costi, soprattutto quando i dati devono essere spostati", ha affermato Gerrit Kazmaier, vicepresidente e direttore generale di database, analisi dei dati e business intelligence di Google. Cloud. "BigLake consente alle aziende di unificare i propri data lake e warehouse per analizzare i dati senza preoccuparsi del sistema o del formato di storage sottostante, eliminando la necessità di duplicare o spostare i dati da un'unica fonte e riducendo i costi e le inefficienze".
Crediti immagine: Google
Utilizzando una serie di tag di criteri di utilizzo, BigLake consente agli amministratori di impostare le proprie preferenze di sicurezza a livello di tabella, riga e colonna. Ciò include i dati archiviati in Google Cloud Storage, nonché i due sistemi di terze parti supportati, dove BigQuery Omni, il servizio di analisi multi-cloud di Google, abilita questi controlli di sicurezza. Tali controlli di sicurezza garantiscono inoltre che solo i dati corretti fluiscano in strumenti come Spark, Presto, Trino e TensorFlow. Il servizio si integra anche con Google Dataplex strumento per fornire ulteriori capacità di gestione dei dati.
Google osserva che BigLake fornirà controlli di accesso dettagliati e che la sua API si estenderà su Google Cloud e su formati di file Apache come Parquet e motori di elaborazione open source come Apache Spark.
Crediti immagine: Google
"Il volume di dati preziosi che le organizzazioni devono gestire e analizzare sta crescendo a un ritmo incredibile", spiegano Justin Levandoski, ingegnere software di Google Cloud, e Gaurav Saxena, Product Manager. “Questi dati sono sempre più distribuiti in molte posizioni, inclusi data warehouse, data lake e spazi NoSQL. Man mano che i dati di un'organizzazione diventano più complessi e proliferano in ambienti di dati disparati, emergono silos, creando rischi e costi maggiori, soprattutto quando i dati devono essere spostati. I nostri clienti lo hanno chiarito; hanno bisogno di aiuto".
Oltre al Lago Grande, Google lo ha anche annunciato chiave, il suo database SQL distribuito a livello globale, riceverà presto una nuova funzionalità chiamata "flussi di cambiamento". Con questo, gli utenti possono facilmente tenere traccia di qualsiasi modifica a un database in tempo reale, sia che si tratti di inserimenti, aggiornamenti o eliminazioni. “Ciò garantisce che i clienti abbiano sempre accesso ai dati più aggiornati, poiché possono replicare facilmente le modifiche ai dati. chiave a BigQuery per analisi in tempo reale, attivare il comportamento delle applicazioni a valle tramite Pub/Sub o archiviare le modifiche in Google Cloud Storage (GCS) per la conformità". spiega Kazmayer.
Google Cloud completa l'offerta di servizi con Vertice AI uno strumento per la gestione dell'intero ciclo di vita di un progetto di data science, fuori dalla versione beta e in disponibilità generale, e ha rilasciato Connected Sheets for Looker, nonché la possibilità di accedere ai modelli di dati di Looker nel loro strumento DataStudio BI.
