En su Cloud Data Summit, Google presentó BigLake, un nuevo motor de almacenamiento de lago de datos eso facilita que las empresas analicen los datos en sus almacenes de datos y lagos de datos.
La idea, en esencia, es tomar la experiencia de Google con la ejecución y administración de su almacén de datos BigQuery y extenderla a los lagos de datos en Google Cloud Storage, combinando lo mejor de los lagos de datos y los almacenes en un solo servicio que abstrae el almacenamiento subyacente, formatos y sistemas.
Vale la pena señalar que estos datos podrían estar en BigQuery o AWS S3, Azure o Gen2. A través de BigLake, los desarrolladores obtendrán acceso a un motor de almacenamiento uniforme y la capacidad de consultar los almacenes de datos subyacentes a través de un solo sistema sin necesidad de mover o duplicar datos.
“La gestión de datos en lagos y almacenes dispares crea silos y aumenta el riesgo y el coste, especialmente cuando es necesario mover los datos”, explica Gerrit Kazmaier, vicepresidente y gerente general de bases de datos, análisis de datos e inteligencia comercial en Google Cloud. “BigLake permite a las empresas unificar sus almacenes y lagos de datos para analizar datos sin preocuparse por el formato o sistema de almacenamiento subyacente, lo que elimina la necesidad de duplicar o mover datos de una fuente y reduce los costes y las ineficiencias”.
Créditos de imagen: Google
Usando una serie de etiquetas respecto a las políticas de uso, BigLake permite a los administradores configurar sus propias preferencias de seguridad a nivel de tabla, fila y columna. Esto incluye los datos almacenados en Google Cloud Storage, así como los dos sistemas de terceros admitidos, donde Omni de BigQuery, el servicio de análisis de múltiples nubes de Google, habilita estos controles de seguridad. Esos controles de seguridad también aseguran que solo los datos correctos fluyan hacia herramientas como Spark, Presto, Trino y TensorFlow. El servicio también se integra con Google Dataplex herramienta para proporcionar capacidades adicionales de gestión de datos.
Google señala que BigLake proporcionará controles de acceso detallados y que su API abarcará Google Cloud, así como formatos de archivo de Apache, como Parquet y motores de procesamiento de código abierto como Apache Spark.
Créditos de imagen: Google
“El volumen de datos valiosos que las organizaciones tienen que administrar y analizar está creciendo a un ritmo increíble”, explican el ingeniero de software de Google Cloud, Justin Levandoski, y el gerente de producto, Gaurav Saxena. “Estos datos se distribuyen cada vez más en muchas ubicaciones, incluidos almacenes de datos, lagos de datos y espacios NoSQL. A medida que los datos de una organización se vuelven más complejos y proliferan en entornos de datos dispares, surgen silos, lo que crea un mayor riesgo y coste, especialmente cuando es necesario mover esos datos. Nuestros clientes lo han dejado claro; necesitan ayuda.»
Además de BigLake, Google también anunció que Spanner, su base de datos SQL distribuida globalmente, pronto obtendrá una nueva característica llamada «flujos de cambio». Con esto, los usuarios pueden rastrear fácilmente cualquier cambio en una base de datos en tiempo real, ya sean inserciones, actualizaciones o eliminaciones. “Esto garantiza que los clientes siempre tengan acceso a los datos más actualizados, ya que pueden replicar fácilmente los cambios de Spanner a BigQuery para obtener análisis en tiempo real, activar el comportamiento de las aplicaciones posteriores mediante Pub/Sub o almacenar cambios en Google Cloud Storage (GCS) para cumplir con las normas”. explica Kazmaier.
Google Cloud completa la oferta de servicios con Vertex AI una herramienta para administrar todo el ciclo de vida de un proyecto de ciencia de datos, fuera de la versión beta y en disponibilidad general, y lanzó Hojas conectadas para Looker, así como la capacidad de acceder a los modelos de datos de Looker en su herramienta Data Studio BI.
