Em seu Cloud Data Summit, Google apresentou o BigLake, um novo mecanismo de armazenamento de data lake que torna mais fácil para as empresas analisarem os dados em seus data warehouses e data lakes.
A ideia, em essência, é levar a experiência de Google com a execução e o gerenciamento do armazenamento de dados do BigQuery e sua extensão para data lakes no Google Cloud Storage, combinando o melhor dos data lakes e armazéns em um único serviço que abstrai o armazenamento, os formatos e os sistemas subjacentes.
Vale a pena notar que esses dados podem estar no BigQuery ou AWS S3, Azure ou Gen2. Por meio do BigLake, os desenvolvedores terão acesso a um mecanismo de armazenamento consistente e a capacidade de consultar armazenamentos de dados subjacentes por meio de um único sistema sem mover ou duplicar dados.
“Gerenciar dados em diferentes armazéns e lagos cria silos e aumenta o risco e o custo, especialmente quando os dados precisam ser movidos”, disse Gerrit Kazmaier, vice-presidente e gerente geral de bancos de dados, análise de dados e inteligência de negócios do Google. “O BigLake permite que as empresas unifiquem seus data lakes e armazéns para analisar dados sem se preocupar com o sistema ou formato de armazenamento subjacente, eliminando a necessidade de duplicar ou mover dados de uma fonte e reduzindo custos e ineficiências.”
Créditos da imagem: Google
Usando um conjunto de tags de política de uso, o BigLake permite que os administradores definam suas próprias preferências de segurança nos níveis de tabela, linha e coluna. Isso inclui dados armazenados no Google Cloud Storage, bem como os dois sistemas de terceiros compatíveis, onde BigQuery Omni, o serviço de análise de várias nuvens do Google, permite esses controles de segurança. Esses controles de segurança também garantem que apenas os dados corretos fluam para ferramentas como Spark, Presto, Trino e TensorFlow. O serviço também se integra ao Google Dataplex ferramenta para fornecer recursos adicionais de gerenciamento de dados.
Google observa que o BigLake fornecerá controles de acesso refinados e que sua API abrangerá o Google Cloud e os formatos de arquivo do Apache, como Parquete e mecanismos de processamento de código aberto como Apache Spark.
Créditos da imagem: Google
"O volume de dados valiosos que as organizações precisam gerenciar e analisar está crescendo a um ritmo incrível", explicam o engenheiro de software do Google Cloud Justin Levandoski e o gerente de produto Gaurav Saxena. “Esses dados estão cada vez mais distribuídos em muitos locais, incluindo data warehouses, data lakes e espaços NoSQL. À medida que os dados de uma organização se tornam mais complexos e proliferam em ambientes de dados díspares, surgem silos, criando maiores riscos e custos, especialmente quando esses dados precisam ser movidos. Nossos clientes deixaram claro; precisam de ajuda."
Além do Lago Grande, Google também anunciou que chave inglesa, seu banco de dados SQL distribuído globalmente, em breve terá um novo recurso chamado “change streams”. Com isso, os usuários podem acompanhar facilmente qualquer alteração em um banco de dados em tempo real, sejam inserções, atualizações ou exclusões. “Isso garante que os clientes sempre tenham acesso aos dados mais atualizados, pois podem replicar facilmente as alterações de dados. chave inglesa para BigQuery para análises em tempo real, acione o comportamento de aplicativos downstream via Pub/Sub ou armazene alterações no Google Cloud Storage (GCS) para conformidade.” Kazmayer explica.
O Google Cloud completa a oferta de serviços com VERTEX AI uma ferramenta para gerenciar todo o ciclo de vida de um projeto de ciência de dados, fora do beta e em disponibilidade geral, e lançou o Connected Sheets for Looker, bem como a capacidade de acessar os modelos de dados do Looker em sua ferramenta DataStudio BI.
