Auf seinem Cloud Data Summit Google eingeführt BigLake, ein neues Data Lake-Speicher-Engine Das erleichtert Unternehmen die Analyse der Daten in ihren Data Warehouses und Data Lakes.
Die Idee ist im Wesentlichen, die Erfahrung zu nehmen Google mit der Ausführung und Verwaltung Ihres BigQuery-Data Warehouse und der Erweiterung auf Data Lakes in Google Cloud Storage, wobei die besten Data Lakes und Warehouses in einem einzigen Dienst kombiniert werden, der die zugrunde liegenden Speicher, Formate und Systeme abstrahiert.
Es ist erwähnenswert, dass diese Daten in BigQuery oder AWS S3, Azure oder Gen2. Durch BigLake erhalten Entwickler Zugriff auf eine konsistente Speicher-Engine und die Möglichkeit, zugrunde liegende Datenspeicher über ein einziges System abzufragen, ohne Daten zu verschieben oder zu duplizieren.
„Die Verwaltung von Daten über unterschiedliche Warenhäuser und Seen hinweg schafft Silos und erhöht Risiken und Kosten, insbesondere wenn Daten verschoben werden müssen“, sagte Gerrit Kazmaier, Vice President und General Manager für Datenbanken, Datenanalyse und Business Intelligence bei Google Cloud. „BigLake ermöglicht es Unternehmen, ihre Data Lakes und Warehouses zu vereinheitlichen, um Daten zu analysieren, ohne sich Gedanken über das zugrunde liegende Speichersystem oder -format machen zu müssen, wodurch die Notwendigkeit entfällt, Daten aus einer Quelle zu duplizieren oder zu verschieben, und Kosten und Ineffizienzen reduziert werden.“
Bildnachweis: Google
Mithilfe einer Reihe von Nutzungsrichtlinien-Tags ermöglicht BigLake Administratoren, ihre eigenen Sicherheitseinstellungen auf Tabellen-, Zeilen- und Spaltenebene festzulegen. Dazu gehören Daten, die in Google Cloud Storage gespeichert sind, sowie die beiden unterstützten Drittsysteme, wo BigQuery Omni, der Multi-Cloud-Analysedienst von Google, ermöglicht diese Sicherheitskontrollen. Diese Sicherheitskontrollen stellen auch sicher, dass nur die richtigen Daten in Tools wie Spark, Presto, Trino und TensorFlow fließen. Der Dienst lässt sich auch in Google integrieren Dataplex Tool, um zusätzliche Datenverwaltungsfunktionen bereitzustellen.
Google stellt fest, dass BigLake feinkörnige Zugriffskontrollen bereitstellen wird und dass seine API sowohl Google Cloud als auch Apache-Dateiformate wie z Parkett und Open-Source-Verarbeitungsmaschinen wie Apache Spark.
Bildnachweis: Google
„Die Menge an wertvollen Daten, die Unternehmen verwalten und analysieren müssen, wächst mit einer unglaublichen Geschwindigkeit“, erklären Google Cloud Software Engineer Justin Levandoski und Product Manager Gaurav Saxena. „Diese Daten sind zunehmend über viele Standorte verteilt, darunter Data Warehouses, Data Lakes und NoSQL-Bereiche. Da die Daten eines Unternehmens komplexer werden und sich über unterschiedliche Datenumgebungen ausbreiten, entstehen Silos, die erhöhte Risiken und Kosten verursachen, insbesondere wenn diese Daten verschoben werden müssen. Unsere Kunden haben es deutlich gemacht; Sie brauchen Hilfe."
Neben Big Lake, Google hat das auch angekündigt Schlüssel, seine global verteilte SQL-Datenbank, wird in Kürze ein neues Feature namens „Change Streams“ erhalten. Damit können Benutzer alle Änderungen an einer Datenbank in Echtzeit verfolgen, seien es Einfügungen, Aktualisierungen oder Löschungen. „Dadurch wird sichergestellt, dass Kunden immer Zugriff auf die aktuellsten Daten haben, da sie Datenänderungen einfach replizieren können. Schlüssel an BigQuery für Echtzeitanalysen, lösen nachgelagertes Anwendungsverhalten über Pub/Sub aus oder speichern Änderungen in Google Cloud Storage (GCS) für Compliance.“ Kazmayer erklärt.
Google Cloud rundet das Leistungsangebot ab Scheitelpunkt AI ein Tool zur Verwaltung des gesamten Lebenszyklus eines Data-Science-Projekts, aus der Beta-Phase heraus und in die allgemeine Verfügbarkeit, und veröffentlichte Connected Sheets für Looker sowie die Möglichkeit, in seinem Tool DataStudio BI auf Looker-Datenmodelle zuzugreifen.
