Tehisintellekt
Pilveandmete tippkohtumisel Google tutvustas uut BigLake'i andmejärve salvestusmootor See muudab ettevõtete jaoks andmete analüüsimise oma andmeladudes ja andmejärvedes lihtsamaks.
Idee on sisuliselt kogemuste võtmine Google BigQuery andmelao käitamise ja haldamisega ning selle laiendamisega Google Cloud Storage'i andmejärvedele, ühendades parimad andmejärved ja -ladud üheks teenuseks, mis võtab aluseks oleva salvestusruumi, vormingud ja süsteemid.
Väärib märkimist, et need andmed võivad olla BigQuerys või AWS S3-s, Azure'is või Gen2. BigLake'i kaudu saavad arendajad juurdepääsu järjepidevale salvestusmootorile ja võimaluse teha päringuid ühes süsteemis olevate aluseks olevate andmesalvede kohta, ilma et oleks vaja andmeid teisaldada või dubleerida.
„Erinevate järvede ja ladude andmete haldamine tekitab silosid ning suurendab riske ja kulusid, eriti kui andmeid on vaja teisaldada,“ selgitab Google Cloudi andmebaaside, andmeanalüütika ja äriteabe asepresident ja peadirektor Gerrit Kazmaier. "BigLake võimaldab ettevõtetel ühendada oma andmelaod ja järved, et andmeid analüüsida, muretsemata nende aluseks oleva salvestussüsteemi või vormingu pärast, välistades vajaduse dubleerida või ühest allikast andmeid teisaldada ning vähendada kulusid ja ebatõhusust."
Pildi krediit: Google
Kasutades mitmeid kasutuspoliitika silte, võimaldab BigLake administraatoritel seadistada tabeli, rea ja veeru tasemel oma turvaeelistused. See hõlmab Google Cloud Storage'i salvestatud andmeid, aga ka kahte toetatud kolmanda osapoole süsteemi BigQuery Omni, Google'i mitme pilve analüüsiteenus, võimaldab need turvakontrollid. Need turvakontrollid tagavad ka selle, et sellistesse tööriistadesse nagu Spark, Presto, Trino ja TensorFlow liiguvad ainult õiged andmed. Teenus integreerub ka Google'iga Dataplex tööriist täiendavate andmehaldusvõimaluste pakkumiseks.
Google märgib, et BigLake pakub täpset juurdepääsukontrolli ja selle API katab nii Google Cloudi kui ka Apache failivormingud, nagu Parkett ja avatud lähtekoodiga töötlemismootorid, nagu Apache Spark.
Pildi krediit: Google
„Väärtuslike andmete hulk, mida organisatsioonid peavad haldama ja analüüsima, kasvab uskumatu kiirusega,” selgitavad Google Cloudi tarkvarainsener Justin Levandoski ja tootejuht Gaurav Saxena. "Neid andmeid jaotatakse üha enam paljudes kohtades, sealhulgas andmeladudes, andmejärvedes ja NoSQL-i ruumides. Kuna organisatsiooni andmed muutuvad keerukamaks ja levivad erinevatesse andmekeskkondadesse, tekivad silod, mis suurendavad riski ja kulusid, eriti kui neid andmeid on vaja teisaldada. Meie kliendid on selle selgeks teinud; nad vajavad abi."
Lisaks BigLake'ile Google teatas ka sellest Käepide, teie globaalselt levitatav SQL-andmebaas, saab peagi uue funktsiooni nimega "muuta vooge". Selle abil saavad kasutajad hõlpsalt reaalajas jälgida andmebaasi muudatusi, olgu need siis sisestamised, värskendused või kustutamised. „See tagab, et klientidel on alati juurdepääs kõige värskematele andmetele, kuna nad saavad andmete muudatusi hõlpsalt kopeerida. Käepide BigQuerysse reaalajas analüüsimiseks, allavoolu rakenduste käitumise käivitamiseks Pub/Sub kaudu või Google Cloud Storage'i (GCS) muudatuste salvestamiseks eeskirjade järgimiseks. selgitab Kazmaier.
Google Cloud täiendab teenusepakkumist Vertex AI tööriist andmeteaduse projekti kogu elutsükli haldamiseks, mis on väljas beetaversioonist ja muutub üldiseks kättesaadavaks, ning käivitas Connected Sheets for Looker, samuti võimaluse pääseda juurde Lookeri andmemudelitele teie tööriista Data Studio BI-s.
