I dati sono una delle più grandi risorse al mondo, che alimentano qualsiasi cosa, dai motori di raccomandazione video e il digital banking alla fiorente rivoluzione dell'IA. Ma in un mondo in cui i dati sono sempre più distribuiti tra le varie sedi, dai database ai data warehouse, ai data lake e altro ancora, combinarli in un formato compatibile per l'utilizzo in scenari in tempo reale può essere un compito arduo.
Le applicazioni che non richiedono l'accesso istantaneo ai dati in tempo reale possono semplicemente combinare ed elaborare i dati in batch a intervalli fissi. Questa "elaborazione dei dati in batch" può essere utile per cose come l'elaborazione dei dati di vendita mensili. Ma spesso un'azienda ha bisogno di un accesso in tempo reale ai dati mentre vengono creati, e questo potrebbe essere fondamentale per il software di gestione dei dati. servizio clienti basato in informazioni aggiornate su ogni singola vendita, per esempio. Altrove, anche le applicazioni di trasporto devono elaborare tutti i tipi di punti dati collegare un passeggero con un conducente; questo non è qualcosa che può aspettare qualche giorno. Questi tipi di scenari richiedono ciò che è noto come "elaborazione dei dati in streaming", in cui i dati vengono raccolti e combinati per l'accesso in tempo reale, qualcosa che è molto più complesso da configurare.
E questo è qualcosa che Dozer si propone di indirizzare, alimentando veloci API di sola lettura direttamente da qualsiasi fonte tramite un back-end dell'infrastruttura di dati plug-and-play.
Dozer è opera di Vivek Guadapuri y Matteo Pelati, che ha fondato l'azienda dalla sua sede di Singapore quasi un anno fa. Il duo ha creato un team distribuito di 10 persone in tutta l'Asia e l'Europa orientale mentre si preparano ad espandersi oltre il prodotto attuale. IL font disponibili (cioè non del tutto open source) offre un prodotto completamente monetizzabile.
Dozer ha testato il suo prodotto con una manciata di partner di progettazione non divulgati e oggi sta emergendo dall'invisibilità per consentire l'accesso a qualsiasi sviluppatore. La società ha anche rivelato di aver raccolto $ 3 milioni in finanziamenti iniziali da Sequoia Capital (attraverso il suo programma aumentare ), di Google, Gradiente y Capitale di gennaio.
Ampia copertura
Esistono già innumerevoli strumenti progettati per trasformare, integrare e sfruttare i dati distribuiti, inclusi database di streaming e strumenti ETL (estrazione, trasformazione, caricamento) come Apache Flink, Airbyte e Fivetran; livelli di memorizzazione nella cache per l'archiviazione di dati transitori come Redis; e API istantanee alimentate da Hasura o Supabase per incanalare i dati tra i sistemi.
Dozer, da parte sua, lavora in tutte queste varie categorie, prendendo ciò che ritiene siano i pezzi migliori e rimuovendo l'attrito che deriva dalla costruzione dell'infrastruttura e delle pipeline che supportano le applicazioni di dati in tempo reale.
Gli utenti collegano Dozer al loro stack di dati esistente, che può includere database, data warehouse e data lake, e Dozer si occupa di estrarre, memorizzare nella cache e indicizzare i dati in tempo reale e li visualizza tramite API a bassa latenza. Quindi, mentre soluzioni come Airbyte o Fivetran aiutano a inserire i dati in un data warehouse, Dozer si concentra sull'altro lato: "rendere questi dati accessibili nel modo più efficiente", ha spiegato Gudapuri.
Gudapuri ha affermato che Dozer "adotta un approccio ostinato", che affronta problemi molto specifici e nient'altro. Ad esempio, il database Le soluzioni di streaming esistenti risolvono molti problemi ben oltre ciò che offre Dozer, ovvero fornire aggiornamenti dei dati in tempo reale e API in un unico prodotto.
"Risolviamo la giusta quantità di problemi in ciascuna di queste categorie per offrire agli sviluppatori un'esperienza di build veloce, oltre a prestazioni pronte all'uso", ha affermato Gudapuri. "Gli sviluppatori (attualmente) devono integrare vari strumenti per ottenere la stessa cosa."
Ad esempio, un database di streaming esistente tenterà probabilmente di presentare all'utente l'esperienza completa del database, il motore di query, l'esplorazione dei dati, OLAP (processo di analisi online), eccetera. Dozer deliberatamente non offre queste cose, concentrandosi invece su ciò che Pelati chiama "viste precalcolate" utilizzando SQL, Python e JavaScript e tutte accessibili tramite bassa latenza. GRPC y REST API.
Ed è per questo motivo, afferma Pelati, che Dozer può promettere una migliore latenza delle query sui dati.
"Grazie a queste scelte progettuali, Dozer offre una latenza delle query molto più elevata, necessaria per le applicazioni rivolte al client", ha affermato Pelati. “Un singolo sviluppatore può attivare intere applicazioni dati in pochi minuti, operazione che normalmente richiederebbe mesi di impegno. Un team non deve creare e mantenere più integrazioni per risparmiare tempo e denaro."
Il (non proprio) fattore open source
Sebbene Dozer si promuova come una piattaforma "open source", una rapida occhiata al suo licenza su GitHub rivela che usa a Licenza elastica 2.0 (ELv2), la stessa licenza dello strumento di ricerca elastico adottato due anni fa come parte della tua transizione molto lontano di un vero open source. Infatti, la licenza Elastic non riconosciuto come open source in quanto impedisce a terzi di prendere il software e di offrirlo come servizio ospitato o gestito.
Più precisamente, ELv2 può essere definita una licenza "disponibile sorgente", il che significa effettivamente che offre molti dei vantaggi di una licenza open source più permissiva. come quello del MIT, inclusa la trasparenza della base di codice, la capacità di estendere le capacità di Dozer o ottimizzare le funzionalità e correggere i bug. Questo da solo è probabilmente sufficiente per conquistare i cuori e le menti di aziende di tutte le dimensioni, purché non sia AWS o qualche altro gigante del cloud che cerca di monetizzare direttamente su Dozer.
Tuttavia, la società ha affermato che intende passare a una doppia licenza "molto presto", dove tutto nel progetto core Dozer sarà CON-concesso in licenza ad eccezione di "un modulo principale". Inoltre, la società si affretta a sottolineare che tutte le sue librerie client sono già con licenza MIT, incluso Phyton, Dozer-reagisci y JavaScript.
Vale la pena notare che alcune aziende hanno creato strumenti interni per risolvere un problema simile a quello che sta affrontando Dozer, come Netflix che ha creato soluzioni con Dozer Diversi anni fa. In particolare, uno dei principali creatori di Bulldozer, Ioannis Papapanagiotou ora lavora come consulente per Dozer.
È ancora presto per Dozer, ma con 3 milioni di dollari in banca di un gran numero di sponsor di alto profilo, la società è abbastanza ben finanziata mentre si muove verso la commercializzazione, che includerà l'introduzione di una versione SaaS ospitata ricca di una serie di funzionalità extra. Gudapuri ha detto che si aspetta che questo venga pubblicato nei prossimi mesi.
"Il servizio ospitato si occuperà di scalabilità automatica, implementazioni istantanee, sicurezza, conformità, limitazione della velocità e alcune funzionalità aggiuntive", ha affermato Gudapur.
