Daten sind eine der größten Ressourcen der Welt und treiben alles an, von Videoempfehlungsmaschinen und digitalem Banking bis hin zur aufkeimenden KI-Revolution. Aber in einer Welt, in der Daten zunehmend über Standorte verteilt sind – von Datenbanken über Data Warehouses bis hin zu Data Lakes und mehr – kann es eine gewaltige Aufgabe sein, sie in einem kompatiblen Format für die Verwendung in Echtzeitszenarien zu kombinieren.
Anwendungen, die keinen sofortigen Zugriff auf Echtzeitdaten benötigen, können Daten einfach in festgelegten Intervallen stapelweise kombinieren und verarbeiten. Diese „Batch-Datenverarbeitung“ kann beispielsweise für die Verarbeitung monatlicher Verkaufsdaten nützlich sein. Doch häufig benötigt ein Unternehmen Echtzeitzugriff auf Daten, während diese erstellt werden, und dies kann für Datenverwaltungssoftware von entscheidender Bedeutung sein. basierender Kundenservice zum Beispiel in aktuellen Informationen zu jedem einzelnen Verkauf. Auch anderswo müssen Transportanwendungen alle möglichen Dinge verarbeiten Datenpunkte einen Passagier mit einem Fahrer verbinden; Das kann nicht ein paar Tage warten. Solche Szenarien erfordern eine sogenannte „Stream-Datenverarbeitung“, bei der Daten gesammelt und für den Echtzeitzugriff kombiniert werden, was viel komplexer einzurichten ist.
Und das ist etwas Planierraupe Ziel ist es, schnelle schreibgeschützte APIs direkt aus jeder Quelle über ein Plug-and-Play-Dateninfrastruktur-Backend bereitzustellen.
Planierraupe ist das Werk von Vivek Guadapuri y Matthew Pelati, der das Unternehmen vor fast einem Jahr von seinem Sitz in Singapur aus gründete. Das Duo hat ein verteiltes 10-köpfiges Team in Asien und Osteuropa aufgebaut und bereitet sich darauf vor, über das aktuelle Produkt hinaus zu expandieren. Der verfügbare Schriftarten (d. h. nicht ganz Open Source) bietet ein vollständig monetarisierbares Produkt.
Dozer hat sein Produkt mit einer Handvoll nicht genannter Designpartner getestet, und heute ist es aus dem Verborgenen für jeden Entwickler zugänglich. Das Unternehmen gab außerdem bekannt, dass es eine Startfinanzierung in Höhe von 3 Millionen US-Dollar erhalten hat Sequoia Capital (durch sein Programm Erhöhen ), von Google, Gradient y Januar Hauptstadt.
Große Abdeckung
Es gibt bereits unzählige Tools zur Transformation, Integration und Nutzung verteilter Daten, darunter Streaming-Datenbanken und ETL-Tools (Extrahieren, Transformieren, Laden) wie z Apache Flink, Airbyte und Fivetran; Caching-Ebenen für die vorübergehende Datenspeicherung wie Redis; und Instant-APIs von Hasura oder Supabase, um Daten zwischen Systemen zu leiten.
Dozer seinerseits arbeitet in all diesen verschiedenen Kategorien, nimmt die seiner Meinung nach besten Teile und beseitigt die Reibung, die mit dem Aufbau der Infrastruktur und Pipelines zur Unterstützung von Echtzeit-Datenanwendungen einhergeht.
Benutzer verbinden Dozer mit ihrem vorhandenen Datenstapel, der Folgendes umfassen kann: Datenbanken, Data Warehouses und Data Lakes, und Dozer kümmert sich um das Extrahieren, Zwischenspeichern und Indizieren von Daten in Echtzeit und zeigt sie über APIs mit geringer Latenz an. Während also Lösungen wie Airbyte oder Fivetran dabei helfen, Daten in ein Data Warehouse zu übertragen, konzentriert sich Dozer auf die andere Seite: „Diese Daten auf die effizienteste Weise zugänglich zu machen“, erklärte Gudapuri.
Gudapuri sagte, Dozer verfolge „eine hartnäckige Herangehensweise“, eine, die sehr spezifische Probleme anpackt und nicht mehr. Zum Beispiel die Datenbanken Bestehende Streaming-Lösungen lösen viele Probleme, die weit über das Angebot von Dozer hinausgehen, bei dem es darum geht, Echtzeit-Datenaktualisierungen und APIs in einem einzigen Produkt bereitzustellen.
„Wir lösen in jeder dieser Kategorien genau die richtige Menge an Problemen, um Entwicklern ein schnelles Build-Erlebnis sowie sofort einsatzbereite Leistung zu bieten“, sagte Gudapuri. „Entwickler müssen (derzeit) verschiedene Tools integrieren, um dasselbe zu erreichen.“
Beispielsweise wird eine vorhandene Streaming-Datenbank wahrscheinlich versuchen, dem Benutzer, der Abfrage-Engine, der Datenexploration und OLAP (Online-Analyseverarbeitung), usw. Dozer bietet diese Dinge bewusst nicht an und konzentriert sich stattdessen auf das, was Pelati „vorberechnete Ansichten“ nennt, die SQL, Python und JavaScript verwenden und alle über eine geringe Latenz zugänglich sind. GRPC y REST API.
Und aus diesem Grund, sagt Pelati, kann Dozer eine bessere Latenz bei Datenabfragen versprechen.
„Aufgrund dieser Designoptionen bietet Dozer eine viel höhere Abfragelatenz, die für kundenorientierte Anwendungen erforderlich ist“, sagte Pelati. „Ein einzelner Entwickler kann ganze Datenanwendungen in wenigen Minuten aktivieren, was normalerweise einen monatelangen Aufwand erfordern würde. Ein Team muss nicht mehrere Integrationen erstellen und warten, um Zeit und Geld zu sparen.“
Der (nicht ganz) Open-Source-Faktor
Während Dozer sich selbst als „Open-Source“-Plattform bewirbt, werfen wir einen kurzen Blick darauf Lizenz auf GitHub verrät, dass er a verwendet Elastic-Lizenz 2.0 (ELv2), die gleiche Lizenz wie das Elastic-Suchtool vor zwei Jahren adoptiert als Teil Ihres Übergangs weg einer echten Open Source. Tatsächlich die Elastic-Lizenz nicht als Open Source anerkannt da dadurch verhindert wird, dass Dritte die Software übernehmen und selbst als gehosteten oder verwalteten Dienst anbieten.
Genauer gesagt kann ELv2 als „verfügbare Quelllizenz“ bezeichnet werden, was im Grunde bedeutet, dass sie viele der Vorteile einer freizügigeren Open-Source-Lizenz bietet. wie das am MIT, einschließlich Codebasistransparenz, der Möglichkeit, die Fähigkeiten von Dozer zu erweitern oder Funktionen zu optimieren und Fehler zu beheben. Dies allein reicht wahrscheinlich aus, um die Herzen und Köpfe von Unternehmen jeder Größe zu erobern, solange es nicht AWS oder ein anderer Cloud-Gigant ist, der direkt neben Dozer Geld verdienen möchte.
Allerdings sagte das Unternehmen, dass es beabsichtige, „sehr bald“ auf eine Doppellizenz umzusteigen, bei der alles im Kernprojekt Dozer enthalten sein wird MIT-lizenziert mit Ausnahme von „einem Kernmodul“. Darüber hinaus betont das Unternehmen schnell, dass alle seine Kundenbibliotheken bereits MIT-lizenziert sind, darunter auch Python, Dozer-Reaktion y JavaScript.
Es ist erwähnenswert, dass einige Unternehmen interne Tools entwickelt haben, um ein Problem zu lösen, das dem von Dozer ähnelt, z. B Netflix, der mit Dozer Lösungen entwickelt hat Vor einigen Jahren. Insbesondere einer der Hauptentwickler hinter Bulldozer, Ioannis Papapanagiotou Heute arbeitet er als Berater für Dozer.
Dozer steckt noch in den Kinderschuhen, aber mit 3 Millionen US-Dollar in der Tasche Bank einer Vielzahl namhafter SponsorenDas Unternehmen verfügt auf dem Weg zur Kommerzialisierung, die die Einführung einer gehosteten SaaS-Version mit einer Reihe zusätzlicher Funktionen umfassen wird, über ziemlich gute Finanzmittel. Gudapuri sagte, er gehe davon aus, dass dies in den kommenden Monaten in Kraft treten werde.
„Der gehostete Dienst kümmert sich um automatische Skalierung, sofortige Bereitstellung, Sicherheit, Compliance, Ratenbegrenzung und einige zusätzliche Funktionen“, sagte Gudapur.
