Les données sont l'une des plus grandes ressources au monde, alimentant tout, des moteurs de recommandation vidéo et des services bancaires numériques à la révolution naissante de l'IA. Mais dans un monde où les données sont de plus en plus distribuées sur plusieurs sites, des bases de données aux entrepôts de données en passant par les lacs de données, etc., les combiner dans un format compatible pour une utilisation dans des scénarios en temps réel peut être une tâche ardue.
Les applications qui ne nécessitent pas un accès instantané aux données en temps réel peuvent simplement combiner et traiter les données par lots à intervalles fixes. Ce "traitement de données par lots" peut être utile pour des choses comme le traitement des données de ventes mensuelles. Mais souvent, une entreprise a besoin d'un accès en temps réel aux données lors de leur création, ce qui peut être essentiel pour les logiciels de gestion des données. service client basé dans les informations actuelles sur chaque vente, par exemple. Ailleurs, les applications de transport doivent également traiter toutes sortes de points de données mettre en relation un passager avec un chauffeur ; ce n'est pas quelque chose qui peut attendre quelques jours. Ces types de scénarios nécessitent ce que l'on appelle le "traitement des données de flux", où les données sont collectées et combinées pour un accès en temps réel, ce qui est beaucoup plus complexe à mettre en place.
Et c'est quelque chose qui Bulldozer il vise à résoudre, en alimentant des API rapides en lecture seule directement à partir de n'importe quelle source via un backend d'infrastructure de données plug-and-play.
Bulldozer est l'oeuvre de Vivek Guadapuri y Matthieu Pelati, qui a fondé l'entreprise à partir de sa base de Singapour il y a près d'un an. Le duo a constitué une équipe répartie de 10 personnes à travers l'Asie et l'Europe de l'Est alors qu'ils se préparent à s'étendre au-delà du produit actuel. Le polices disponibles (c'est-à-dire pas tout à fait open source) offre un produit entièrement monétisable.
Dozer a testé son produit avec une poignée de partenaires de conception non divulgués, et aujourd'hui, il sort de la furtivité pour que tout développeur puisse y accéder. La société a également révélé qu'elle avait levé 3 millions de dollars en financement de démarrage auprès de Sequoia Capital (à travers son programme Augmentation ), de Google, Couleur dégradée y Capitale de janvier.
Grande couverture
Il existe déjà d'innombrables outils conçus pour transformer, intégrer et exploiter les données distribuées, y compris les bases de données en continu et les outils ETL (extraire, transformer, charger) tels que Apache Flink, Airbyte et Fivetran ; couches de mise en cache pour le stockage de données transitoires comme Redis ; et des API instantanées alimentées par Hasura ou Supabase pour canaliser les données entre les systèmes.
Dozer, pour sa part, travaille dans toutes ces différentes catégories, en prenant ce qu'il croit être les meilleurs éléments et en supprimant les frictions qui accompagnent la construction de l'infrastructure et des pipelines qui prennent en charge les applications de données en temps réel.
Les utilisateurs connectent Dozer à leur pile de données existante, qui peut inclure bases de données, les entrepôts de données et les lacs de données, et Dozer s'occupe de l'extraction, de la mise en cache et de l'indexation des données en temps réel, et les affiche via des API à faible latence. Ainsi, alors que des solutions comme Airbyte ou Fivetran aident à introduire des données dans un entrepôt de données, Dozer se concentre sur l'autre aspect : "rendre ces données accessibles de la manière la plus efficace", a expliqué Gudapuri.
Gudapuri a déclaré que Dozer "adopte une approche obstinée", qui s'attaque à des problèmes très spécifiques et rien de plus. Par exemple, le bases de données Les solutions de streaming existantes résolvent de nombreux problèmes bien au-delà de ce que propose Dozer, qui consiste à fournir des mises à jour de données et des API en temps réel dans un seul produit.
"Nous résolvons juste la bonne quantité de problèmes dans chacune de ces catégories pour offrir une expérience de construction rapide aux développeurs, ainsi que des performances prêtes à l'emploi", a déclaré Gudapuri. "Les développeurs doivent (actuellement) intégrer divers outils pour obtenir la même chose."
Par exemple, une base de données de flux existante tentera probablement de présenter l'expérience complète de la base de données à l'utilisateur, le moteur de requête, l'exploration de données, OLAP (processus analytique en ligne), etc. Dozer n'offre délibérément pas ces choses, se concentrant plutôt sur ce que Pelati appelle des "vues précalculées" utilisant SQL, Python et JavaScript, et toutes accessibles via une faible latence. GRPC y REST API.
Et c'est pour cette raison, dit Pelati, que Dozer peut promettre une meilleure latence des requêtes de données.
"En raison de ces choix de conception, Dozer offre une latence de requête beaucoup plus élevée qui est nécessaire pour les applications orientées client", a déclaré Pelati. « Un seul développeur peut activer des applications de données entières en quelques minutes, ce qui prendrait normalement des mois d'efforts. Une équipe n'a pas besoin de créer et de maintenir plusieurs intégrations pour gagner du temps et de l'argent. »
Le facteur (pas tout à fait) open source
Alors que Dozer se présente comme une plate-forme "open source", un rapide coup d'œil à son licence sur GitHub révèle qu'il utilise un Licence élastique 2.0 (ELv2), la même licence que l'outil de recherche Elastic adopté il y a deux ans dans le cadre de votre transition loin d'un véritable open source. En fait, la licence Elastic non reconnu comme open source car il empêche les tiers de prendre le logiciel et de le proposer eux-mêmes en tant que service hébergé ou géré.
Plus précisément, ELv2 peut être qualifiée de licence "source disponible", ce qui signifie en fait qu'elle offre de nombreux avantages d'une licence open source plus permissive. comme celui du MIT, y compris la transparence de la base de code, la possibilité d'étendre les capacités de Dozer ou d'ajuster les fonctionnalités et de corriger les bogues. Cela seul est probablement suffisant pour gagner le cœur et l'esprit des entreprises de toutes tailles, tant que ce n'est pas AWS ou un autre géant du cloud qui cherche à monétiser directement au-dessus de Dozer.
Cependant, la société a déclaré qu'elle avait l'intention de passer "très bientôt" à une double licence, où tout dans le projet principal de Dozer sera MIT- sous licence sauf pour "un module principal". De plus, la société n'hésite pas à souligner que toutes ses bibliothèques clientes sont déjà sous licence MIT, y compris Phyton, Bulldozer-réagir y JavaScript.
Il convient de noter que certaines entreprises ont créé des outils internes pour résoudre un problème similaire à celui auquel Dozer s'attaque, comme Netflix qui a construit des solutions avec Dozer Il y a plusieurs années. En particulier, l'un des principaux créateurs derrière Bulldozer, Ioannis Papapanagiotou il travaille maintenant comme consultant pour Dozer.
C'est encore tôt pour Dozer, mais avec 3 millions de dollars dans le banque d'un grand nombre de sponsors de premier plan, la société est assez bien financée alors qu'elle se dirige vers la commercialisation, qui comprendra l'introduction d'une version SaaS hébergée avec un tas de fonctionnalités supplémentaires. Gudapuri a déclaré qu'il s'attend à ce que cela soit mis en ligne dans les mois à venir.
"Le service hébergé s'occupera de la mise à l'échelle automatique, des déploiements instantanés, de la sécurité, de la conformité, de la limitation du débit et de certaines fonctionnalités supplémentaires", a déclaré Gudapur.
